AI Trust Layer
L’utilisation de LLMs pose un risque fort d’hallucinations, c’est-à-dire de génération d’informations incorrectes. Pour limiter au maximum ce risque, nous avons mis en place sur chacun de nos outil une couche de validation dite “AI Trust Layer”. Nous utilisons pour cela un ensemble de techniques de l’État de l’Art, sélectionnées à chaque fois en fonction du cas d’usage.
Utilisation de LLMs critiques
Vérification automatique de la sortie de l’outil par un autre LLM dit “critique” pour détecter les erreurs ou incohérences
Trust scoring & Human-in-the-loop
Génration d’un score de confiance sur la réponse du LLM, permettantune intervention humaine sur les réponses les moins bien scorées.
Self-consistency checking
Génération de la réponse de multiple fois et validation de la cohérence entre les différentes réponses.
Ground Truth Validation
Vérification de la réponse générée avec certitude, par exemple à travers l’exécution de tests automatisés pour les tâches de génération de code, ou la comparaison avec des données connues quand cela est possible.
Quelques cas d'usage
Génération automatique d’un bulletin
de veille hebdomadaire
Chaque semaine, notre workflow IA récupère automatiquement les dernières publications des principales entreprises et chercheurs du monde de l’IA, résume leurs dernières avancées et génère un article. Cet article est ensuite publié en interne,
et est parfois utilisé pour générer du contenu marketing externe.
Pour chaque article généré, une double étape de validation est mise en place. La première étape consiste en une relecture et un check des références par un agent relecteur. La seconde consiste en une évaluation du risque d’erreur dans l’article, afin de préparer une relecture plus approfondie par l’humain.
Upgrail : outil d’automatisation de la modernisation de code legacy
Afin d’aider un de nos clients à moderniser son parc applicatif, nous avons créé un Workflow IA permettant de réaliser de manière automatique une montée de version Symfony sur plusieurs dizaines de projets.
Afin d’éviter toute régression dans le code, une première étape consiste à générer des tests couvrant l’ensemble des comportements du programme. Ces tests sont ensuite utilisés lors de la migration pour s’assurer que le comportement n’a pas changé, et corriger les régressions introduites le cas échéant.
.png)