10 questions à poser à votre équipe avant de déployer une solution basée sur l'IA générative

Une réflexion de Batiste Roger, CTO d'Odonatech

Je vous passe les questions tarte à la crème comme "a-t-on bien choisi le cas d'usage". Ce post contient 10 questions qui - d'expérience - vont vraiment faire la différence pour intégrer l'IA générative.

Je vous donne juste un conseil préalable : c'est souvent utile de mettre de vrais utilisateurs en face de ChatGPT, et de voir s'ils parviennent à résoudre le problème / usecase comme ça. Cela vous donnera de bons éclairages sur ce que eux attendent de votre IA Layer 2, et comment ils interagissent avec (ex : ont-ils envie du tutoiement ?).

🔒 Sécurité et conformité

1. Protection des données : Quelle données acceptons-nous de transmettre à ChatGPT ? Ces messages sont-ils transmis unitairement, ou dans un flux de conversation complet (on pourrait envoyer 1 message sur 2 à ChatGPT et l'autre à Claude, par exemple, pour éviter de transmettre toute une conversation) ? Peut-on anonymiser certains éléments (par exemple remplacer les prénoms par Thierry et les noms de famille par Henri, c'est facile).

   
   

2. Fiabilité des réponses : Quelle stratégie allons-nous mettre en place pour prévenir, détecter et corriger rapidement les réponses potentiellement erronées ou biaisées de l'IA ? Une action humaine sera-t-elle nécessaire quand le bot s’est trompé ? Sous quelle échéance peut-on assurer cette correction, même quand le bot est disponible 24/24 ?

   
   

3. Expertise et conformité : Comment allons-nous nous garantir que les réponses de l'IA sont expertes, personnalisées et conformes à la réglementation bancaire ? Quelles bases de connaissances et technologies seront utilisées pour (1) former l’IA en amont, et (2) contrôler l’IA en aval (RAG, critiques, layer 2…) ? Comment seront crées et maintenues ces bases de connaissance (c'est le botmaster qui s'en charge ou l'expert métier de chaque base ?).

   
   

🔧 Intégration technique et différenciation

1. Intégration aux systèmes existants : Quelle méthodologie allons-nous adopter pour intégrer l'IA à nos systèmes existants (CRM, opérations) tout en assurant notre sécurité et notre stabilité ? Voulons-nous que l’IA lise nos systèmes ? Y écrivent ? En temps réel ou pas ? Peut-on s'interfacer avec une base tampon ?

   
   

2. Gestion des mises à jour : Quel processus allons-nous établir pour gérer efficacement les évolutions des modèles IA sous-jacents sans perturber nos services ? Par exemple, peut-on facilement passer de ChatGPT à Mistral ? Je ne parle pas que de brancher les APIs, mais aussi de re-tester tout et d'ajuster les prompts.

   
   

3. Différenciation de marque : Comment allons-nous personnaliser notre IA pour qu'elle reflète pleinement nos valeurs et notre marque, malgré l'utilisation de modèles de base communs (comme ChatGPT) avec nos concurrents ? Instructions, prompts, fine tuning, RAG, autres ? 

🔄 Conduite du changement et expérience client de l'IA générative

1. Formation et outillage : Quels interfaces / outils et quels programmes de formation allons-nous développer pour nos équipes ? Qui seront les acteurs clés impliqués dans la supervision et le complément des interactions IA ? Nos collaborateurs seront-ils enthousiastes à l'idée de devenir des superviseurs d'IAs (par exemple) ?

2. Mesure de la performance : Quels indicateurs de performance clés (KPI) allons-nous mettre en place pour évaluer le succès et le ROI de notre implémentation d'IA ? Il y a bien sûr les indicateurs globaux pour le business, mais aussi des indicateurs plus micro, comme ceux qui permettent de vérifier qu'une version n+1 est meilleure qu'une version n (étant entendu qu'il est illusoire d'uniquement tester à la main et dire au doigt mouillé si "ça a l'air mieux").

3. Gestion des préférences : Quelle procédure allons-nous établir pour répondre aux utilisateurs préférant ne pas interagir avec l'IA ou exprimant explicitement leur insatisfaction ?

4. Plan de continuité : Quelle stratégie de continuité d'activité allons-nous développer en cas d'interruption des API d'IA ou de changement majeur chez notre fournisseur (ex : OpenAI coule, ou Mistral a un souci technique pendant 30mn) ?

Conclusion

J'espère que cela vous aidera à vous poser les bonnes questions !

Si cela vous semble compliqué, vous avez un peu raison : il faudra effectivement développer un logiciel de tests automatiques (spécifique à l'IA), mettre en place des process de déploiement, habiliter vos botmasters (ou équipes support) à une interface de supervision, coordonner la conformité et les datascientists, etc... Ce sont des choses qu'on a déjà faites chez Odonatech , et c'est une des sources de valeur de notre solution. Donc, on peut aussi en parler si vous voulez.