QC IA – Qualité & Agents de test IA

Le contexte Notre client est un grand cabinet d’audit et de conseil. Il développe et opère en interne une quinzaine de produits applicatifs en C# .NET / Vue.js sur Microsoft Azure, destinés à ses métiers Audit, Advisory et à ses fonctions support. Il renforce aujourd’hui sa capacité à industrialiser des POC/POV construits rapidement avec l’IA générative (« vibe coding »). Ces prototypes s’appuient sur des services d’IA cloud (LLM, RAG, agents) et doivent devenir des produits fiables, sécurisés et exploitables en production. Vos missions • Concevoir, développer et améliorer des agents IA de conception et de scripting de tests : génération de cas de test, de scénarios et de scripts automatisés • Définir et mettre en œuvre la stratégie de qualification des solutions IA (LLM, RAG, agents) • Mettre en place des méthodes d’évaluation adaptées à l’IA générative : • jeux de tests de référence • métriques de qualité (pertinence, fidélité, hallucinations) • non-régression des prompts et des modèles • Sécuriser le passage du POC au produit : critères d’acceptation, robustesse, sécurité (injection de prompt, fuite de données), performance et maîtrise des coûts • Intégrer les tests dans les chaînes CI/CD (Azure DevOps / GitHub) • Accompagner les équipes produit sur les bonnes pratiques qualité appliquées à l’IA