Synopsis
Guide terrain pour accélérer sa delivery GenAI - Stratégie hybride pour accélérer son time-to-market et préserver sa différenciation. Analyse des trade-offs build/buy pour chaque composant critique, critères de décision et métriques de succès. Patterns d'architecture issus de déploiements réussis en contexte contraint.
Voir le replay
Replay du talk Guide terrain pour accélérer sa delivery GenAI 22/01 dans les locaux de Qonto
Audience
CTO, Machine learning engineers, AI product owner, data scientist
Resources
Dans cette présentation, nous faisons souvent référence à l'article de {D. Sculley, 2015}[1] sur la hidden tech debt dans des systèmes de ML en production. Bien qu'il ait été publié il y a 10 ans, (2015) les conclusions qu'il présente restent toujours pertinentes aujourd'hui et sont entièrement transposables à la construction de systèmes genAI.
Dans la dernière partie de la présentation, nous identifions et discutons de certains patterns et anti-patterns actualisés à l'ère de la GenAI, afin d'éviter une accumulation excessive de *technical debt* – ou du moins – de prendre des décisions éclairées lorsqu'on s'engage dans une direction susceptible de générer cette dette
Points clés
Ce talk basé sur 2ans de déploiement de systèmes GenAI fournit des conseils pratiques pour accélérer sa delivery et maintenir une différenciation forte. Trois domaines clés traités :
1. Erreur n°1 observée et comment l'éviter
Identifier vos facteurs différenciants - La première étape consiste à comprendre ce qui distingue votre entreprise. Visez-vous un gain de productivité 10 fois supérieur dans votre secteur vertical, débloquer de nouveaux cas d'utilisation, ou repenser le rôle de l'utilisateur dans la boucle décision-action ?
Diagnostiquer votre organisation - Évaluez vos capacités internes, vos actifs de données propriétaires et les tendances du secteur. Quel impact pour votre businessde trend macro comme le rattrapage par solutions open-weights des modèles propriétaires ? Disposez-vous d'une équipe solide en ML engineering ?
Point HR - structurer son équipe pour ramp up en GenAi - Pour l'amorçage d'une capacité besoin d'expert métier, devOps et de full stack engineer. Les profils data eng, ML eng et DataScientist sont à faire entrer plus tard, et dans cette ordre, dans la démarche. Cf figure 3.
2. Build vs. Buy - Clés pour assurer votre différenciation
Build pour les composants critiques de la chaîne de valeur - Lorsqu'un composant est au cœur de votre proposition de valeur et offre un actif réutilisable à long terme, le build est le meilleur choix pour créer & maintenir votre avantage concurrentiel.
Buy pour les commodités de la stack IA Gen - Utilisez des solutions matures existantes lorsque le composant est facilement disponible et non central pour votre différenciation. Profitez des économies d'échelle offertes par les grands fournisseurs et concentrez vos ressources sur des activités à plus forte valeur ajoutée.
Éviter les pièges courants du build - Ne tombez pas dans le piège de construire des solutions déjà banalisées. Par exemple, évaluez le retour sur investissement avant de développer un assistant de code lorsque d'excellentes options SaaS/on-prem existent. De même pour le développement de systèmes RAG internes pour la documentation lorsque des solutions sur étagère sont disponibles. Même le fine-tuning d'un LLM pour une tâche spécifique peut être moins efficace/rentable que prévu, étant donné la rapidité des avancées dans le domaine.
3. Anti-patterns récurrents et comment les éviter
Méfiez-vous du glue code - Les systèmes ML matures ont souvent un pourcentage étonnamment faible de code ML central. Une grande partie est consacrée au "glue code" pour l'intégration, ce qui peut rendre la maintenance et les mises à jour difficiles. Mieux vaut investir sur une framework interne modélisant votre domaine métier qu'une solution générique vous enfermant dans des choix de design lourd de dette technique.
Gérer la dette de configuration - À mesure que votre produit évolue, sa complexité de
configuration va exploser. Cela peut entraîner des erreurs dans les déploiements très subtile et
couteuses.
S'assurer de version controller sous GitHub par exemple un fichier de config de référence .env.example,
sans vos secrets évidemment, permet de limiter la complexité cognitive en ayant une unique source de
vérité sur la configuration.
Quelques questions utiles - pour jauger son niveau de dette tech. Voir la figure ci-dessous.
Wrap up
Le déploiement et la mise à l'échelle réussie des solutions GenAI nécessitent une approche stratégique bien pensée dès le début. La différence entre succès et échec réside souvent dans les choix d'infra / de trajectoire produits initiaux et la capacité à éviter les pièges courants que nous avons identifiés.