Synopsis
Ce cours explore les enjeux géopolitiques et techniques liés au développement des grands modèles de langage (LLM), en mettant l’accent sur la souveraineté technologique sur l'intégralité de la chaîne de valeur d'un modèle. Après une première partie théorique, les élèves ingénieurs pratiquent sur un sujet de spécialisation d'un modèle (fine-tuning) pour observer les conséquences des différentes options de quantification sur la qualité des inférences selon les tâches étudiées.
Souveraineté des LLM : trois chaînes de dépendance
Le fil conducteur du cours est de suivre les dépendances d'un LLM, du matériel qui permet de l'entraîner aux données qui orientent ses réponses. Choisir un fournisseur de modèles ne décrit qu'une partie de cette chaîne. Les notes ci-dessous reprennent les trois niveaux du support de cours.
1. Le matériel : distinguer conception et fabrication
Le parcours commence par les transformations du silicium jusqu'au GPU et au système de calcul. La conception des puces, leur fabrication et les équipements nécessaires à cette fabrication sont des activités distinctes. Le modèle fabless illustre cette séparation : une entreprise peut concevoir des puces tout en confiant leur fabrication à une fonderie.
Pour comprendre une dépendance matérielle, il faut donc regarder les acteurs situés à plusieurs étapes de la chaîne. Le cours s'appuie notamment sur la lithographie, les fonderies et le cas de Taïwan pour relier les choix technologiques aux concentrations industrielles et aux enjeux géopolitiques. Voir le schéma fabless, fonderies et fabricants intégrés.
2. Les modèles : examiner le degré d'ouverture
Un modèle dont les poids sont disponibles ne donne pas nécessairement accès à tous les éléments ayant permis de le produire. Le cours présente l'ouverture comme un ensemble de dimensions : poids, code, données, documentation et licence. Il compare également la mise à disposition de poids avec les offres de modèles accessibles sur site ou par API.
La model card est un point de départ pour examiner un modèle : elle rassemble sa description et des informations utiles pour identifier sa base, sa licence et son usage. Lire cette documentation aide à préciser ce que l'on peut inspecter et utiliser, au-delà de l'étiquette « open source ». Voir le gradient d'ouverture et l'exemple de model card.
3. Les données : interroger la représentation du monde apprise
La troisième partie porte sur le patrimoine linguistique, les biais culturels et la génération de données synthétiques. Le TP propose de spécialiser un modèle sur un jeu de données d'intérêt. Cela permet de relier les choix de données au comportement du modèle, plutôt que de considérer son origine ou sa taille comme une description suffisante de ses capacités. Voir les thèmes du TP.
Passer de l'analyse des dépendances à l'expérimentation
Le cours aborde aussi la mesure de l'impact énergétique de l'inférence. Avec le fine-tuning et la quantification, l'objectif est de relier les choix de modèles à des contraintes observables de ressources et de qualité des réponses. Les ressources du TP accompagnent cette partie pratique.
Pour approfondir les mécanismes de spécialisation et la façon d'en évaluer les résultats, consultez les explications sur le fine-tuning, LoRA et l'évaluation des LLM. Le retour d'expérience sur les choix build vs buy en GenAI prolonge ces questions du côté de l'architecture produit et de l'exploitation.
Audience
Élèves ingénieurs de l'option informatique et intelligence artificielle (INFO-IA) — Master / Master 2