Utiliser les grands modèles de langage

Qu’est-ce qu’un LLM ?

La plupart des grands modèles de langage sont basés sur un transformateur de réseau neuronal (TNN : Transformer Neural Network) entraîné par apprentissage profond (Deep Learning), leur permettant le traitement du langage naturel et la génération de langage naturel.

Bien que ces outils soient capables de traiter et générer une communication verbale, c’est-à-dire comprendre et être compris en utilisant des phrases, ils ne sont pas dotés du même type d’intelligence qu’un être humain.

Un LLM est capable de se souvenir très exactement d’une phrase ayant été écrite il y a vingt minutes mais est incapable, à ce jour, de se souvenir des informations échangées lors de la conversation précédente. Ainsi, un utilisateur qui prendrait le temps de lui expliquer tous les tenants et aboutissants d’un projet, ses objectifs et son contexte, afin de l’interroger sur un détail précis, devra recommencer la même démarche le lendemain si entre temps il a eu une autre idée.

Il considère certaines informations comme évidentes alors qu’elles ne le sont pas forcément pour l’utilisateur, et inversement. Ainsi, un LLM entraîné à produire du code aura tendance à répondre à...

Utiliser efficacement un LLM

Mais s’ils sont correctement utilisés, la plupart des LLM peuvent apporter une véritable valeur à la conception, la réalisation, la documentation ou aux tests d’un produit.

Transformer plus rapidement des informations implicites en informations explicites

Il y a quelques années, Robert C. Martin (uncle Bob) déclarait qu’au bout du compte, Scrum servait principalement à briser les fantasmes beaucoup plus rapidement que n’importe quelle méthode en V ou en cascade.

Grâce à la mise à disposition très rapide d’un MVP, les utilisateurs se rendent compte beaucoup plus rapidement que le « truc » n’est pas si terrible ou si formidable qu’ils l’imaginaient initialement.

En intégrant les services d’un LLM très tôt dans le projet, cette prise de conscience sera encore plus rapide, d’autant plus lorsque les véritables utilisateurs sont impliqués. Très rapidement ils prendront conscience que tout n’est pas aussi simple qu’ils l’imaginaient, mais surtout que des informations qui leur semblaient évidentes ne l’étaient pas pour tout le monde.

Le simple fait d’interroger un LLM avec eux et le voir dériver vers un domaine qui n’était pas du tout attendu initialement les fera réagir. Ils vont clarifier leur besoin, exprimer des exigences qu’ils n’auraient jamais eu l’idée de formaliser, tellement elles leur paraissent évidentes. En réalisant cet exercice, ils parviennent à exprimer plus...

Exploiter les bonnes pratiques

Confier au LLM les tâches simples et répétitives :

Dans tous les cas, il est essentiel de lui communiquer un contexte très précis. À quel stade en est votre projet ? Quels sont les enjeux, les objectifs ? Sur quelle technologie doit-il s’appuyer ? Si c’est un projet stratégique, très structurant pour l’entreprise, il faut le préciser, car cela va influencer les réponses ou les solutions qu’il proposera. Lui communiquer de la documentation générale permet de lui donner un contexte clair et précis. Ces outils peuvent parcourir des milliers de pages en quelques secondes et en faire un résumé précis.

Il faut être...

Les pièges à éviter

Si le concept peut sembler agréable, humaniser un LLM ne sert à rien et peut même être contre-productif. Ainsi, lui donner un nom ou une personnalité n’affectera quasiment pas la qualité de ses réponses. Lui déclarer qu’il est le meilleur architecte du monde ne le rendra pas plus performant et n’étendra pas son référentiel de connaissances. Cela peut même au contraire le limiter, le réduire à un contexte plus étroit.

Demander à un LLM de gérer ou d’optimiser un Backlog de produit est tentant, mais cela peut s’avérer risqué, et parfois même totalement contre-productif. Principalement, parce que le LLM ne possède pas de mémoire à long terme, et même s’il est possible de lui redonner un contexte, par exemple en lui fournissant l’évolution du Backlog de produit et les conclusions ou les comptes-rendus des précédentes revues de Sprint, ces données ne remplaceront pas l’expérience émotionnelle partagée lors de ces évènements.

Mais également parce qu’il n’a aucun échange l’équipe ni avec les parties prenantes, et Scrum est un travail d’équipe. Le Backlog de produit n’est que le résultat de ce travail et la prospective de celui à venir. Cette absence de contexte précis et d’interactions avec les individus amènera le LLM à faire des choix qui seront parfois difficilement justifiables, et qui pourraient même être considérés comme brutaux.

Demander à un LLM d’identifier une liste d’éléments qui pourraient permettre d’atteindre un objectif peut représenter un gain de temps profitable. Mais dans ce cas, il faut inspecter avec soin...