Par : Pablo Andres

• Les IA génératives sont capables de créer du contenu à partir d’une base de données qu’elles auront ingérées et selon les indications qu’on lui donne.
• Ces technologies, encore récentes, sont en cours de développement et de nombreux points restent à améliorer : notion de fiabilité, biais dans la base de données, etc.
• ChatGPT ou Bloom ne sont que des modèles d’IA génératives, ce concept peut s’étendre à une multitude d’applications.
• Ces technologies posent certaines questions, comme leur impact écologique ou le risque de leur utilisation à des fins potentiellement malveillantes.

Ces derniers temps tout le monde ne fait qu’en parler, ChatGPT arrive dans nos sociétés telle une véritable révolution. Pas étonnant qu’au vu des champs d’applications très étendus de ces outils, leur arrivée nourrisse tant de réflexions. Mais savons-nous réellement comment cette IA fonctionne ?

Une IA générative peut générer du contenu écrit, visuel ou audible, en ingérant du contenu. En lui donnant des indications en entrée, l’IA est capable de créer en sortie n’importe quel contenu qui correspondra aux indications ingérées. « Ici, on cherche à générer des contenus originaux, explique Éric Moulines, professeur en apprentissage statique à l’École polytechnique (IP Paris). Ces contenus originaux seront obtenus en généralisant des formes vues durant l’apprentissage. »

Il existe aujourd’hui deux principaux types de modèles de cette IA. Les GPT (« Generative Pre-trained Transformer »), comme ChatGPT et les Diffusions Models. « En lui donnant du texte en entrée, l’IA sera capable de comprendre le contexte au travers d’un mécanisme appelé d’attention, ajoute Hatim Bourfone, ingénieur de recherche sur l’IA à l’IDRIS (CNRS). Sa sortie sera donc une liste de tous les mots du dictionnaire qu’il connaît [appris durant son apprentissage] sur lesquels il aura mis une probabilité. » Dépendamment de la base de données sur laquelle il s’est entraîné, l’outil peut être programmé pour diverses fonctions.

Bloom par exemple, l’IA développée par l’équipe dont Hatim Bourfoune fait partie à l’IDRIS, est un outil aidant la recherche dans sa capacité à s’exprimer dans plusieurs langues. « Le but premier du modèle Bloom, ajoute Pierre Cornette, également membre de l’équipe de l’IDRIS, est d’apprendre une langue. Pour cela, on leur donne tout un tas de textes à ingérer en leur demandant de prédire le prochain mot du texte donné et on les corrige s’ils ont faux. »   

Une technologie récente, encore immature

« Les premiers modèles d’IA génératives n’ont même pas 10 ans, explique Éric Moulines. La première révolution de ce domaine a été l’arrivée des transformers — technologie perfectionnant ce mécanisme d’attention —, en 2017. Quatre années plus tard, nous avons déjà des produits commerciaux. Il y a donc eu une accélération de l’histoire considérable, beaucoup plus forte que sur tous les autres modèles de Deep Learning. » Les modèles comme celui de ChatGPT sont donc encore très récents, de nombreuses choses peuvent, ou doivent, encore être améliorées.

La question de la fiabilité des réponses données n’est, encore aujourd’hui, pas certaine : « La notion de fiabilité, ChatGPT ne la connaît pas, admet le professeur. Ce type d’IA est incapable d’évaluer la véracité des réponses qu’il donne. » Cela laisse place à un phénomène facilement observable que l’on nomme les « hallucinations ». « Il est possible [pour ChatGPT] de générer des contenus qui semblent plausibles, mais qui sont rigoureusement faux, ajoute-t-il. Il raisonne de façon complètement probabiliste pour générer des suites de mots. Dépendamment du contexte, il générera des suites de mots qui lui semblent les plus probables. »

Mise à part sa capacité à inventer des titres de livres, il faudrait garder en tête les autres limites lors de son utilisation. En appliquant les méthodes du Deep Learning, ces IA passent par une phase d’entraînement durant laquelle elles ingéreront une quantité de textes existants. Ainsi, elles ingéreront dans leur apprentissage les biais de cette base de données. Les questions géopolitiques sont un bon exemple pour illustrer cela. « Si on lui pose des questions géopolitiques, ChatGPT reflétera essentiellement le monde occidental, atteste Éric Moulines. Si l’on montre les réponses données à un Chinois, il ne sera certainement pas d’accord sur ce qui est dit concernant la souveraineté de tel ou tel pays sur un territoire donné. »

Un éventail d’applications

Chaque modèle pourra donc générer du contenu selon la base de données sur laquelle il se sera entraîné. C’est peut-être là que réside la magie de cette technologie car, sachant cela, une myriade d’applications peut voir le jour. « Une bonne analogie avec cette technologie serait celle du moteur, avance Pierre Cornette. On pourrait avoir un moteur très puissant, mais sur l’application on peut en faire un tracteur ou une voiture de course. » Par exemple, ChatGPT est une voiture de course et son moteur est GPT‑4. « L’avantage est que les technologies sont concentrées dans ce qui est le moteur, poursuit-il, et on n’a pas besoin de comprendre comment il marche pour utiliser la voiture de course. »

Bloom est un exemple d’une autre utilisation de ce type de modèle : «Il y a 1 an, Bloom était l’un des seuls modèles à être complètement ouvert à la recherche, insiste Hatim Bourfoune. C’est-à-dire que n’importe qui pouvait télécharger le modèle et l’utiliser pour sa recherche. » Entraîné avec une base de données composée de divers articles scientifiques, et ce dans de nombreuses langues, ce modèle peut être fort utile à la recherche scientifique. « Il y a, par ailleurs, un autre projet Bigcode, porté par les mêmes acteurs qui promeut un modèle spécialisé dans le code informatique, ajoute Pierre Cornette. On lui demande une fonction, en lui décrivant simplement son action, et il pourra nous l’écrire dans le langage souhaité. »

L’engouement que ChatGPT a engendré nous montre son importance pour l’utilisation plus grand public. Bing l’a par ailleurs intégré à son moteur de recherche dans l’optique de faire concurrence à Google. Cette intégration permet une utilisation qui contrerait une des limites de cette technologie : la fiabilité des réponses données. En donnant les sources utilisées pour composer sa réponse, le moteur de recherche nous permet de mieux comprendre et de mieux les vérifier. Plus récemment encore, c’est Adobe qui a intégré un modèle d’IA générative à différents logiciels de sa suite (comme Photoshop ou encore Illustrator), dévoilant à nouveau une application impressionnante de cette technologie.

« Son avenir est excitant »

Tout cela ne peut qu’offrir un avenir captivant à cette innovation. Pour autant, l’éventail d’applications pose des questions quant à ses possibles utilisations. « Comme pour tous les outils, il peut y avoir des utilisations malveillantes,admet Hatim Bourfoune. C’est pour cela que les entreprises comme OpenAI mettent différentes barrières de sécurité. » Aujourd’hui, beaucoup de questions posées à ChatGPT restent sans réponse, car l’IA estime qu’elles violent son content policy. 

Cette technologie reste tout de même immature. « C’est le principe de la recherche, nous n’en sommes encore qu’au niveau zéro, maintient Éric Moulines. C’est déjà même étonnant que cela marche. » Ainsi, de nombreuses failles doivent encore être comblées, notamment du point de vue juridique. Comme expliqué, le contenu que ces outils vont générer sera construit avec une base de données déjà existante. L’IA va donc « copier » des textes, ou des œuvres, déjà existants sans citer l’auteur originel de ceux-ci. « Cela pose un problème important, poursuit-il, car les ayants droit des contenus qui ont servi à générer ces nouvelles images [ou textes] ne sont pas respectés. »

Malgré ses différentes limites, le potentiel reste énorme : « Ce qui m’excite … c’est que les progrès à faire sont énormes, ajoute le professeur. Or, la tendance et les dérivés sont énormes. Cela va très vite et il y a une compétition très excitante dans ces sujets. » Parlant des dérivés, Bloom l’illustre parfaitement. Utile à la recherche, c’est aussi un outil linguistique qui pourrait permettre la sauvegarde de langues mortes, mais aussi une traduction de textes scientifiques en des langues peu parlées pour faciliter la diffusion de la recherche.

Cependant, son avenir « excitant » peut être bloqué par son impact carbone tout de même considérable. « Ces modèles demandent beaucoup de mémoire, car ils ont besoin d’embarquer énormément de données, développe Éric Moulines. Aujourd’hui, on considère qu’OpenAI consomme autant que la grille d’un pays comme la Belgique. » Voilà le problème qui sera sûrement le plus compliqué à résoudre. 

Source : Pablo Andres ( l’École polytechnique (IP Paris)