{"id":12191,"date":"2022-05-18T11:48:02","date_gmt":"2022-05-18T11:48:02","guid":{"rendered":"https:\/\/projectsofar.info\/aisuperior\/?post_type=blog&p=12191"},"modified":"2024-12-25T23:19:55","modified_gmt":"2024-12-25T23:19:55","slug":"transformers-in-natural-language-process","status":"publish","type":"blog","link":"https:\/\/aisuperior.com\/fr\/blog\/transformers-in-natural-language-process\/","title":{"rendered":"Transformer les transformateurs\u00a0: la famille GPT et autres tendances en mati\u00e8re d'IA et de traitement du langage naturel"},"content":{"rendered":"

Au moins quatre projets open source de traitement du langage naturel qui exploitent d'\u00e9normes r\u00e9seaux de neurones d\u00e9fient actuellement le seul grand projet commercial de PNL : GPT-3 de\u00a0OpenAI<\/a>.<\/p>\n

Les initiatives open source visent \u00e0 d\u00e9mocratiser l\u2019IA et \u00e0 acc\u00e9l\u00e9rer son \u00e9volution. Tous ces projets sont bas\u00e9s sur\u00a0transformateurs<\/strong>: un type particulier de r\u00e9seaux de neurones qui se sont r\u00e9v\u00e9l\u00e9s les plus efficaces pour travailler avec les structures du langage humain.<\/p>\n

Que sont les transformateurs et pourquoi les \u00e9volutions r\u00e9centes de leur paysage sont-elles si importantes ?<\/p>\n

Que sont les transformateurs dans le traitement du langage naturel ?<\/h2>\n

Sur leur long chemin vers le succ\u00e8s, les chercheurs ont essay\u00e9 diff\u00e9rents r\u00e9seaux de neurones pour le traitement du langage naturel. Enfin, ils sont arriv\u00e9s avec attention \u00e0 deux mod\u00e8les bas\u00e9s soit sur des r\u00e9seaux de neurones convolutifs (CNN), soit sur des r\u00e9seaux de neurones r\u00e9currents (RNN).<\/p>\n

Sur un exemple de t\u00e2che de traduction, la diff\u00e9rence entre les deux est la suivante. Bien que les deux types prennent en compte ce qu\u2019ils ont appris sur une phrase donn\u00e9e en traduisant les mots pr\u00e9c\u00e9dents, ils passeraient au mot suivant de la rang\u00e9e en utilisant des approches diff\u00e9rentes.<\/p>\n

Un CNN traiterait chaque mot de la phrase dans des fils parall\u00e8les, tandis qu'un RNN attentif veillerait \u00e0 pond\u00e9rer chaque mot pr\u00e9c\u00e9dent de la phrase en fonction de son influence sur la signification du mot suivant, traitant ainsi les mots les uns apr\u00e8s les autres. Un CNN ne r\u00e9sout pas parfaitement le probl\u00e8me de trouver le sens correct de chaque mot mais peut fonctionner plus rapidement ; un RNN produit des r\u00e9sultats plus corrects mais fonctionne lentement.<\/p>\n

En un mot, un transformateur est une combinaison des deux. Il utilise la technique de l\u2019attention \u00e9valuant l\u2019influence mutuelle des mots d\u2019une phrase les uns sur les autres. D'autre part, cela fonctionne plus rapidement gr\u00e2ce aux multiples \u00ab threads \u00bb : des paires de soi-disant encodeurs et d\u00e9codeurs qui aident \u00e0 apprendre, \u00e0 appliquer ce qui a \u00e9t\u00e9 appris et \u00e0 propager les connaissances obtenues \u00e0 l'it\u00e9ration suivante.<\/p>\n

Que peuvent faire les transformateurs ?<\/h2>\n

Outre la traduction, les transformateurs peuvent pr\u00e9dire quel mot utiliser ensuite dans une phrase, g\u00e9n\u00e9rant ainsi des phrases enti\u00e8res d'un discours d'apparence humaine.<\/p>\n

Cela nous permet de les utiliser \u00e0 diverses fins.<\/p>\n

Les capacit\u00e9s de cr\u00e9ation de contenu de Transformers peuvent \u00eatre utilis\u00e9es pour concevoir de meilleurs chatbots, r\u00e9diger du contenu Web et lib\u00e9rer les mains du personnel d'assistance technique. Le dernier cas d'utilisation est associ\u00e9 aux comp\u00e9tences des transformateurs en mati\u00e8re de recherche d'informations qui promettent un large \u00e9ventail d'applications dans la vie r\u00e9elle.<\/p>\n

Outre les langages purement humains, certains transformateurs sont capables de g\u00e9rer des langages de programmation et m\u00eame de cr\u00e9er des scripts pour d'autres mod\u00e8les d'apprentissage profond. Les comp\u00e9tences en codage et la capacit\u00e9 de comprendre la parole humaine permettent aux transformateurs de devenir des d\u00e9veloppeurs front-end. Ils peuvent \u00eatre inform\u00e9s de la m\u00eame mani\u00e8re qu\u2019un d\u00e9veloppeur humain et proposer une mise en page Web.<\/p>\n

Dans le cadre d'une autre exp\u00e9rience, des transformateurs ont \u00e9t\u00e9 int\u00e9gr\u00e9s \u00e0 Excel et ont r\u00e9ussi \u00e0 remplir les cellules vides d'une feuille de calcul en pr\u00e9disant des valeurs bas\u00e9es sur les donn\u00e9es existantes dans la m\u00eame feuille de calcul. Cela nous permettrait de remplacer les fonctions Excel volumineuses par une seule formule de transformateur qui imite le comportement de tout un algorithme.<\/p>\n

\u00c0 l\u2019avenir, les transformateurs pourraient remplacer les ing\u00e9nieurs d\u2019exploitation du d\u00e9veloppement humain, car ils doivent \u00eatre capables de configurer eux-m\u00eames les syst\u00e8mes et de fournir les infrastructures.<\/p>\n

On dirait wow ! En fait, 2022 a apport\u00e9 quelques mises \u00e0 jour inspirantes dans le domaine.<\/p>\n

Performances des transformateurs et ressources requises<\/h2>\n

Imiter l\u2019art humain du traitement du langage est devenu un cas tr\u00e8s comp\u00e9titif.<\/p>\n

Mesurer le succ\u00e8s n\u2019est pas une chose \u00e9vidente. En effet, le gagnant est le plus rapide et le plus pr\u00e9cis. Mais vous pouvez atteindre une vitesse et une pr\u00e9cision \u00e9lev\u00e9es gr\u00e2ce \u00e0 une combinaison de deux facteurs principaux\u00a0:<\/p>\n