{"id":12191,"date":"2022-05-18T11:48:02","date_gmt":"2022-05-18T11:48:02","guid":{"rendered":"https:\/\/projectsofar.info\/aisuperior\/?post_type=blog&p=12191"},"modified":"2024-12-25T23:19:55","modified_gmt":"2024-12-25T23:19:55","slug":"transformers-in-natural-language-process","status":"publish","type":"blog","link":"https:\/\/aisuperior.com\/nl\/blog\/transformers-in-natural-language-process\/","title":{"rendered":"Transformatie van de Transformers: de GPT-familie en andere trends op het gebied van AI en natuurlijke taalverwerking"},"content":{"rendered":"

Minstens vier open-source natuurlijke taalverwerkingsprojecten die enorme neurale netwerken exploiteren, dagen momenteel het enige grote commerci\u00eble NLP-project uit: GPT-3 van\u00a0Open AI<\/a>.<\/p>\n

De open-sourceinitiatieven zijn bedoeld om AI te democratiseren en de evolutie ervan te stimuleren. Al deze projecten zijn gebaseerd op\u00a0transformatoren<\/strong>: een speciaal type neurale netwerken die het meest effici\u00ebnt zijn gebleken voor het werken met menselijke taalstructuren.<\/p>\n

Wat zijn transformatoren en waarom zijn de recente ontwikkelingen in hun landschap zo belangrijk?<\/p>\n

Wat zijn transformatoren in natuurlijke taalverwerking?<\/h2>\n

Op hun lange weg naar succes hebben onderzoekers verschillende neurale netwerken geprobeerd voor natuurlijke taalverwerking. Uiteindelijk kwamen ze met aandacht tot twee modellen gebaseerd op convolutionele neurale netwerken (CNN) of terugkerende neurale netwerken (RNN).<\/p>\n

Bij een voorbeeld van een vertaaltaak is het verschil tussen beide als volgt. Hoewel beide typen rekening houden met wat ze over een bepaalde zin hebben geleerd door de voorgaande woorden erin te vertalen, gingen ze op verschillende manieren verder met het volgende woord in de rij.<\/p>\n

Een CNN zou elk woord in de zin in parallelle threads verwerken, terwijl een RNN met aandacht ervoor zal zorgen dat elk vorig woord in de zin een gewicht krijgt in termen van zijn invloed op de betekenis van het volgende woord, en dus de woorden na elkaar behandelt. Een CNN lost het probleem van het vinden van de juiste betekenis voor elk woord niet perfect op, maar kan sneller werken; een RNN levert correctere resultaten op, maar werkt langzaam.<\/p>\n

Kort gezegd is een transformator een combinatie van beide. Het maakt gebruik van de aandachtstechniek die de wederzijdse invloed van de afzonderlijke woorden in een zin op elkaar evalueert. Aan de andere kant werkt het sneller dankzij de meerdere \u2018threads\u2019: paren zogenaamde encoders en decoders die helpen bij het leren, toepassen van het geleerde en het doorgeven van de verkregen kennis aan de volgende iteratie.<\/p>\n

Wat kunnen transformatoren doen?<\/h2>\n

Naast de vertaling kunnen transformatoren voorspellen welk woord ze als volgende in een zin moeten gebruiken, waardoor hele zinnen met menselijk ogende spraak worden gegenereerd.<\/p>\n

Hierdoor kunnen we ze voor verschillende doeleinden gebruiken.<\/p>\n

De capaciteiten van Transformers voor het cre\u00ebren van inhoud kunnen worden gebruikt voor het ontwerpen van betere chatbots, het schrijven van webinhoud en het vrijmaken van de handen van technisch ondersteunend personeel. De laatste use case gaat gepaard met de vaardigheid van de transformatoren voor het zoeken naar informatie, wat een breed scala aan toepassingen in het echte leven belooft.<\/p>\n

Afgezien van puur menselijke talen, kunnen sommige transformatoren overweg met programmeertalen en zelfs scripts maken voor andere deep learning-modellen. Dankzij codeervaardigheden en het vermogen om menselijke spraak te begrijpen, kunnen transformatoren frontend-ontwikkelaars worden. Ze kunnen op dezelfde manier worden ge\u00efnformeerd als een menselijke ontwikkelaar en komen met een weblay-out.<\/p>\n

Als onderdeel van een ander experiment zijn transformatoren in Excel ge\u00efntegreerd en zijn ze erin geslaagd lege cellen in een spreadsheet in te vullen en waarden te voorspellen op basis van de bestaande gegevens in dezelfde spreadsheet. Dat zou ons in staat stellen omvangrijke Excel-functies te vervangen door slechts \u00e9\u00e9n transformatorformule die het gedrag van een heel algoritme nabootst.<\/p>\n

In de toekomst kunnen transformatoren de technici van menselijke ontwikkelingsoperaties vervangen, omdat zij in staat moeten zijn zelf systemen te configureren en infrastructuren in te richten.<\/p>\n

Klinkt als wauw! Sterker nog, 2022 bracht een paar inspirerende updates op het terrein.<\/p>\n

Prestaties van transformatoren en vereiste middelen<\/h2>\n

Het imiteren van de menselijke kunst van taalverwerking werd een zeer competitieve zaak.<\/p>\n

Het meten van succes is niet vanzelfsprekend. De winnaar is inderdaad de snelste en meest nauwkeurige. Maar u kunt hoge snelheid en nauwkeurigheid bereiken door een combinatie van twee belangrijke factoren:<\/p>\n