{"id":12191,"date":"2022-05-18T11:48:02","date_gmt":"2022-05-18T11:48:02","guid":{"rendered":"https:\/\/projectsofar.info\/aisuperior\/?post_type=blog&p=12191"},"modified":"2024-12-25T23:19:55","modified_gmt":"2024-12-25T23:19:55","slug":"transformers-in-natural-language-process","status":"publish","type":"blog","link":"https:\/\/aisuperior.com\/es\/blog\/transformers-in-natural-language-process\/","title":{"rendered":"Transformando a los Transformers: la familia GPT y otras tendencias en inteligencia artificial y procesamiento del lenguaje natural"},"content":{"rendered":"

Al menos cuatro proyectos de procesamiento de lenguaje natural de c\u00f3digo abierto que explotan enormes redes neuronales est\u00e1n desafiando actualmente al \u00fanico gran proyecto comercial de PNL: GPT-3 de\u00a0Abierto AI<\/a>.<\/p>\n

Las iniciativas de c\u00f3digo abierto tienen como objetivo democratizar la IA e impulsar su evoluci\u00f3n. Todos esos proyectos se basan en\u00a0transformadores<\/strong>: un tipo especial de redes neuronales que han demostrado ser las m\u00e1s eficientes para trabajar con estructuras del lenguaje humano.<\/p>\n

\u00bfQu\u00e9 son los transformadores y por qu\u00e9 son tan importantes los recientes avances en su panorama?<\/p>\n

\u00bfQu\u00e9 son los transformadores en el procesamiento del lenguaje natural?<\/h2>\n

En su largo camino hacia el \u00e9xito, los investigadores han probado diferentes redes neuronales para el procesamiento del lenguaje natural. Finalmente, llegaron con atenci\u00f3n a dos modelos basados en redes neuronales convolucionales (CNN) o redes neuronales recurrentes (RNN).<\/p>\n

En un ejemplo de una tarea de traducci\u00f3n, la diferencia entre las dos es la siguiente. Aunque ambos tipos tienen en cuenta lo que aprendieron sobre una oraci\u00f3n determinada al traducir las palabras anteriores, continuar\u00edan con la siguiente palabra de la fila utilizando enfoques diferentes.<\/p>\n

Una CNN procesar\u00eda cada palabra de la oraci\u00f3n en hilos paralelos, mientras que una RNN con atenci\u00f3n se asegurar\u00e1 de ponderar cada palabra anterior de la oraci\u00f3n con respecto a su influencia sobre el significado de la siguiente palabra, manejando as\u00ed las palabras una tras otra. Una CNN no resuelve perfectamente el problema de encontrar el significado correcto de cada palabra, pero puede funcionar m\u00e1s r\u00e1pido; un RNN produce resultados m\u00e1s correctos pero funciona lentamente.<\/p>\n

En pocas palabras, un transformador es una combinaci\u00f3n de ambos. Utiliza la t\u00e9cnica de la atenci\u00f3n para evaluar la influencia mutua de las palabras individuales de una oraci\u00f3n entre s\u00ed. Por otro lado, funciona m\u00e1s r\u00e1pido gracias a los m\u00faltiples \u201chilos\u201d: pares de los llamados codificadores y decodificadores que ayudan a aprender, aplicar lo aprendido y propagar el conocimiento obtenido a la siguiente iteraci\u00f3n.<\/p>\n

\u00bfQu\u00e9 pueden hacer los transformadores?<\/h2>\n

Adem\u00e1s de la traducci\u00f3n, los transformadores pueden predecir qu\u00e9 palabra usar a continuaci\u00f3n en una oraci\u00f3n, generando as\u00ed oraciones completas de habla de apariencia humana.<\/p>\n

Eso nos permite utilizarlos para diversos fines.<\/p>\n

Las capacidades de creaci\u00f3n de contenido de Transformers se pueden utilizar para dise\u00f1ar mejores chatbots, escribir contenido web y liberar las manos del personal de soporte t\u00e9cnico. El \u00faltimo caso de uso se combina con la habilidad de los transformadores para buscar informaci\u00f3n que promete una amplia gama de aplicaciones en la vida real.<\/p>\n

Adem\u00e1s de los lenguajes puramente humanos, algunos transformadores pueden manejar lenguajes de programaci\u00f3n e incluso crear scripts para otros modelos de aprendizaje profundo. Las habilidades de codificaci\u00f3n y la capacidad de comprender el habla humana permiten a los transformadores convertirse en desarrolladores frontend. Se les puede informar de la misma manera que un desarrollador humano y crear\u00e1n un dise\u00f1o web.<\/p>\n

Como parte de otro experimento, los transformadores se integraron en Excel y lograron completar celdas vac\u00edas en una hoja de c\u00e1lculo prediciendo valores basados en los datos existentes en la misma hoja de c\u00e1lculo. Eso nos permitir\u00eda reemplazar funciones voluminosas de Excel con una sola f\u00f3rmula transformadora que imita el comportamiento de un algoritmo completo.<\/p>\n

En el futuro, los transformadores pueden reemplazar a los ingenieros de operaciones de desarrollo humano, ya que deben poder configurar sistemas y aprovisionar infraestructuras por s\u00ed mismos.<\/p>\n

\u00a1Suena guau! De hecho, 2022 trajo algunas actualizaciones inspiradoras en el campo.<\/p>\n

Rendimiento de los transformadores y recursos necesarios<\/h2>\n

La imitaci\u00f3n del arte humano del procesamiento del lenguaje se convirti\u00f3 en un caso muy competitivo.<\/p>\n

Medir el \u00e9xito no es algo obvio. De hecho, el ganador es el m\u00e1s r\u00e1pido y preciso. Pero se puede lograr alta velocidad y precisi\u00f3n mediante una combinaci\u00f3n de dos factores principales:<\/p>\n