Traductor de Microsoft: mejores traducciones con nueva tecnología de IA

| |

El traductor de Microsoft logra mejores resultados para traducciones a muchos idiomas. Esta mejora se basa en una arquitectura de IA que permite que las redes neuronales procesen tareas de manera más específica y al mismo tiempo calculan de manera más eficiente.

La llamada arquitectura «Mezcla de expertos» (MoE) prevé que una única red de transformadores neuronales se reemplace por una serie de las llamadas redes expertas. Luego, el modelo decide qué tarea se delega a qué red de expertos. Una red de expertos podría representar idiomas individuales, por ejemplo.

La arquitectura de IA también está construida en amplitud en lugar de profundidad, lo que permite más parámetros con menos capas. El objetivo de la arquitectura MoE es obtener mejores resultados con menos esfuerzo informático.

Publicación Destacada

Traductor: Hasta un 15 por ciento de mejores traducciones

Microsoft ahora está utilizando el enfoque de MoE para su propio servicio de traducción, mejorando el rendimiento del programa en todos los ámbitos. Las traducciones del inglés al eslovaco son las que más se benefician, con alrededor de un 15 por ciento de mejores resultados, al igual que el inglés al bosnio y al búlgaro, cada uno con un poco menos del 12 por ciento. Microsoft evaluó las traducciones en pruebas a ciegas con humanos.

La arquitectura MoE también proporciona mejores resultados para la IA de traducción de Microsoft.

Microsoft también capacitó a la red MoE «escasa» de acuerdo con la práctica actual. Las redes neuronales entrenadas de esta manera solo activan aquellos elementos que se requieren actualmente al procesar una tarea. Con los modelos de IA entrenados convencionalmente, todo el modelo está activo para cada tarea, lo que significa un mayor gasto de energía. Microsoft compara esto con calentar una casa con radiadores individuales en las habitaciones en lugar de una estufa central.

Microsoft también utilizó el llamado aprendizaje de transferencia para el entrenamiento de IA, en el que se reconocen elementos lingüísticos comunes de diferentes idiomas para que las tareas de comprensión del idioma se puedan transferir de un idioma a otro. Los idiomas poco hablados, para los que se dispone de poco material didáctico original, se benefician especialmente de ello.

Prevalece la arquitectura del MoE

El nuevo modelo de Traductor forma parte de El «Proyecto Z-Code» de Microsoft para modelos de IA multimodalque combinan datos como texto, vista, audio y voz. Según Microsoft, el objetivo son modelos de IA que puedan hablar, ver, oír y comprender. Los modelos capacitados como parte del Proyecto Z deben basarse en el enfoque del Ministerio de Educación.

Publicación Destacada

«Esta arquitectura permite escalar masivamente la cantidad de parámetros del modelo con el mismo esfuerzo computacional», escribe Microsoft. En el ejemplo del traductor, en el pasado se necesitaban 20 modelos diferentes, que traducían entre diez idiomas utilizando el idioma puente, el inglés.

El nuevo modelo de producción de Z-Code ahora puede traducir directamente los diez idiomas desde y hacia el inglés. Los modelos de investigación de código z más grandes podrían traducir hasta 101 idiomas sin el idioma puente del inglés. Según Microsoft, esto da como resultado 10.000 rutas de traducción.

El enfoque de MoE no es nuevo, Google lo ha estado investigando desde el verano de 2020 y en diciembre de 2021 presentó un enorme modelo de lenguaje de IA construido de acuerdo con el principio de MoE. Anteriormente, en noviembre de 2021, Meta mostró una poderosa IA de traducción, donde las secciones individuales de la red neuronal asumen el papel de expertos para diferentes idiomas.

La traducción AI M4 de Google, el Switch Transformer de 1,6 billones de parámetros de Google y el Wu Dao 2.0 de 1,75 billones de parámetros chinos también se basan en arquitecturas MoE.

Lina
Lina García ha escrito sobre tecnología y marketing, cubriendo todo, desde la analítica hasta la realidad virtual, desde 2010. Antes de eso, obtuvo un doctorado en inglés, enseñó a escribir a nivel universitario y lanzó y publicó una revista en formato impreso y digital. Ahora es escritora, editora y consultora de marketing a tiempo completo.