¿Puede la IA desbloquear el secreto del lenguaje humano?

| |

¿Puede el aprendizaje autosupervisado explicar el procesamiento del lenguaje humano? Un nuevo estudio compara el algoritmo Wav2Vec con las exploraciones de IRMf.

Los modelos de IA entrenados y autosupervisados ​​se están acercando o ya han alcanzado el rendimiento humano, por ejemplo, en el reconocimiento de objetos, la traducción o el reconocimiento de voz. Varios estudios también muestran que al menos algunas representaciones de estos algoritmos se correlacionan con las de los cerebros humanos.

Un ejemplo: la actividad neuronal de las capas intermedias de los modelos GPT se puede mapear en el cerebro durante el consumo de texto o lenguaje hablado. Las actividades de una capa más profunda de la red neuronal se pueden transformar en imágenes sintéticas de resonancia magnética funcional (fMRI) y compararlas con imágenes reales de personas.

En un artículo, los investigadores de Meta demostraron que podían predecir las respuestas del cerebro al lenguaje en función de las activaciones de GPT-2 en respuesta a las mismas historias.

Publicación Destacada

«Cuanto mejor entienden los sujetos una historia, mejor predice GPT-2 su actividad cerebral», dijo Jean-Remi King, investigador del CNRS en Ecole Normale Supérieure e investigador de Meta AI.

Los modelos GPT no pueden explicar la adquisición del lenguaje

Sin embargo, modelos como GPT-2 difieren significativamente del cerebro en varios aspectos. Por ejemplo, necesitan cantidades extremadamente grandes de datos para el entrenamiento y se basan en texto en lugar de datos de sensores sin procesar. A la mayoría de las personas les tomó varias vidas leer los 40 gigabytes de texto sin formato que se usa para entrenar GPT-2.

Por lo tanto, los modelos solo son parcialmente adecuados para aprender más sobre el cerebro humano, un objetivo declarado del equipo de investigación dirigido por King en Meta. El conocimiento adquirido de esta manera también debería permitir una mejor inteligencia artificial.

El enfoque de los esfuerzos se encuentra actualmente en los aspectos básicos de la adquisición del lenguaje: “Las personas, y especialmente los niños, aprenden el lenguaje de manera muy eficiente. Aprendes rápido y con muy pocos datos. Para hacer eso, necesitan una habilidad especial que actualmente no conocemos», dijo King.

Ahora, en una nueva investigación, King y su equipo están investigando si el algoritmo Wav2Vec puede arrojar luz sobre esta habilidad especial.

Wav2Vec está entrenado con 600 horas de audio

Wav2Vec 2.0 es un modelo de transformador híbrido con capas convolucionales ascendentes, que se entrena autosupervisado en datos de audio y aprende una representación latente de las formas de onda de las grabaciones de voz. Meta utiliza el sistema y su predecesor Wav2Vec para el reconocimiento de voz aprendido, la traducción o la generación de voz autosupervisados.

En el nuevo trabajo de Meta, King y su equipo comparan un modelo Wav2Vec entrenado en 600 horas de grabaciones de voz con grabaciones de fMRI de 417 personas escuchando audiolibros. Según los investigadores, las 600 horas corresponden aproximadamente a la cantidad de lenguaje hablado que escuchan los niños pequeños durante la adquisición temprana del lenguaje.

El experimento muestra que el aprendizaje autosupervisado es suficiente para que un algoritmo de IA como Wav2Vec aprenda representaciones similares al cerebrosegún Rey.

En el trabajo, los investigadores muestran que la mayoría de las áreas del cerebro se correlacionan significativamente con la activación del algoritmo en respuesta a la misma entrada de idioma.

Además, la jerarquía aprendida por el algoritmo corresponde a la del cerebro. Por ejemplo, la corteza auditiva está mejor sintonizada con la primera capa transformadora, mientras que la corteza prefrontal está mejor sintonizada con las capas más profundas.

La investigación en IA va por buen camino

Con los datos de fMRI de otros 386 sujetos de prueba, que tenían que distinguir entre ruidos no relacionados con el habla en un idioma extranjero y su propio idioma, los investigadores también muestran que las representaciones auditivas, del habla y específicas del lenguaje aprendidas del modelo se correlacionan con las de el cerebro humano.

Modelar la inteligencia a nivel humano aún está muy lejos, dijo King. Pero eso Aparición de funciones similares al cerebro en algoritmos autosupervisados indican que la investigación en IA va por buen camino.

King probablemente también se esté dirigiendo a los críticos del paradigma del aprendizaje profundo, quienes consideran que el enfoque en las redes profundas es un callejón sin salida. Gary Marcus, por ejemplo, comentó recientemente de manera crítica sobre el debate iniciado por Gato, el polifacético de Deepmind, sobre el papel de escalar en el camino hacia la inteligencia artificial a nivel humano.

Marcus llamó a este enfoque de «escala sobre todo» arrogancia y parte de una investigación de «inteligencia alternativa»: «La inteligencia alternativa no se trata de construir máquinas que resuelvan problemas de una manera en que lo hace la inteligencia humana. Se trata de utilizar grandes cantidades de datos, a menudo derivados del comportamiento humano, como sustituto de la inteligencia”.

Lina
Lina García ha escrito sobre tecnología y marketing, cubriendo todo, desde la analítica hasta la realidad virtual, desde 2010. Antes de eso, obtuvo un doctorado en inglés, enseñó a escribir a nivel universitario y lanzó y publicó una revista en formato impreso y digital. Ahora es escritora, editora y consultora de marketing a tiempo completo.