Deepmind «Gato»: un paso hacia la IA general, o no

| |

Deepminds Gato resuelve muchas tareas, pero ninguna realmente bien. ¿Señala el nuevo sistema de IA, no obstante, el camino hacia la inteligencia artificial general?

Poco después de dall-e 2 de OpenAI, PaLM y LaMDA 2 de Google y Chinchilla y Flamingo de Deepmind, la empresa de IA con sede en Londres muestra otro modelo de IA importante que supera a los sistemas existentes.

Pero el Gato de Deepmind es diferente: el modelo no es mejor para escribir textos, describir imágenes, jugar Atari, controlar brazos robóticos u orientarse mejor en 3D que otros sistemas de IA. Gato puede hacer de todo un poco.

Deepminds Gato toma lo que puede conseguir

Deepmind entrenó el multitalento basado en la arquitectura Transformer con imágenes, texto, propiocepción (la percepción del propio cuerpo), momentos conjuntos, entradas de botones y otras «observaciones y acciones discretas y continuas». En la fase de entrenamiento, la red Transformer procesa todos los datos en una secuencia de tokens, similar a un gran modelo de lenguaje.

Publicación Destacada

Deepmind "Gato": un paso hacia la IA general, o no
Gato se basa en la arquitectura Transformer y está capacitado con numerosas modalidades de datos diferentes.

Luego, el equipo probó a Gato en 604 tareas diferentes. En más de 450 de ellos, el modelo de IA logra alrededor del 50 por ciento del rendimiento de otros sistemas expertos en el benchmark. Pero eso está muy por detrás de los modelos de IA especializados que pueden alcanzar el nivel de expertos.

Gato y las Leyes de la Escala

Con solo 1.18 mil millones de parámetros, Gato es pequeño en comparación con el GPT-3 de 175 mil millones de parámetros, el modelo PaLM gigante de 540 mil millones de parámetros o el «pequeño» Chinchilla de 70 mil millones de parámetros.

Según el equipo, esto se debe principalmente al tiempo de respuesta del brazo robótico Sawyer utilizado: un modelo más grande sería demasiado lento con el hardware actual y con la arquitectura actual para realizar las tareas del robot.

Pero estas limitaciones se superan fácilmente con hardware y arquitectura nuevos, dijo el equipo. Un modelo de Gato más grande podría entrenar con más datos y probablemente desempeñarse mejor en muchas tareas.

Deepmind "Gato": un paso hacia la IA general, o no
Deepminds Gato puede resolver muchas tareas un poco. ¿La inteligencia artificial general está a la vuelta de la esquina?

Al final uno podría modelo de IA generalista emergen que reemplazan los modelos especializados; esto también se muestra en la historia de la investigación de la IA. El equipo también se refiere al investigador de IA Richard Sutton, quien señaló como una «lección amarga» de su investigación: «Históricamente, los modelos generales que hacen un mejor uso de la potencia informática han prevalecido sobre enfoques más específicos de dominio».

Deepmind también ofrece un aumento demostrable en el rendimiento de Gato con un número cada vez mayor de parámetros: además del modelo grande, el equipo también entrenó dos modelos más pequeños con 79 millones y 364 millones de parámetros. El rendimiento promedio en los puntos de referencia probados se escala linealmente con el aumento del tamaño.

Deepmind "Gato": un paso hacia la IA general, o no
El rendimiento de Gato escala con el número de parámetros.

Este fenómeno ya se conoce a partir de grandes modelos de lenguaje y se identificó a principios de 2020 en el trabajo de investigación «Leyes de escala para modelos de lenguaje neuronal‘ Examinado en detalle.

A estas leyes de escalado, Deepmind agregó recientemente la importancia de una mayor cantidad de datos para escalar el rendimiento con el papel Chinchilla. Más datos conducen a un mejor rendimiento.

¿Se acabó el juego o el siguiente nivel de inteligencia artificial?

¿Algún día escalar un sistema como Gato habilitará la inteligencia artificial general? la Esperanza en el principio de escalamiento. no todos comparten: el científico cognitivo e investigador de IA Gary Marcus habla en uno nuevo Publicar en substack a Gato desde un enfoque fallido de «escala sobre todo». Todos los grandes modelos actuales de IA como GPT-3, PaLM, Flamingo o Gato combinarían momentos de brillantez con incomprensión absoluta.

Si bien los humanos también son propensos a cometer errores, cualquiera que sea honesto reconocerá que este tipo de errores muestran que algo anda muy mal en este momento. Si alguno de mis hijos cometiera errores como este con regularidad, sin exagerar, dejaría todo lo demás que hago y lo llevaría al neurólogo de inmediato», dijo Marcus.

Marcus se refiere a esta línea de investigación como Vieja inteligencia: “Alt Intelligence no se trata de construir máquinas que resuelvan problemas de una manera que tenga que ver con la inteligencia humana. Se trata de utilizar grandes cantidades de datos, a menudo derivados del comportamiento humano, como sustituto de la inteligencia”.

Este enfoque no es nuevo en sí mismo, pero es arrogancia asociada para lograr inteligencia artificial general simplemente escalando este método.

Marcus también responde a una publicación en Twitter de Nando de Freitas, director de investigación de Deepmind: «¡Ahora todo se trata de la escala! Se acabó el juego”, dijo de Freitas en el contexto de Gato. «Se trata de hacer que estos modelos sean más grandes, más seguros, más eficientes computacionalmente, más rápidos en el muestreo, más inteligentes en la memoria, más modalidades, DATOS INNOVADORES, en línea/fuera de línea».

De Freitas ve a Deepmind en el camino hacia la IA general, si se resolvieron los desafíos de escala descritos. La lección de Sutton no es amarga, sino más bien dulce, según el investigador de Deepmind. De Freitas está expresando aquí lo que muchos en la industria piensan, escribe Marcus.

Pero Deepmind también es más cauteloso: “Tal vez escalar sea suficiente. Tal vez”, escribe el científico principal Murray Shanahan . Sin embargo, ve muy poco en Gato, lo que sugiere que escalar por sí solo conducirá a una generalización a nivel humano. Sin embargo, Deepmind está investigando en varias direcciones.

Lina
Lina García ha escrito sobre tecnología y marketing, cubriendo todo, desde la analítica hasta la realidad virtual, desde 2010. Antes de eso, obtuvo un doctorado en inglés, enseñó a escribir a nivel universitario y lanzó y publicó una revista en formato impreso y digital. Ahora es escritora, editora y consultora de marketing a tiempo completo.