¿Incremento de la IA a través del escalamiento? El jefe de IA de Meta, Yann LeCun, se pronuncia

| |

¿Un avance de IA ahora solo requiere escalar? El jefe de IA de Meta, Yann LeCun, comenta sobre el reciente debate provocado por Gato de Deepmind.

Los éxitos recientes de grandes modelos de IA como dall-e 2 de OpenAI, PaLM de Google y Flamingo de Deepmind han suscitado un debate sobre su importancia para el progreso hacia la inteligencia artificial general. El debate público, principalmente en Twitter, recibió recientemente un impulso especial de Deepminds Gato.

Gato es un modelo de Transformer entrenado en muchas modalidades de datos diferentes, incluidas imágenes, texto, propiocepción o momentos conjuntos. Todos los datos de entrenamiento son procesados ​​por Gato en una secuencia de fichas similar a la de los grandes modelos de lenguaje. Gracias al entrenamiento variado, Gato puede escribir textos, describir imágenes, jugar videojuegos o controlar brazos robóticos. Deepmind probó el modelo de IA con más de 600 puntos de referencia.

Publicación Destacada

Deepminds Gato y el escalado como forma de inteligencia artificial general

Deepmind ve a Gato como un paso importante en el camino hacia un modelo de IA generalista. ¿Cómo se ve exactamente este camino? Se trata de escala, dice Nando de Freitas, director de investigación de Deepmind. La escala debería llevar a Gato a su objetivo, posiblemente también a la inteligencia artificial general. Al menos así se puede entender a de Freitas cuando dice «¡Se acabó el juego!».

De Freitas representa lo que piensan muchos en la industria de la IA, sospecha el científico cognitivo e investigador de IA Gary Marcus. Marcus llama a esto «escala sobre todo» y critica este enfoque como miope.

Pero, ¿de dónde viene la confianza en escalar? Se basa en un fenómeno que se puede observar en numerosos modelos de Transformer desde GPT-1: con una mayor cantidad de parámetros, el rendimiento de los modelos, por ejemplo en el procesamiento de voz o la generación de imágenes, a veces aumenta a pasos agigantados.

Esto también se puede observar con Gato: Deepmind entrenó tres variantes del modelo de IA. La variante más grande con relativamente pocos 1180 millones de parámetros estaba muy por delante de los modelos más pequeños. En vista de los grandes modelos de lenguaje con cientos de miles de millones de parámetros y los saltos en el rendimiento observados allí, la esperanza de de Freita de que Gato sea escalado es comprensible.

El jefe de inteligencia artificial de Meta, Yann LeCun, ve grandes desafíos más allá de la escalabilidad

Ahora, el jefe de inteligencia artificial de Meta, Yann LeCun, comenta sobre el debate sobre la importancia de los avances recientes. Al hacerlo, se basa en posiciones que ya ha expresado varias veces, por ejemplo en un podcast con Lex Fridman sobre tres grandes desafíos de la inteligencia artificial o en una contribución al desarrollo de la IA autónoma.

LeCun ve modelos como Flamingo o Gato como una indicación de que la comunidad de investigación está progresando hacia Inteligencia artificial a nivel humano hacer. Sin embargo, LeCun considera que el término inteligencia artificial más general es erróneo.

Sin embargo, según LeCun, aún faltaban algunas ideas fundamentales para el camino futuro. Algunos de estos están más cerca de la implementación que otros, como el aprendizaje autosupervisado generalizado.

Sin embargo, no está claro cuántas de estas ideas siguen siendo necesarias; solo se conocen las obvias. «Como tal, no podemos predecir cuánto tardará la IA en alcanzar el nivel humano», escribe LeCun.

Escalar por sí solo no resolverá el problema, se necesitan nuevas ideas. Las máquinas tendrían que:

  • aprender cómo funciona el mundo observando como bebés,
  • aprender y predecir cómo afectar el mundo a través de acciones,
  • aprender representaciones jerárquicas que permiten predicciones a largo plazo en espacios abstractos,
  • lidiar apropiadamente con el hecho de que el mundo no es del todo predecible,
  • predecir los efectos de secuencias de acciones para que puedan pensar y planificar lógicamente,
  • planificar jerárquicamente y dividir una tarea compleja en subtareas
  • y todo de forma compatible con el aprendizaje basado en gradientes.

La solución a todos estos problemas no es inminente, según LeCun. Por lo tanto, escalar es necesario, pero no suficiente para seguir avanzando..

Entonces, si LeCun se sale con la suya, no se acabó el juego. A diferencia de de Freitas, el jefe de IA de Meta llega a una conclusión sobria: «Tenemos que eliminar una serie de obstáculos y no sabemos cómo».

Lina
Lina García ha escrito sobre tecnología y marketing, cubriendo todo, desde la analítica hasta la realidad virtual, desde 2010. Antes de eso, obtuvo un doctorado en inglés, enseñó a escribir a nivel universitario y lanzó y publicó una revista en formato impreso y digital. Ahora es escritora, editora y consultora de marketing a tiempo completo.