El modelo de IA de Google LaMDA podría convertirse en Assistant 2.0

| |

Google da un vistazo a LaMDA, el sistema de IA que podría llevar al Asistente de Google a un nuevo nivel.

En mayo de 2021, Google presentó dos grandes inteligencias artificiales en la conferencia de desarrolladores de E/S: el MUM (Modelo unificado multimodal) capacitado para búsquedas multimodales y el diálogo AI LaMDA (Modelo de lenguaje para aplicaciones de diálogo).

El jefe de Google, Sundar Pichai, demostró las capacidades de la IA de diálogo: LaMDA tuvo una conversación con un humano sobre Plutón y los aviones de papel; para esto, la IA se puso en el papel de los objetos y respondió desde su perspectiva.

LaMDA puede hacerse pasar por Plutón y así transmitir información en el diálogo. | Imagen: Google

Entonces, si bien MUM es el futuro de la búsqueda, LaMDA podría retirar al asistente actual de Google.

Google publica el artículo de LaMDA

En septiembre de 2021 hubo una actualización de MUM que incluía una hoja de ruta para la introducción gradual del modelo multimodal en la búsqueda de Google. En una publicación de blog y un documento, Google ahora brinda una idea del estado actual de LaMDA y brinda detalles del proceso de capacitación.

Como ya se sabe, LaMDA se basa en la arquitectura Transformer y se especializa en diálogo. El objetivo es un sistema de inteligencia artificial que pueda mantener conversaciones de alta calidad, más seguras y más informadas, según Google. Google mide la calidad en tres categorías: empatía, especificidad y relevancia.

Publicación Destacada

Las respuestas también deben ser verificables mediante el uso de fuentes externas. Los modelos de lenguaje actuales, como GPT-3, extraen información directamente de sus modelos y son conocidos por respuestas que parecen plausibles, pero que pueden contradecir los hechos.

Además, LaMDA tiene como objetivo evitar las blasfemias, el contenido violento y los insultos o estereotipos llenos de odio dirigidos a grupos específicos de personas. El desarrollo de métricas prácticas de seguridad aún está en pañales y aún queda mucho por hacer, escribe Google.

LaMDA está (pre)entrenada con el diálogo

El modelo LaMDA más grande tiene 137 mil millones de parámetros y está entrenado con el conjunto de datos Infiniset. Según Google, Infiniset incluye 2970 millones de documentos y 1120 millones de diálogos. En total, LaMDA se entrenó con 1,56 billones de palabras. El fuerte enfoque en los datos de diálogo en el entrenamiento previo del modelo de lenguaje mejora las habilidades de diálogo incluso antes del ajuste posterior.

Después de capacitarse con Infiniset, el equipo de Google capacitó a LaMDA con tres conjuntos de datos creados manualmente para obtener más calidad, seguridad y profundidad. El primer conjunto de datos contiene 6400 diálogos con etiquetas para respuestas significativas, específicas e interesantes, el segundo conjunto de datos contiene casi 8000 diálogos con etiquetas para respuestas seguras e inseguras.

El tercer conjunto de datos incluye 4000 diálogos en los que los trabajadores colaborativos realizan consultas a una fuente externa y usan los resultados para ajustar las respuestas de LaMDA, y otros 1000 diálogos en los que se evalúan las consultas generadas por LaMDA a fuentes externas.

Publicación Destacada

LaMDA está progresando

Después de la capacitación, LaMDA puede hacer preguntas a fuentes externas para recopilar información y obtener respuestas. Para cada respuesta, LaMDA genera varias variantes, que luego son evaluadas por clasificadores aprendidos según la seguridad, el significado, la especificidad y la relevancia.

LaMDA filtra sus propias respuestas antes de la salida. | Imagen: Google

Como se muestra en la primera demostración en la conferencia de desarrolladores de Google, LaMDA puede ser un interlocutor normal o asumir el papel de objetos. En un ejemplo, LaMDA habla como el Monte Everest. En el diálogo se verifican los hechos con las fuentes.

Imagen: Google

Publicación Destacada

Por lo tanto, LaMDA puede responder a consultas fácticas simples, pero las justificaciones más complejas aún están fuera del alcance del modelo de lenguaje de Google, según el equipo.

La calidad de las respuestas está en promedio en un nivel alto. Sin embargo, el modelo todavía sufre de problemas de calidad sutiles, como prometer repetidamente responder a la pregunta de un usuario en el futuro, tratar de finalizar la conversación antes de tiempo o tergiversar al usuario.

Google: «Una receta para LaMDA»

Según Google, también se necesita más investigación para desarrollar estándares sólidos de seguridad y equidad. Un problema entre muchos es el complejo proceso de crear datos de entrenamiento adecuados.

La población de crowdworkers no refleja toda la base de usuarios. En este caso, el grupo de edad entre 25 y 34 años está sobrerrepresentado. Aún así, según Google, los resultados muestran que la seguridad y la solidez de los modelos de lenguaje se pueden mejorar con modelos más grandes y ajustándolos con datos de alta calidad.

Google quiere aprovechar estos resultados: «Esta no es la versión final de LaMDA. Más bien, es una receta para crear ‘LaMDA’ y debe verse como una forma de crear versiones listas para producción para aplicaciones específicas”.

El desarrollo de nuevas formas de mejorar la seguridad y solidez de LaMDA seguirá siendo el enfoque principal.

Lina
Lina García ha escrito sobre tecnología y marketing, cubriendo todo, desde la analítica hasta la realidad virtual, desde 2010. Antes de eso, obtuvo un doctorado en inglés, enseñó a escribir a nivel universitario y lanzó y publicó una revista en formato impreso y digital. Ahora es escritora, editora y consultora de marketing a tiempo completo.
Anterior

Metaverso: «No tan bueno como lo será en el futuro»

¿Cómo eliminar una cuenta de Instagram de manera sencilla?

Siguiente

Deja un comentario