IA como asistente de escritura: Meta quiere mejorar la colaboración hombre-máquina

| |

Metas PEER pretende simplificar la colaboración entre humanos y grandes modelos de lenguaje y así abrirlos para textos escritos en conjunto.

Los grandes modelos de lenguaje como GPT-3 de OpenAI muestran capacidades generativas impresionantes: pueden escribir prosa, poesía, código HTML o hojas de cálculo de Excel y sus resultados a veces son indistinguibles de los textos humanos. Dichos modelos de IA generan su salida de izquierda a derecha: complementan el texto de entrada proporcionado por humanos de acuerdo con las probabilidades aprendidas.

Los modelos pueden activarse a través del texto de entrada: los ejemplos de traducción conducen a otras traducciones, un poema que se ha iniciado se completa poéticamente y una historia sobre las tensiones entre el anarcosindicalismo y las monarquías clásicas continúa temáticamente.

Publicación Destacada

Los modelos de lenguaje grande son difíciles de controlar, Meta PEER pretende cambiar eso

Aparte de este simple empujón, las opciones para controlar la salida de los modelos están severamente limitadas. La verificación de los textos generados es difícil porque los modelos a menudo alucinan el contenido y no pueden explicar por qué producen ciertas declaraciones.

Por lo tanto, empresas como OpenAI, Google, Meta y otras buscan enfoques que hagan que los modelos sean más confiables. Google confía en el entrenamiento de hechos contra las tonterías de la IA, por ejemplo, y OpenAI está experimentando con el acceso a los motores de búsqueda.

A pesar de tales intentos, los modelos de lenguaje actuales son solistas. Una colaboración de texto con autores humanos solo es posible de forma limitada.

Los investigadores de IA de Meta quieren cambiar eso y ahora están presentando PEER. El acrónimo significa «Planificar, Editar, Explicar, Repetir» y nombra un nuevo modelo de lenguaje colaborativo que fue entrenado con historias de edición de Wikipedia, por ejemplo.

IA como asistente de escritura: Meta quiere mejorar la colaboración hombre-máquina
PEER es un modelo de lenguaje colaborativo que puede realizar varios cambios en un texto y explicarlos.

Por lo tanto, PEER debería cubrir todo el proceso de escritura y poder editar textos y explicar los cambios realizados.

Meta muestra cómo podría ser la colaboración entre humanos y PEER

PEER trabaja para esto en varios pasos, que según Meta deberían reflejar el proceso de escritura humana. Para un texto dado, un humano o el modelo de IA pueden crear un plan, por ejemplo, ingresando texto.

Dicho plan puede incluir corregir información incorrecta contenida en el texto, agregar referencias o cambiar el formato.

Luego, el modelo puede explicar estos cambios, por ejemplo, con una referencia a una fuente. Para este propósito, cada texto de entrada se proporciona con información de fondo posiblemente relevante antes de que PEER lo procese.

IA como asistente de escritura: Meta quiere mejorar la colaboración hombre-máquina
En este ejemplo, humanos y PEER colaboran para un artículo de Wikipedia sobre el modelo de IA.

Este proceso puede repetirse tantas veces como lo deseen los autores humanos. Este enfoque iterativo descompone la compleja tarea de escribir un texto coherente y fáctico en varias subtareas más simples que las personas también pueden intervenir y controlar en cualquier momento.

PEER aprende con Wikipedia, y para Meta es solo el comienzo

Para el entrenamiento de IA, Meta se basa en el extenso conjunto de datos de ediciones de texto y comentarios asociados de Wikipedia, que a menudo brindan explicaciones para estos cambios.

Para garantizar que PEER también sea útil fuera de los textos similares a Wikipedia, las variantes de PEER también aprenden a reconstruir el texto original sin editar a partir de un texto completamente editado y documentos relevantes. Usando este método, Meta produce un modelo de IA que también debería ser útil fuera del dominio de Wikipedia.

El PEER de tres mil millones de parámetros funciona mejor como asistente de escritura que otros modelos de lenguaje significativamente más grandes, como GPT-3 o Metas OPT. Sin embargo, según Meta, las capacidades de PEER como modelo de lenguaje colaborativo solo se han explorado superficialmente hasta ahora. En el futuro, el equipo quiere recopilar sesiones completas de numerosas interacciones IA-humanos y así mejorar PEER.

Para hacer esto, el equipo primero debe resolver otras restricciones del modelo. Por ejemplo, debe permitir el acceso a un motor de recuperación que pueda encontrar documentos relevantes de forma independiente. Además, los investigadores deben desarrollar métodos para evaluar textos que han sido escritos conjuntamente por humanos y modelos de lenguaje y hacer que PEER sea más eficiente para permitir el procesamiento de documentos completos.

Lina
Lina García ha escrito sobre tecnología y marketing, cubriendo todo, desde la analítica hasta la realidad virtual, desde 2010. Antes de eso, obtuvo un doctorado en inglés, enseñó a escribir a nivel universitario y lanzó y publicó una revista en formato impreso y digital. Ahora es escritora, editora y consultora de marketing a tiempo completo.