El MIT crea una inteligencia artificial muy conversadora.

El MIT crea una inteligencia artificial muy conversadora

Antes que nada, ¿sabías que el Instituto de Tecnología de Massachusetts (MIT) tiene en su sitio web una sección dedicada a noticias? Yo no lo sabía, hasta ahora que me encuentro con lo siguiente: «Una nueva forma de permitir que los chatbots de IA conversen todo el día sin fallar».


Una IA que no se «cansa»

Sí, es verdad que la interacción entre humanos y las máquinas ha alcanzado un nuevo horizonte gracias a los avances en modelos de aprendizaje automático para chatbots.

Tradicionalmente, estos diálogos continuos presentan algunos desafíos, especialmente cuando se extienden por varias horas, llevando incluso a que el sistema llegue a colapsar (me pasó con ChatGPT, aunque borre las pruebas).

Pero, todo esto puede estar por cambiar, gracias a que una reciente investigación liderada por un equipo del MIT y colaboradores, fue capaz de desarrollar chatbots, que son capaces de mantener conversaciones ininterrumpidas sin decaer en su rendimiento.

La raíz del problema

Los modelos de lenguaje grandes, como ChatGPT, operan como el «cerebro» detrás de los chatbots, facilitando diálogos fluidos y coherentes con los usuarios.

No obstante, se descubrió que la memoria de conversación de estos modelos, esencial para su funcionamiento, enfrentaba algunas limitaciones críticas.

Tradicionalmente, cuando el caché de clave-valor, que actúa como una memoria de la conversación, se saturaba, los datos más antiguos eran eliminados para hacer espacio a nuevos, provocando una disminución en la calidad de las interacciones.

Una solución bastante innovadora

La investigación ha dado lugar a una técnica denominada StreamingLLM, que mejora la capacidad de los chatbots para sostener diálogos extensos sin interrupciones.

Esta metodología ajusta el manejo del caché de clave-valor, asegurando que los primeros datos introducidos permanezcan en memoria.

Este enfoque no solo previene la pérdida de rendimiento al exceder la capacidad del caché, sino que también supera ampliamente en eficiencia a métodos anteriores, permitiendo a los chatbots operar más de 22 veces más rápido en comparación con técnicas que requieren el recálculo constante de conversaciones pasadas.

¿Un FIFO con esteroides?

En principio, y tomando que la solución pasa por asegurar que los primeros datos introducidos permanezcan en memoria, estaríamos frente a un viejo concepto en informática, denominado FIFO (First In, First Out).

En un sistema FIFO, los primeros elementos que se introducen son los primeros en ser eliminados o procesados, lo cual implica una gestión de datos en la que se respeta el orden de llegada.

Dado que la metodología mencionada en el artículo del MIT, se centra en mantener los primeros datos introducidos en la memoria, podríamos interpretarlo como una variante de FIFO donde, en lugar de ser los primeros en salir, estos primeros datos se preservan de manera prioritaria.

Sin embargo, esto último difiere de la implementación tradicional de FIFO, en que no necesariamente se eliminan primero estos datos; más bien, se asegura su permanencia en la memoria para mantener la coherencia y el rendimiento del modelo.

En este caso, la intención y el mecanismo subyacente son diferentes de una operación FIFO pura. El enfoque principal es preservar y eliminar datos dentro de un caché dinámico, más que procesar o eliminar elementos específicos según su orden de llegada.

Woz.

El método propuesto por el MIT, ofrece un camino hacia la mejora de la memoria a largo plazo en modelos de lenguaje, un área que los investigadores planean explorar más adelante.

La importancia de los sumideros de atención

Pero no solo se trata de memoria, sino de entrenamiento. Una parte crucial del estudio fue la identificación de los «sumideros de atención» dentro del mecanismo de atención de los modelos, un concepto que refiere a cómo se distribuyen los puntajes de atención entre los tokens (representaciones de datos como palabras).

Mantener ciertos tokens como sumideros de atención en el caché resultó ser fundamental para la dinámica del modelo, permitiendo una interacción fluida y continua sin sacrificar el rendimiento.

Futuras aplicaciones de estos chatbots parlanchines

La implementación de StreamingLLM podría llegar a transformar el uso de asistentes AI en diversas aplicaciones, desde la redacción y edición hasta la generación de código, entre muchas otras tareas que la inteligencia artificial puede hacer excepcionalmente mejor que los seres humanos.

Esta capacidad de mantener conversaciones largas y complejas sin necesidad de reinicios constantes abre la puerta a un nuevo paradigma en la interacción humano-máquina.

Adiós.

— Fuente: MIT.


/ Súmate al boletín. No es gran cosa, pero es gratis 👇 /