Gestión de la memoria y semántica: evolución de los sistemas conversacionales y procesamiento del lenguaje natural.

En el post anterior recorrimos algunos de los hitos más importantes de los sistemas conversacionales y el PLN, como fue el nacimiento de ELIZA (1966) y su capacidad para simular empatía mediante el emparejamiento de patrones sintácticos.

También revisamos las limitaciones de ese enfoque, que forzaron la transición estocástica de los años 80 y 90, donde los modelos estadísticos (n-gramas y HMM) empezaron a inferir información directamente desde los datos.

Estos modelos rápidamente se toparon con la dispersión de datos y la ceguera semántica del one-hot encoding.

En este post veremos la introducción de conceptos como Word2Vec, redes neuronales recurrentes (RNN) y redes Long-Short Term Memory (LSTM).

La revolución de las representaciones distribuidas: Word2Vec

Los sistemas tradicionales asignaban un índice arbitrario a cada término, creando matrices gigantescas donde las relaciones semánticas desaparecían por completo. Esta falta de vinculación impedía que el software extrajera valor real de los datos no estructurados. En 2013, un equipo de investigadores liderado por Tomas Mikolov presentó Word2Vec.

Word2Vec propuso un modelo basado en redes neuronales superficiales que nos permite representar palabras en un espacio continuo, como vectores densos (generalmente de entre 50 y 300 dimensiones, en lugar de decenas de miles). Este modelo mejoraba la relación semántica y matices de las palabras con una alta precisión.

Word2Vec transformó el texto plano en vectores densos dentro de un espacio continuo y logró que conceptos similares coexistieran en zonas matemáticas cercanas.

La arquitectura de Word2Vec introdujo dos variantes de modelos predictivos para calcular las representaciones continuas de las palabras a partir de corpus de texto extensos:

• Continuous Bag-of-Words (CBOW): la red neuronal predice la probabilidad de una palabra objetivo actual basándose en la ventana de palabras del contexto que la rodea.
• Skip-Gram: opera bajo el principio inverso al de CBOW. Utiliza la palabra actual para predecir las palabras que la rodean dentro de un rango o ventana determinada.

Gracias a este enfoque, se pudieron capturar analogías de patrones semánticos y sintácticos, como la famosa ecuación vectorial: “rey – hombre + mujer ≈ reina”.

El modelo dedujo, sin instrucción externa, el vector que representaba el concepto de "realeza" y el vector de "género", lo que le permitió navegar por el léxico como si fuera un plano de coordenadas geográficas.

Todo esto a través de simples operaciones vectoriales y mediciones por similitud de coseno, sin recurrir a costosos procesos de computación.

Su bajo coste computacional y libre disponibilidad de código, publicado en abierto para la comunidad de investigación, impulsaron casi instantáneamente la adopción del uso de embeddings en todo el espectro del PLN.

Este hito marcó el camino hacia las arquitecturas de aprendizaje profundo, específicamente las Redes Neuronales Recurrentes (RNN) y, más tarde, los modelos basados en la arquitectura Transformers (Church, 2017).

La llegada del Aprendizaje Profundo (DL) y la gestión del contexto: Redes Neuronales Recurrentes (RNN)

Superado el reto de dar significado a las palabras de forma aislada, el siguiente gran desafío fue entender el contexto. El lenguaje es, por naturaleza, una secuencia temporal. Aquí el orden de los factores sí altera (y drásticamente) el producto.

Por eso, un sistema conversacional no puede tratar los textos como simples bolsas de palabras desordenadas, necesita una memoria dinámica capaz de evolucionar al mismo ritmo que la propia frase.

El DL revolucionó el campo del PLN al permitir el desarrollo de modelos mucho más eficientes y potentes en la gestión de datos secuenciales. Dentro de las múltiples arquitecturas del DL destacan las RNN, que fueron introducidas en los años 80 como una mejora respecto a las redes neuronales tradicionales.

A diferencia de las redes tradicionales, donde la información fluye unidireccionalmente desde las capas de entrada hacia las capas de salida, las arquitecturas RNN introdujeron conexiones recurrentes en sus neuronas ocultas.

Esta recurrencia funcionaba como una memoria a corto plazo que dotaba al sistema de un contexto continuo. De este modo, al procesar una secuencia, las RNN empezaron a capturar de forma natural las dependencias temporales del texto.

Sin embargo, al implementar RNNs profundas en tareas complejas como los chatbots generativos, los equipos de investigación se percataron del problema del descenso del gradiente, un fenómeno que saboteaba por completo la memoria a largo plazo del sistema.

Durante el entrenamiento, mediante el algoritmo de retropropagación a través del tiempo, el cálculo de errores exige multiplicar las matrices de pesos de forma iterativa.

Si esos valores son inferiores a la unidad, el gradiente se reduce exponencialmente hasta desaparecer de las ecuaciones. La consecuencia práctica fue un escenario donde los chatbots olvidaban el inicio de la frase al llegar al segundo párrafo del diálogo.

Las RNN tradicionales eran incapaces de conectar una petición inicial con una respuesta final si la secuencia superaba un límite de palabras, por lo que terminaba empañando la experiencia del usuario.

La solución a largo plazo: redes Long Short-Term Memory (LSTM) (1997)

Para solucionar el problema del descenso del gradiente, los investigadores Sepp Hochreiter y Jürgen Schmidhuber desarrollaron en 1997 las Long Short-Term Memory (LSTM), una arquitectura que redefiniría el procesamiento secuencial.

Las LSTM eran capaces de preservar información relevante durante periodos de tiempo significativamente más prolongados. En lugar de permitir que los nuevos datos destruyeran el contexto previo, establecieron un canal central de memoria protegido por tres capas de redes neuronales:

1. Forget gate: descarta la información obsoleta mediante un filtrado que limpia el ruido del sistema. Analiza el contexto de la palabra en curso y el estado previo para devolver un valor entre cero y uno.
2. Input gate: selecciona los nuevos datos que merecen incorporarse a la memoria a largo plazo. Así evita la saturación del espacio de almacenamiento con términos irrelevantes.
3. Output gate: determina qué porción del contexto acumulado debe transmitirse al siguiente paso secuencial. Esto regula la respuesta inmediata que hereda el sistema.

La integración de estas estructuras ayudó a mitigar casi en su totalidad el descenso del gradiente.

Esto permitía un modelado conversacional más coherente, donde un agente artificial podía recordar el nombre o la intención del usuario a través de múltiples turnos de diálogo.

Conclusiones

En este post hemos analizado cómo el éxito de los sistemas conversacionales dependía de resolver un delicado equilibrio entre la representación semántica y la gestión de la memoria.

Mientras que Word2Vec transformó el significado de las palabras en coordenadas accesibles, las arquitecturas RNN y LSTM consiguieron que las máquinas capturaran la naturaleza secuencial y temporal del lenguaje humano.

Sin embargo, la búsqueda de una comprensión aún más profunda y escalable no se detuvo ahí.

En el próximo post daremos el gran salto hacia la era moderna de la IA, donde analizaremos la llegada de los modelos Seq2Seq, el nacimiento de los mecanismos de atención, y la arquitectura Transformers.

¡Nos vemos en la siguiente entrega!

Referencias

• LSTM
• Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) Network