En esta serie del blog Te lo explicamos, exploramos los Grandes Modelos de Lenguaje (LLM). Sigue leyendo para conocer una descripción accesible o salta a la sección donde explicamos cómo los LLM se integran en nuestra solución.

• ¿Qué son los grandes modelos de lenguaje grande (LLM)?
  • Cómo funcionan los LLM
  • LLMs en acción: un ejemplo
  • Ventajas, casos de uso y limitaciones de los LLMs
• ¿Cómo están integrados los LLM en la solución de HiJiffy?
  • Cómo nuestra IA aborda las limitaciones de los LLMs
  • IA y LLMs de HiJiffy en la práctica: ejemplos

¿Qué son los grandes modelos de lenguaje (LLM)?

Los grandes modelos de lenguaje (LLM) son un algoritmo de aprendizaje profundo que puede reconocer e interpretar el lenguaje humano u otros tipos de datos complejos. El término ‘grande’ se refiere al entrenamiento de los LLM con enormes conjuntos de datos. Muchos LLM se entrenan con datos recopilados de internet: miles o millones de gigabytes de texto. 

Cómo funcionan los LLM

Así como el cerebro humano está compuesto por neuronas conectadas que envían señales, un modelo de aprendizaje profundo utiliza una Red Neuronal Artificial (ANN) formada por nodos interconectados. Las redes neuronales aprenden a reconocer patrones de datos ajustando los pesos de las conexiones entre neuronas.

 
Estas conexiones ponderadas conectan las neuronas en capas adyacentes, que transmiten señales de una capa a la siguiente. La fuerza de estas conexiones, representadas por pesos, determina cuánta influencia tiene la salida de una neurona en la entrada de otra neurona. Durante el entrenamiento, la red ajusta los pesos en función de ejemplos del conjunto de datos.

Los LLM utilizan una arquitectura más compleja de redes neuronales llamadas transformadores, que se diferencian de las redes neuronales tradicionales en su capacidad de procesar secuencias enteras de datos simultáneamente en lugar de hacerlo paso a paso. Esto permite que los transformadores capturen dependencias de largo alcance y relaciones contextuales de manera más eficiente. Para entender mejor cómo funcionan estos modelos, veamos con más detalle un ejemplo paso a paso.

Ejemplo ilustrativo

Para entender mejor cómo funcionan estos modelos, veamos con más detalle un ejemplo paso a paso usando la oración «El tiempo hoy es muy»: parece inacabado, pero llegaremos a eso más adelante.

Paso 1: Tokenización

La oración se convierte primero en un token o símbolo. La tokenización es el proceso de dividir el texto en unidades más pequeñas, como palabras o subpalabras.

• Tokens: [«El», «tiempo», «está», «hoy», «muy»]

Paso 2: Incrustación de palabras

Cada token se convierte luego en una palabra incrustada. Aquí el proceso se vuelve más complejo. Esta incrustación es un vector de alta dimensión que representa el token en un espacio vectorial continuo, capturando los significados semánticos y sintácticos, a menudo dentro de un contexto específico.

Por ejemplo:

• «El» podría representarse como un vector: [0,1, 0,3, …, 0,2]
• «Tiempo» podría representarse como un vector: [0,7, 0,5, …, 0,8]
• …

Las palabras relacionadas se encuentran más cerca en este espacio; las que tienen significados o patrones de uso similares se ubican próximas entre sí en el espacio vectorial. Hagamos una pequeña digresión por un momento para ilustrarlo con otro conjunto de palabras:

Paso 3: Arquitectura del transformador

La complejidad del proceso continúa aumentando. Estas incrustaciones se introducen en un modelo transformador, que cuenta con múltiples capas de autoatención y redes neuronales de alimentación predictiva. Un transformador tiene múltiples capas de mecanismos de autoatención y redes neuronales de alimentación predictiva. El mecanismo de autoatención ayuda al modelo a centrarse en diferentes partes de la oración de entrada para comprender el contexto.

• Autoatención: Calcula la relevancia de cada palabra con respecto a todas las demás palabras de la oración. Por ejemplo, determina cuánta atención se debe prestar a «tiempo» cuando se considera la palabra «muy».

Paso 4: Comprensión contextual

Veamos cómo se aborda la parte que aparentemente falta de la oración que usamos como ejemplo. A medida que la oración pasa a través de las capas del transformador, el modelo construye una comprensión contextual. Esto significa que ajusta las incrustaciones de palabras en función de su contexto en la oración.

• «Para la palabra «muy», el contexto «El tiempo hoy es» sugiere que probablemente se necesita un adjetivo para describir el «tiempo».»

Paso 5: Generación de la siguiente palabra

Después de procesar la entrada, el modelo predice la siguiente palabra. Lo hace generando una distribución de probabilidad sobre el vocabulario para el siguiente token.

• Distribución de probabilidad: Distribución de probabilidad: El modelo podría asignar probabilidades como [«bueno»: 0.4, «malo»: 0.2, «lluvioso»: 0.1].

La palabra con mayor probabilidad se elige luego como la siguiente palabra en la oración. En este caso la palabra seleccionada sería «bueno».

Step 6: Completing the sentence

La palabra seleccionada «bueno» se agrega a la oración y el proceso puede repetirse para más palabras si es necesario.

• Oración completa: «El tiempo hoy está muy bueno».

Ventajas de los Grandes Modelos de Lenguaje

• Versatilidad: Los LLM se adaptan a diversas aplicaciones, desde la traducción hasta la generación de contenido, ofreciendo flexibilidad en múltiples industrias.
• Aprendizaje continuo: los LLM pueden mejorar con el tiempo con datos adicionales, lo que permite un perfeccionamiento continuo y una mejora del rendimiento.

Casos de uso de los LLM

• Creación de contenido: Generación de artículos, historias e informes.
• Traducciones: Adaptación de un texto de un idioma a otro.
• Educación: Asistencia en el aprendizaje explicando y respondiendo preguntas sobre diversos temas.
• Ayuda con la programación: Escritura y depuración de código.
• Resúmenes: Procesamiento de artículos o documentos largos para proporcionar una descripción general.
• Chatbots y asistentes virtuales: Conversaciones con personas, respuesta a preguntas, proporción de información y ayuda con las tareas.

Limitaciones de los LLM

• Sesgo de datos: Los LLM solo pueden ser tan fiables como los datos con los que se entrenan. Si se les proporciona información falsa, darán información falsa en respuesta a las consultas de los usuarios. 

• Alucinaciones: Los LLM a veces «alucinan»: crean información falsa cuando no son capaces de producir una respuesta precisa. 
• Seguridad: Seguridad: Las aplicaciones basadas en LLM pueden ser tan propensas a errores como cualquier otra. 
• Privacidad: Los usuarios pueden cargar datos seguros y confidenciales en ellos para aumentar su productividad. Sin embargo, los LLM utilizan las entradas que reciben para entrenar aún más sus modelos y no están diseñados para ser cámaras de seguridad; pueden exponer datos confidenciales en respuesta a consultas de otros usuarios.

¿Cómo están integrados los LLM en la solución de HiJiffy?

Para entender mejor esta integración, es importante considerar las capacidades más amplias de nuestra solución, que van más allá de un simple chatbot. Algunas de las funcionalidades que se deben tener en cuenta incluyen las siguientes:

• Una gama de integraciones con diversas herramientas de hotelería, incluidos motores de reservas, sistemas de gestión de propiedades, sistemas de gestión de mantenimiento, CRM, pasarelas de pago y financiación, automatización de servicios y más.
• Proporcionar informes de rendimiento tanto para el bot conversacional como para el equipo del hotel.
• Organizar solicitudes de varios canales, incluido un chat web, redes sociales, aplicaciones de mensajería instantánea y otros.

El chatbot de nuestra solución hace algo más complejo que redirigir solicitudes a GPT, aunque a menudo es tentador seguir este atajo de pensamiento durante las explicaciones. Procesamos conocimiento a partir de los datos que nos proporcionan nuestros clientes y luego organizamos todo el proceso para abordar las limitaciones de los LLM.

Cómo nuestra IA, Aplysia, aborda las limitaciones de los grandes modelos de lenguaje

• Reconocimiento de patrones para evitar alucinaciones: Utilizar algoritmos o técnicas para identificar patrones de generación de texto que se suelen asociar a inexactitudes o invenciones, ayudando al modelo a reconocer cuándo está generando más allá de su base de conocimiento fiable y, en otras palabras, evitar que los LLM generen respuestas inventadas o inexactas, ya que sería perjudicial tanto para los huéspedes como para las marcas hoteleras.

• Indicadores de confianza en el contenido generado: Implementar indicadores para evaluar la confianza del modelo en sus resultados, como la probabilidad de palabras o frases generadas, medidas de incertidumbre o indicadores del grado de seguridad del modelo acerca de sus afirmaciones. De este modo, nuestra IA se autoevalúa si lo que se genera es lo suficientemente bueno para compartir.

• Mayor probabilidad de respuesta: Aunque Aplysia no esté segura de su respuesta, es posible que responda. Puede ocurrir en un par de casos:
  • Si la respuesta a la pregunta frecuente (FAQ) relevante está vacía y otras preguntas frecuentes tienen solicitudes similares, la solución mostrará las 3 preguntas frecuentes más similares;
  • Si la respuesta a la pregunta frecuente relevante no está vacía y Aplysia no está segura, la solución intenta responder usando la versión heredada de Aplysia (sin LLM). Si ninguna de las soluciones te convence lo suficiente como para responder, mostramos las 3 preguntas más similares.

• Medidas de validación con la base de conocimiento: Comparar o validar el resultado del modelo con una base de conocimiento fiable del hotel. Este paso puede ayudar a identificar y corregir información incorrecta.

• Comprobador de punto de vista: Una función diseñada para garantizar la alineación de la perspectiva del contenido generado con puntos de vista creíbles y establecidos, manteniendo la precisión y relevancia contextual.

• Medidas de seguridad: Evitar la inyección de código, el jail-breaking, la fuga de datos y el manejo de contenido ilegible o poco claro. En otras palabras, garantizamos que nuestra solución no pueda utilizarse para ningún otro fin que el previsto.

Ejemplos de cómo nuestra solución controla los resultados de los LLM

1. Preguntas no relacionadas: dado que Aplysia está diseñado para la hotelería, evita responder preguntas sobre temas no relacionados.

2. Mecanismos contra las alucinaciones: en ocasiones el LLM genera una respuesta que no está alineada con lo que nuestros clientes preguntan. Para lidiar con esto, contamos con mecanismos contra las alucinaciones como un corrector de punto de vista, que mantiene el punto de vista utilizado en las preguntas frecuentes. Aquí damos un ejemplo práctico:

• Pregunta: ¿El hotel tiene aparcamiento?

• La respuesta proporcionada por el hotel: «No tenemos aparcamiento en el edificio. Podrás contactar con recepción para consultar plazas disponibles en algún aparcamiento cercano».

• Respuesta generada: «El hotel no dispone de aparcamiento en el edificio, pero puedes contactar con recepción para consultar plazas disponibles en un aparcamiento cercano».

• Respuesta mostrada: «No disponemos de aparcamiento en el lugar, pero estaremos encantados de ayudarte a buscar espacios de aparcamiento cercanos. Para más información, contacta con nuestra recepción».

Para utilizar un ejemplo específico, aquí están las diferencias entre la respuesta generada por GPT y una controlada por Aplysia cuando se preguntó sobre los «precios de aparcamiento del Savoy Palace»:

La respuesta proporcionada por Aplysia de HiJiffy es la más precisa ya que se basa en la información proporcionada a la solución por el hotel. La respuesta de GPT podría basarse en otras propiedades de Savoy Signature, podría corresponder a aparcamiento con servicios adicionales (valet, por ejemplo) o podría ser un valor inventado.

En otro ejemplo, GPT dio una respuesta inventada a una consulta sobre «contactos de prensa y asociaciones del Savoy Palace»:

Descubre más sobre nuestra IA

Si quieres aprender más sobre las diversas tecnologías utilizadas en Aplysia, explora la sección de nuestro sitio web dedicada a nuestra inteligencia artificial, sigue a HiJiffy en LinkedIn y suscríbete a nuestra newsletter en el pie de página.

Fuentes

Este artículo se basa en contribuciones técnicas de Vanda Azevedo del HiJiffy Aplysia Lab.