In der Blogreihe “Einfach erklärt“ analysieren wir die komplexen Technologien, die in unserer KI Aplysia integriert sind. Dieser Beitrag taucht in die Welt der Large Language Models (LLMs) ein. Lesen Sie weiter, um eine leicht verständliche Übersicht zu erhalten, oder springen Sie direkt zu dem Abschnitt, der die Integration von LLMs in unsere Lösung behandelt.

• Was ist ein Large Language Model (LLM)?
  • So funktionieren LLMs – Ein Überblick
  • LLMs in der Praxis – Ein Beispiel
  • Vorteile, Anwendungsfälle und Grenzen von LLMs
• Wie LLMs in HiJiffy’s Lösung integriert sind
  • Wie unsere KI die Grenzen von LLMs angeht
  • HiJiffy’s KI und LLMs in der Praxis – Beispiele

Was ist ein Large Language Model (LLM)?

Ein Large Language Model (LLM) ist ein Deep-Learning-Algorithmus, der menschliche Sprache oder andere Arten komplexer Daten erkennen und interpretieren kann. Das „Large“ im Namen kommt von der LLM-Schulung an riesigen Datensätzen. Viele LLMs werden anhand von Daten trainiert, die aus dem Internet gesammelt wurden – Tausende oder Millionen Gigabyte an Text. 

So funktionieren LLMs

So wie das menschliche Gehirn aus Neuronen besteht, die miteinander verbunden sind und Signale aneinander senden, verwendet ein Deep-Learning-Modell ein Netzwerk aus verbundenen Knoten, das als künstliches neuronales Netzwerk (KNN) bezeichnet wird. Neuronale Netze lernen, Datenmuster zu erkennen, indem sie die Gewichte der Verbindungen zwischen Neuronen anpassen. 

Diese gewichteten Verbindungen verknüpfen Neuronen in benachbarten Schichten, die Signale von einer Schicht zur nächsten übertragen. Die Stärke dieser Verbindungen, dargestellt durch Gewichte, bestimmt, wie viel Einfluss die Ausgabe eines Neurons auf die Eingabe eines anderen Neurons hat. Während des Trainings passt das Netzwerk seine Gewichte anhand von Beispielen aus dem Datensatz an.

LLMs verwenden eine komplexere Architektur neuronaler Netzwerke, sogenannter Transformatoren. Diese unterscheiden sich von herkömmlichen neuronalen Netzwerken durch ihre Fähigkeit, ganze Datensequenzen gleichzeitig zu verarbeiten und nicht schrittweise. Dadurch können Transformatoren langfristige Abhängigkeiten und kontextuelle Beziehungen effektiver erfassen. Um besser zu verstehen, wie diese Modelle funktionieren, schauen wir uns ein Schritt-für-Schritt-Beispiel genauer an.

Ein illustratives Beispiel

Um die Funktionsweise dieser Modelle besser zu verstehen, schauen wir uns ein Beispiel anhand des Satzes „Das Wetter heute ist sehr“ genauer an – er scheint unvollendet, aber darauf kommen wir weiter unten zurück.

Schritt 1: Tokenisierung

Der Satz wird zunächst tokenisiert. Unter Tokenisierung versteht man die Aufteilung von Text in kleinere Einheiten, häufig Wörter oder Teilwörter.

• Tokens: [„Das“, „Wetter“, „heute“, „ist“, „sehr“]

Schritt 2: Worteinbettungen

Jedes Token wird dann in eine Wort-Einbettung umgewandelt. Hier beginnt der Prozess, komplexer zu werden. Diese Einbettung ist ein hochdimensionaler Vektor, der das Token in einem kontinuierlichen Vektorraum darstellt und die semantischen und syntaktischen Bedeutungen, oft in einem bestimmten Kontext, erfasst.

Zum Beispiel:

• „Das“ könnte als Vektor dargestellt werden: [0,1, 0,3, …, 0,2]
• „Wetter“ könnte als Vektor dargestellt werden: [0,7, 0,5, …, 0,8]
• …

Jeder dieser Vektoren kann Hunderte oder Tausende von Dimensionen haben. Verwandte Wörter liegen räumlich näher beieinander – Wörter mit ähnlicher Bedeutung oder Verwendungsmustern sind im Vektorraum nahe beieinander positioniert. Lassen Sie es uns mit einer anderen Wortkombination veranschaulichen:

Schritt 3: Transformatorarchitektur

Die Komplexität des Prozesses nimmt ständig zu. Die oben genannten Einbettungen werden in ein Transformatormodell eingespeist. Ein Transformator verfügt über mehrere Schichten von Selbstaufmerksamkeitsmechanismen und Feedforward-Neuralnetzen. Der Selbstaufmerksamkeitsmechanismus hilft dem Modell, sich auf verschiedene Teile des Eingabesatzes zu konzentrieren, um den Kontext zu verstehen.

• Selbstaufmerksamkeit: Berechnen der Relevanz jedes Wortes für jedes andere Wort im Satz. Beispielsweise wird dadurch bestimmt, wie viel Aufmerksamkeit dem Wort „sehr“ bei der Betrachtung des Wortes „Wetter“ gewidmet werden soll.

Schritt 4: Kontextuelles Verständnis

Sehen wir uns an, wie das Modell den scheinbar fehlenden Teil des Satzes, den wir als Beispiel verwenden, angeht. Während der Satz die Schichten des Transformators durchläuft, baut das Modell ein kontextuelles Verständnis auf. Das bedeutet, dass die Worteinbettungen basierend auf ihrem Kontext im Satz angepasst werden.

• Beim Wort „sehr“ wird der Kontext anhand von „Das Wetter heute ist“ verstanden, was darauf hinweist, dass es wahrscheinlich ein Adjektiv benötigt, das „Wetter“ beschreibt.

Schritt 5: Das nächste Wort generieren

Nach der Verarbeitung der Eingabe sagt das Modell das nächste Wort voraus. Dies geschieht durch Generierung einer Wahrscheinlichkeitsverteilung über den Wortschatz für das nächste Token.

• Wahrscheinlichkeitsverteilung: Das Modell könnte Wahrscheinlichkeiten wie diese ausgeben: [„schön“: 0,4, „schlecht“: 0,2, „regnerisch“: 0.1

Das Wort mit der höchsten Wahrscheinlichkeit wird dann als nächstes Wort im Satz ausgewählt. In diesem Fall wäre das ausgewählte Wort schön“.

Schritt 6: Den Satz vervollständigen

Das ausgewählte Wort schön“ wird dem Satz hinzugefügt und der Vorgang kann bei Bedarf für weitere Wörter wiederholt werden.

• Vollständiger Satz: „Das Wetter heute ist sehr schön.“

Vorteile von Large Language Models

• Versatility: LLMs can be adapted for various applications, from translation to content generation, providing flexibility across industries.
• Continuous learning: LLMs can be improved over time with additional data, allowing for ongoing refinement and performance enhancement.

Use cases of LLMs

• Content creation: Generating articles, stories, and reports.
• Translations: Adapting text from one language to another.
• Education: Assisting in learning by explaining and answering questions on various subjects.
• Help with programming: Writing and debugging code.
• Summaries: Processing long articles or documents to provide an overview.
• Chatbots and virtual assistants: Conversing with people, answering questions, providing information, and helping with tasks.

Limitations of LLMs

• Data bias: LLMs can only be as reliable as the data they ingest. If fed false information, they will give false information in response to user queries. 

• Hallucinations: LLMs sometimes „hallucinate“; they create fake information when they are unable to produce an accurate answer. 
• Security: User-facing applications based on LLMs are as prone to bugs as any other application. LLMs can be manipulated via malicious inputs to provide certain types of responses over others – including dangerous or unethical responses. 
• Privacy: Users may upload secure, confidential data into them to increase their productivity. However, LLMs use the inputs they receive to train their models further, and they are not designed to be secure vaults; they may expose confidential data in response to queries from other users.

How are LLMs integrated into HiJiffy’s solution?

To explore the answer to this question better, it is important to understand the broader capacity of our solution, which goes beyond a simple chatbot. Some of the functionalities that need to be taken into account include:

• A range of integrations with various hospitality tools, including Booking Engines, Property Management Systems, Maintenance Management Systems, CRMs, Payment and Financing Gateways, Service Automation, and more.
• Providing performance reports for both the chatbot and the hotel team.
• Organising requests from multiple channels, including a webchat, social media, instant messaging apps, and others.

The chatbot aspect of our solution is more complex than redirecting requests to GPT, although it is often tempting to follow this thought shortcut during explanations. We consume knowledge from data provided to us by our clients, and then we curate the whole process to tackle LLMs‘ limitations.

How our AI, Aplysia, addresses the limitations of Large Language Models

• Mustererkennung bei Halluzinationen: Durch die Nutzung von Algorithmen oder Techniken zur Erkennung von Textgenerierungsmustern, die häufig auf Ungenauigkeiten oder Erfindungen hindeuten, kann das Modell erkennen, wenn es über seine zuverlässige Wissensbasis hinausgeht. Mit anderen Worten: Es verhindert, dass LLMs Antworten generieren, die erfunden oder ungenau sind, da dies sowohl den Gästen als auch der Hotelmarken schaden könnte.

• Vertrauensmetriken für generierte Inhalte: Metriken zur Bewertung der Zuverlässigkeit des Modells in Bezug auf seine Ergebnisse werden implementiert, beispielsweise die Wahrscheinlichkeit generierter Wörter oder Ausdrücke, Unsicherheitsmaße oder Indikatoren dafür, wie sicher sich das Modell bei seinen Aussagen ist. Das bedeutet, dass unsere KI selbst bewertet, ob das, was generiert wird, gut genug ist, um es zu teilen.

• Verbesserte Antwortchance: Wenn Aplysia sich seiner Antwort nicht sicher ist, kann es dennoch eine Antwort geben. Dies kann auf mehrere Arten geschehen:
  • Wenn die Antwort auf die entsprechende häufig gestellte Frage (FAQ) leer ist und andere FAQs ähnliche Anfragen beinhalten, zeigt die Lösung die drei ähnlichsten FAQs an.
  • Wenn die Antwort auf die entsprechenden FAQ nicht leer ist und Aplysia sich nicht sicher ist, versucht die Lösung, mit der Legacy-Version von Aplysia (ohne LLMs) zu antworten. Wenn keine der Lösungen eine sichere Antwort zulässt, zeigen wir die drei ähnlichsten FAQs an.

• Validierungsmaßnahmen mit Wissensbasis: Die Ausgabe des Modells wird mit einer vertrauenswürdigen Wissensdatenbank des Hotels verglichen oder validiert. Dieser Schritt kann helfen, Fehlinformationen zu identifizieren und zu korrigieren.

• Standpunkt-Checker: Eine Funktion, die dafür sorgt, dass die Perspektive des generierten Inhalts mit glaubwürdigen und etablierten Standpunkten übereinstimmt und gleichzeitig die kontextuelle Genauigkeit und Relevanz gewahrt bleibt.

• Sicherheitsmechanismen: Code-Injektion, „Jailbreaking“, Datenlecks und der Umgang mit unleserlichen oder unklaren Inhalten werden vermieden. Mit anderen Worten: Wir stellen sicher, dass unsere Lösung nicht für andere als den vorgesehenen Zweck verwendet werden kann.

Beispiele, wie unsere Lösung die Ausgaben von LLMs steuert

1. Unabhängige Fragen: Da Aplysia für den Hotelleriebereich entwickelt wurde, beantwortet es keine Themen, die nicht damit in Zusammenhang stehen.

2. Anti-Halluzinationsmechanismen: Manchmal generiert das LLM eine Antwort, die nicht mit den Angaben unserer Kunden übereinstimmt. Um damit umzugehen, verfügen wir über Anti-Halluzinationsmechanismen wie beispielsweise einen Standpunkt-Korrektor, der den in den FAQ verwendeten Standpunkt beibehält. Schauen wir uns ein praktisches Beispiel an:

• Frage: „Verfügt das Hotel über Parkplätze?“

• Die Antwort auf die FAQ des Hotels: „Wir haben keine Parkplätze im Gebäude. Sie können sich an die Rezeption wenden, um die Verfügbarkeit von Parkplätzen in der Nähe zu prüfen.“

• Antwort generiert: „Das Hotel verfügt über keine eigenen Parkplätze, Sie können sich jedoch an die Rezeption wenden, um die Verfügbarkeit von Parkplätzen in der Nähe zu erfragen.“

• Antwort angezeigt: „Wir verfügen über keine Parkplätze vor Ort, sind Ihnen aber gerne bei der Suche nach Parkplätzen in der Nähe behilflich. Für weitere Informationen wenden Sie sich bitte an unsere Rezeption.“

Um ein konkretes Beispiel zu verwenden, sind hier die Unterschiede zwischen der von GPT generierten Antwort und einer von Aplysia gesteuerten Antwort bei der Abfrage „Parkpreise im Savoy Palace“:

Die von HiJiffys Aplysia bereitgestellte Antwort ist die genaueste, da sie den vom Hotel zur Lösung bereitgestellten Informationen entspricht. Die Antwort von GPT könnte auf anderen Objekten von Savoy Signature basieren, sich auf ein Parken mit Zusatzleistungen (z. B. Parkservice) beziehen oder ein erfundener Wert sein.

In einem anderen Beispiel gab GPT eine erfundene Antwort auf eine Anfrage zu „Savoy Palace Presse und Partnerschafts-Kontakten“:

Learn more about our AI

Wenn Sie mehr über die verschiedenen in Aplysia verwendeten Technologien erfahren möchten, erkunden Sie den Abschnitt unserer Website, der unserer künstlichen Intelligenz gewidmet ist, folgen Sie HiJiffy auf LinkedIn und abonnieren Sie unseren Newsletter in der Fußzeile.

Quellen

Dieser Artikel basiert auf technischen Beiträgen von Vanda Azevedo vom Aplysia Lab von HiJiffy.