Ist fachspezifisches oder aktuelles Wissen gefragt, kommen die großen Sprachmodelle oft ins Schleudern und erfinden einfach Antworten. Im Kommentar erläutert KI-Experte Franz Kögl von Intrafind, wie sich das Dilemma lösen lässt.
Franz Kögl ist Vorstand bei Intrafind in München, einem Spezialisten für Enterprise Search und Künstliche Intelligenz.
Intrafind Software AG
Zu den beliebtesten Einsatzgebieten von generativer Künstlicher Intelligenz (KI) in Unternehmen zählen Frage-Antwort-Systeme und Assistenzsysteme. Immer mehr Unternehmen nutzen große Sprachmodelle (Large Language Models, LLMs), wie sie vor allem durch den Hype um ChatGPT populär geworden sind, um damit Chatbots für ihre Mitarbeiter bereitzustellen. Die LLMs ermöglichen es bei der tagtäglichen Arbeit, in natürlicher Sprache Fragen zu stellen und darauf ebenso in natürlicher Sprache Antworten zu erhalten, die schnell weiterhelfen.
Sprachmodelle bieten dafür auch eine optimale Grundlage. Sie werden mit riesigen Datenmengen trainiert, die aus Milliarden von Wörtern und Texten ein hochentwickeltes neuronales Netz bilden. Dadurch sind sie in der Lage, menschliche Sprache hervorragend nachzuahmen - besser als alle bisherigen KI-Verfahren - und ermöglichen Chatbots auf einem ganz neuen Niveau.
Trainingsmaterial verursacht Limitierungen
LLMs haben aber auch Grenzen. Das liegt an dem Material, mit dem sie trainiert werden. Die großen Sprachmodelle haben zwar große Teile der Textmengen des Internets gesehen und sind dadurch in der Lage, Fakten über die Welt meist treffend wiederzugeben. Je häufiger und eindeutiger diese Fakten im Trainingsmaterial aufgetaucht sind, desto besser funktioniert das. So können LLMs Fragen, die auf allgemein bekannte Tatsachen abzielen, in der Regel problemlos richtig beantworten.
Auch bei etwas exotischerem Wissen schlagen sich LLMs meist noch sehr gut. Je spezieller oder domänenspezifischer das geforderte Wissen ist, desto mehr geraten sie allerdings ins Schleudern – was in der Natur der Sache liegt. Unternehmenseigenes Wissen kam nämlich im Material, mit dem die LLMs trainiert wurden, hoffentlich überhaupt nicht vor. Aber auch allgemeines Wissen kann die Sprachmodelle überfordern, wenn es zum Zeitpunkt ihres Trainings noch gar nicht verfügbar war.
Da LLMs aber primär darauf ausgelegt sind, Texte zu generieren, machen sie stur immer genau das. Sie erzeugen auch dann Antworten, wenn sie das erforderliche Wissen dafür gar nicht besitzen. Sie beginnen zu "halluzinieren" und erfinden einfach Fakten. So kommt es zu Antworten, die falsche Informationen enthalten. Weil die Texte, die sie damit generieren, aber formal perfekt sind und deshalb schlüssig klingen, ist das für die Anwender oft gar nicht erkennbar. Unternehmen riskieren deshalb, dass ihre Mitarbeiter Fehlinformationen aufsitzen und falsche Entscheidungen treffen.
Sprachmodelle richtig nutzen
Das können Unternehmen mithilfe von "Retrieval Augmented Generation" (RAG) verhindern. Dieses Konzept macht sich die Tatsache zunutze, dass außerhalb der Sprachmodelle meist Dokumente existieren, welche die Beantwortung der Nutzerfragen erleichtern oder sogar erst ermöglichen. Das können frei zugängliche aktuelle Informationen aus dem Internet sein oder organisationsinterne Datenquellen wie Dokumenten-Management-Systeme (DMS), Laufwerkverzeichnisse und Datenbanken. Durch die Integration von Retrieval-Systemen können die Sprachmodelle bei der Generierung ihrer Antworten auf diese Quellen zurückgreifen. RAG "augmentiert", sprich: vergrößert den Wissensfundus der Modelle und ermöglicht damit aktuellere, genauere und verlässlichere Antworten.
Dazu filtern die Retrieval-Systeme – Retrieval bedeutet „Abruf“ –die Passagen und Informationen aus dem Dokumentenbestand heraus, die für die konkreten Nutzeranfragen relevant sind, und übergeben sie an die LLMs. Dafür stehen mit der lexikalischen und der semantischen Suche zwei Techniken zur Verfügung, die zu einer besonders leistungsstarken hybriden Suche kombiniert werden können. Die altbewährte lexikalische Suche ergänzt Suchbegriffe beispielsweise durch Thesauri (eine Suche nach "E-Bike" zieht auch Dokumente heran, in denen "Pedelec" steht) und Lemmatisierung (eine Suche nach "fördern" findet auch "fördert" oder "gefördert").
Die semantische Suche löst sich dagegen ganz von einzelnen Suchbegriffen und nutzt stattdessen so genannte Embeddings. Dabei handelt es sich um Vektoren, die in der Regel aus Hunderten Zahlenwerten bestehen und die den Inhalt – also die Semantik – eines Textes oder Textabschnitts repräsentieren. Damit kann das Retrieval-System dann Dokumente oder einzelne Passagen identifizieren, die inhaltlich in einem engen Verhältnis zur gestellten Frage stehen. Fragt ein Nutzer beispielsweise "Wie kann ich ein Notebook für einen Werkstudenten bestellen?" werden dem Sprachmodell für die Erzeugung der Antwort auch Informationen zum Thema "Hardwarebeschaffung für Praktikanten und externe Mitarbeiter" übergeben.
Das LLM wird also nur dazu genutzt, um aus gesicherten firmeninternen Informationen wohl formulierte Antworten zu generieren - und nicht, um Fragen auf Basis seiner eigenen Informationen zu beantworten. Da es bei der Texterstellung definierte Passagen und Fragmente nutzt, die von einer Suchmaschine kommen, kann auch ganz einfach ein nachvollziehbarer Quellenbezug hergestellt werden. Ein weiterer großer Vorteil: In das Retrieval können die Nutzerberechtigungen einfließen. Die Anwender erhalten dadurch in ihren Antworten nur Informationen, auf die sie auch zugreifen dürfen. Das ermöglicht es Unternehmen, wichtige Datenschutz- und Compliance-Anforderungen zu erfüllen; ein Umstand, der beim Hype um ChatGPT oft leichtfertig übersehen wird.
Bei der Umsetzung gibt es viele Fragen
Insbesondere bei der Umsetzung von Retrieval Augmented Generation sind Unternehmen allerdings mit zahlreichen Fragen konfrontiert. So unterscheiden sich beispielsweise die verfügbaren Modelle für generative KI und auch für das Information Retrieval hinsichtlich Größe und Qualität teilweise deutlich voneinander. Unternehmen müssen deshalb die für ihre Zwecke passenden Modelle auswählen und dabei auch das KI-Gesetz der Europäischen Union im Auge haben. Außerdem ist zu klären, wie genau bei der hybriden Suche lexikalische und semantische Treffer kombiniert werden sollen. Für die Entscheidung, ob sie rechenintensive Sprachmodelle in der Cloud oder besser On-Premises betreiben sollten, müssen Unternehmen Sicherheitsanforderungen und Kostenaspekte sorgfältig gegeneinander abwägen. Nicht zuletzt stellt sich die Frage, mit welchen Anweisungen (so genannte Prompts) das LLM optimale Antworten liefern kann.
Bei der Klärung solcher Details sind Unternehmen nicht auf sich allein gestellt. Sie können sich an Experten wenden, die bereits detaillierte Konzepte ausgearbeitet haben und damit passende Lösungen umsetzen können. Dabei sollten sie aber genau hinsehen und sich nicht von Kurzdemos beeindrucken lassen, die mit einer Handvoll Dokumente RAG demonstrieren. Denn wie sieht es aus, wenn Organisationen mehrere Millionen Dokumente im Bestand haben und damit RAG nutzen wollen? Der erste Schritt ist dann die Einbettung in eine Enterprise-Search-Lösung. Sie bildet die Basis zur Nutzung von RAG und reduziert bei Nutzerfragen die Millionen Dokumente auf einige wenige, die relevante Informationen enthalten. Mit diesen Dokumenten und einem passenden LLM besteht dann eine gute Chance, dass eine zufriedenstellende Antwort generiert wird. Das ermöglicht es Unternehmen, mit dem RAG-Konzept die Flexibilität und Intelligenz von modernen LLMs mit dem Wert von öffentlich zugänglichen und internen Datenquellen zu einem wirksamen Werkzeug zu kombinieren, das die Nutzer bei ihrer täglichen Arbeit sinnvoll und sicher unterstützen kann.