Aufgrund der geographischen Nähe mit dem Standort Groß Gerungs hat sich eine mittlerweile langjähre Partnerschaft zwischen Multidata und der Abteilung Informationstechnologie der HTL Krems/Zwettl gebildet. Diese Partnerschaft ermöglicht es nicht nur, angehenden IT-Experten ihre ersten Schritte in die Arbeitswelt in Form von Berufspraktika zu unternehmen. Sie führt auch immer wieder zu interessanten Kooperationen im Rahmen von konkreten Forschungsprojekten.
Die letzte dieser Kooperationen befasste sich mit einem Thema, das gleichwohl spannend als auch auf der Höhe der Zeit liegt. Wer sich ein wenig mit dem Thema "künstliche Intelligenz" auf Basis von LLMs (Large Language Models) beschäftigt, wird verstanden haben, dass der ressourcenintensivste Part beim Aufbau einer solchen KI das Anlernen des Modells mit den entsprechenden Daten ist, mit denen diese KI später arbeiten soll.
Die großen Frontier Modelle, wie OpenAI oder Anthropic müssen nach wie vor hohe Milliardenbeträge ausgeben, um Ihre Modelle aktuell zu halten und neue Daten und Erkenntnisse, die auf der Welt jeden Tag anfallen, in deren Datenstrukturen zu integrieren. Und was im Großen gilt, gilt auch im Kleinen.
Chatbot ohne Lernen?
Die konkrete Problemstellung lautet: Wie kann man eine Chatbot-KI mit der Online-Dokumentation von MD-Premium verbinden, damit Kunden Fragen bezüglich des Produkts stellen können und qualifizierte Antworten erhalten?
Natürlich könnte man ein LLM speziell auf Basis der Informationen unserer Online-Dokumentation anlernen. Und wäre das ein einmaliger Vorgang, wäre er auch wirtschaftlich vertretbar. Aber genau wie das Weltwissen erweitert und verändert sich auch unsere Dokumentation laufend. Neue Themen kommen hinzu, andere fallen weg oder werden umgeschrieben. Und jedes Mal, wenn das passiert, müsste der Lernvorgang von neuem angestoßen werden. Was bei den momentanen Ressourcenanforderungen für LLMs schlicht nicht wirtschaftlich wäre.
Und genau hier setzt unser Forschungsprojekt an. Zwei Schüler der HTL Zwettl haben im Rahmen ihrer Diplomarbeit untersucht, ob es möglich ist, das Anlernen eines LLM vollständig zu umgehen und trotzdem zufriedenstellende Antworten von einem Chatbot zu erhalten. Der gewählte Ansatz, um die Aufgabenstellung zu lösen, setzt auf der sogenannten semantischen Vektorsuche auf.
Semantische Vektorsuche
Bei einer semantischen Vektorsuche werden Wörter eines natürlichsprachigen Textes gemäß ihrer Bedeutung bewertet und in einen speziellen Zahlencode (multidimensionaler Vektor) umgewandelt. So würde das Wort „Banane“ unter anderem die Bedeutung „Obst“, „Nahrung“ oder „Pflanze“ zugewiesen bekommen. Wörter mit ähnlichen Bedeutungen haben auch Ähnlichkeiten in ihren Vektoren und können somit identifiziert werden. Diese Information kann dann einer KI zur weiteren Verarbeitung übergeben werden.
Konkret wurde in diesem Forschungsprojekt folgendermaßen vorgegangen: Die Texte unserer Online-Dokumentation wurden vektorisiert und in einer speziellen Datenstruktur abgespeichert. Diese Vektorisierung erfolgt auf Basis eines bereits ausgearbeiteten Modells namens Mistral-embed, welches einfach auf einen Text angewendet werden kann. Wird dem Chatbot eine Frage gestellt, wird diese Frage ebenfalls vektorisiert, um auf dieser Basis die Datenbank nach passenden Einträgen zu durchsuchen. Ergebnisse werden mitsamt einer Übereinstimmungswahrscheinlichkeit an eine KI übergeben – in unserem Fall die API von Mistral - um dann eine sauber formulierte Antwort zurückzuliefern.
Der profunde Vorteil dieser Methode ist die laufende Anwendbarkeit auf einer sich ständig ändernden Datenbasis. Vektorisierungen brauchen nur einen Bruchteil der Ressourcen, die das Anlernen eines LLM benötigt und
können daher bedenkenlos auf täglicher Basis angewendet werden.
Wann immer also ein neuer Dokumentationsartikel erstellt bzw. ein bestehender Artikel angepasst wird, wird die Vektorisierung für diesen Artikel angestoßen. Und der Chatbot arbeitet stets auf einer aktuellen Datenbasis. Und dieser Ansatz ist durchaus von Erfolg geprägt. Die Forschungsarbeiten der beiden HTL-Schüler haben klar bewiesen, dass die Kombination von KI und semantischer Suche zu einem brauchbaren Ergebnis führt.
Ein Weg mit Potential
Auch wenn es sich bei der Arbeit vorerst nur um eine Machbarkeitsstudie handelt und noch technische Hürden zu überwinden sind, so gibt Sie doch Anlass zur Hoffnung, diese Technologie in absehbarer Zeit in einen Produktiveinsatz überführen zu können. Potenzielle Anwendungsfälle für semantische Vektorsuchen gibt es im Kontext von MD-Premium jedenfalls mehrere. Die Zukunft wird es weisen, welche davon Realität werden.
An dieser Stelle möchten wir uns auch nochmal herzlich bei den Schülern der HTL Zwettl für ihre hervorragende Arbeit bedanken und wünschen ihnen viel Erfolg bei ihrer Karriere als IT- und Software-Ingenieure.