Q&A Chatbot mit RAG-Ansatz in der Telekommunikation

Im Zuge der Weiterentwicklung von KI-Technologien hat das Unternehmen beschlossen, diese neuen Möglichkeiten für ein besseres und effizienteres Management des firmeninternen Wissens zu nutzen.

Wie die meisten großen Unternehmen hat auch dieses Unternehmen sein internes Wissen nur unzureichend zentralisiert, stattdessen liegt das Wissen fragmentiert in einer Vielzahl von Dokumenten, Präsentationen und technischen Dokumentationen vor, die von verschiedenen Mitarbeitenden an unterschiedlichen Speicherorten abgelegt werden. Daraus ergibt sich die Problematik, dass das Wissen zur Beantwortung spezifischer Fragen zwar vorhanden ist, es aber mit hohem Aufwand verbunden ist, dieses Wissen schnell und zuverlässig zu finden.

Auf einen Blick:

  • Branche: Telekommunikation
  • Projektziel: Implementierung eines RAG-basierten Chatbots zur Vereinfachung des internen Wissensmanagements
  • Technologien: OpenAI Services, Azure, Gitlab, Docker
  • Dauer: 4 Monate

Die Ausgangslage

Die Herausforderung in diesem Projekt besteht also darin, diesen manuellen Prozess durch einen automatisierten Prozess zu ersetzen. Dieser Prozess muss jedoch verschiedene Anforderungen erfüllen und adressieren.

0104

Zuverlässigkeit und Sicherheit

Das System muss zuverlässig funktionieren und in der Lage sein, sowohl relevante Informationen zu finden als auch präzise Antworten zu geben. Alle Datenzugriffe müssen über das bestehende rollenbasierte Zugangssystem des Kunden (Entra) abgebildet und eingeschränkt werden.

Bewältigung unterschiedlicher Aufgaben

Das System muss in der Lage sein, verschiedene Aufgaben zu bewältigen. Zum Beispiel die direkte Beantwortung von Fragen („Was hat der Marktforschungsbericht 2023 ergeben?“), aber auch die Bearbeitung von Metafragen („Gib mir alle Marketingberichte von 24“).

Multimodal und Mehrsprachigkeit

Das System muss multimodal arbeiten, da das Wissen nicht nur in Textform, sondern auch in Grafiken und Tabellen vorliegt. Außerdem soll der Chatbot in der Lage sein sowohl Englisch als auch Deutsch zu sprechen.

Niedrige Einstiegshürde

Das System muss eine möglichst geringe Einstiegshürde haben, damit auch nichttechnisches Personal nicht von der Nutzung abgeschreckt wird.

Sichern Sie sich Ihren Wettbewerbsvorteil mit künstlicher Intelligenz

Werden Sie zum Vorreiter in der Ära der KI. Sehen Sie zu, wie die Produktivität Ihres Teams wächst, die Kosten sinken und Ihr Betriebsergebnis stetig steigt. Lassen Sie sich jetzt beraten.

Erstgespräch vereinbaren
Unsere technische Lösung: RAG Chatbot in Azure OpenAI

Die Implementierung eines robusten Retrieval-Augmented Generation (RAG) Systems, das in der Lage ist, das verstreute Wissen des Unternehmens effizient zugänglich zu machen und eine KI-gestützte Lösung für das firmeninterne Wissensmanagement zu schaffen.

Unser Ansatz bestand darin, eine Chatbot-Anwendung für die interne Nutzung zu entwickeln, die sowohl einfache als auch komplexe Anfragen der Mitarbeitenden verarbeitet und Antworten liefert. Der Fokus lag dabei auf der nahtlosen Integration in bestehende Systeme und der Benutzerfreundlichkeit für alle Mitarbeitenden – unabhängig von ihrem technischen Know-how.

Für den RAG-Chatbot haben wir eine Reihe von zusätzlichen Features integriert, um den Anforderungen des Unternehmens gerecht zu werden

Unsere Lösung basiert auf der Nutzung von Azure Services, die wir sorgfältig ausgewählt und kombiniert haben, um den spezifischen Anforderungen des Unternehmens gerecht zu werden.

Drei Hauptkomponenten bilden den Kern der Lösung: Azure OpenAI für die generative Textverarbeitung, Azure Search Service für die effiziente und skalierbare Dokumentensuche und Azure Document Intelligence für die Erfassung und Analyse verschiedener Dokumenttypen. Durch diese Kombination konnten wir eine maßgeschneiderte RAG-Applikation entwickeln, die die fragmentierten Dokumente erschließt und sinnvolle Antworten auf Anfragen generiert.

Schlüsselkomponenten und Zusatzfunktionen des RAG Chatbots

Neben den Grundfunktionen der RAG-App haben wir eine Reihe von zusätzlichen Features integriert, um den Anforderungen des Unternehmens gerecht zu werden:

Metadatenanreicherung

Jedes Dokument wird automatisch mit Metadaten wie Zeitstempel und Schlagwörtern versehen. Dies erleichtert die Suche und verbessert die Genauigkeit der Antworten.

Metadatenfilterung

Die hinterlegten Metadaten wurden anschließend genutzt, um mit Hilfe anderer LLM-Funktionen einen gewünschten Zeitbezug oder Schlüsselwörter aus der Benutzerabfrage zu extrahieren und dann als Filter im Azure Search Service zu verwenden.

Mehrsprachigkeit

Die Anwendung nutzt sowohl die Stichwort- als auch die Vektorsuche und unterstützt Anfragen in Deutsch und Englisch. Darüber hinaus ist das System in der Lage, nicht nur Textdokumente, sondern auch Informationen aus Grafiken und Tabellen zu extrahieren.

Erweitertes Prompt Engineering

Durch gezieltes Prompt Engineering haben wir das Sprachmodell darauf trainiert, zwischen verschiedenen Anfragetypen zu unterscheiden. So kann es einerseits präzise Fragen direkt beantworten, andererseits aber auch Meta-Anfragen wie die Suche nach bestimmten Dokumenten korrekt bearbeiten.

Quality Gate

Ein automatisierter Qualitätssicherungsprozess überprüft jede Antwort, bevor sie an den Benutzer weitergeleitet wird. Damit wird sichergestellt, dass die Ausgabe nicht nur inhaltlich korrekt ist, sondern auch im richtigen Format bereitgestellt wird. Auch dieses Gate wurde mit einem LLM implementiert, der auf Basis von Prompt Engineering ein korrektes Ausgabeformat erhält.

Benutzerfreundlichkeit

Um die Einstiegshürde für die Mitarbeitenden zu minimieren, haben wir eine automatische Integration mit SharePoint implementiert. Die Mitarbeitenden können ihre relevanten Dokumente einfach in einem speziellen Ordner ablegen, woraufhin das System diese Dokumente in die Analyse einbezieht.

  • Welche Herausforderungen traten während der Implementierung des RAG-Chatbots auf? 

Die Entwicklung und Implementierung der Lösung war nicht ohne Hindernisse. Eine der größten Herausforderungen war die Suchgenauigkeit. Da das Unternehmen über eine große Vielfalt an Dokumenten verfügt, musste das System in der Lage sein, sowohl strukturierte als auch unstrukturierte Daten korrekt zu verarbeiten. Zu diesem Zweck haben wir verschiedene Retrievalmethoden getestet, um sicherzustellen, dass das System die relevanten Informationen zuverlässig findet.

Ein weiteres Problem war die Bewertung der Qualität der Antworten. Anfangs war es schwierig, die Genauigkeit und Nützlichkeit der generierten Antworten zu beurteilen. Aus diesem Grund haben wir regelmäßig Testphasen mit internen Mitarbeitenden durchgeführt, um die Ausgabe des Systems zu validieren und zu verbessern.

Eine weitere Herausforderung war die Koordination zwischen den verschiedenen Teams. Insbesondere die Zusammenarbeit zwischen dem DevOps-Team, das für das Deployment der Lösung verantwortlich war, und dem Data Science-Team, das die RAG-Logik entwickelte, erwies sich anfangs als schwierig. Durch klare Kommunikationsprozesse und regelmäßige Meetings konnte dieses Problem jedoch im Laufe des Projekts erfolgreich gelöst werden.

Folgende Daten wurden berücksichtigt: 

  • Die Datenbasis umfasste ca. 17.000 Seiten interner Dokumentation (PDF und PowerPoint) zur Erstellung der Wissensdatenbank.
  • Diese Wissensdatenbank dient als Grundlage für das RAG-System, das auf die Dokumente zugreift.
  • Die Integration von GPT-4 und großen Kontextfenstern ermöglicht die Bearbeitung umfangreicher Dokumente und präzise Antworten. 

Die Implementierung des Retrieval-Augmented Generation (RAG) Systems zeigte bereits nach drei Monaten deutliche Erfolge und verbesserte den Arbeitsalltag des Unternehmens nachhaltig. Die Lösung brachte unmittelbare Vorteile für die Mitarbeiterinnen und Mitarbeiter und optimierte zentrale Prozesse in mehreren Bereichen.

RAG Architektur für Chatbot

Der Retrieval Prozess eines RAG Chatbos wird dargestellt.

Die Vorteile für unseren Kunden

Effizienz

Durch die Einführung des RAG-Systems konnte der Aufwand für die Informationsbeschaffung drastisch reduziert werden. Die Mitarbeiterinnen und Mitarbeiter können nun in Echtzeit auf das benötigte Wissen zugreifen, was die Produktivität steigert und es ihnen ermöglicht, sich auf ihre Kernaufgaben zu konzentrieren.

Genauigkeit

Dank der Kombination von Dokument-Retrieval und generativer KI sind die Antworten präzise und kontextbezogen. Das System stellt sicher, dass die Mitarbeiterinnen und Mitarbeiter zuverlässige und aktuelle Informationen für fundierte Entscheidungen erhalten, wodurch das Risiko von Fehlinterpretationen minimiert wird.

Benutzerfreundlichkeit

Über eine intuitive und leicht zugängliche Oberfläche können Mitarbeitende unabhängig von ihrer fachlichen Expertise auf das gesamte unternehmensinterne Wissen zugreifen. Dies fördert die Akzeptanz und Nutzung des Systems und gewährleistet eine konsistente Wissensbasis für alle.

Auch Sie möchten einen RAG-Chatbot implementieren? Da können wir Ihnen helfen! Kontaktieren Sie uns doch gerne.

Profilbild von Vinzent Wuttke Geschäftsführer Datasolut GmbH
Vinzent Wuttke
Geschäftsführer

Ihr Ansprechpartner

Ob und wie künstliche Intelligenz Ihnen weiterhelfen kann, können Sie in einem ersten, unverbindlichen Gespräch mit uns herausfinden.

In diesem Gespräch erfahren Sie:

  • Wie Ihr Use-Case technisch am besten umgesetzt werden kann
  • Wie wir maximal sicher mit Ihren Kundendaten umgehen
  • Wie lange wir für die Umsetzung benötigen und wie ein konkreter Projektplan aussehen könnte
Jetzt Erstgespräch vereinbaren
Newsletter und Updates

Sie sehen gerade einen Platzhalterinhalt von HubSpot. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen
Erstgespräch vereinbaren