Q&A Chatbot mit RAG-Ansatz in der Telekommunikation
Im Zuge der Weiterentwicklung von KI-Technologien hat das Unternehmen beschlossen, diese neuen Möglichkeiten für ein besseres und effizienteres Management des firmeninternen Wissens zu nutzen.
Wie die meisten großen Unternehmen hat auch dieses Unternehmen sein internes Wissen nur unzureichend zentralisiert, stattdessen liegt das Wissen fragmentiert in einer Vielzahl von Dokumenten, Präsentationen und technischen Dokumentationen vor, die von verschiedenen Mitarbeitenden an unterschiedlichen Speicherorten abgelegt werden. Daraus ergibt sich die Problematik, dass das Wissen zur Beantwortung spezifischer Fragen zwar vorhanden ist, es aber mit hohem Aufwand verbunden ist, dieses Wissen schnell und zuverlässig zu finden.
Auf einen Blick:
- Branche: Telekommunikation
- Projektziel: Implementierung eines RAG-basierten Chatbots zur Vereinfachung des internen Wissensmanagements
- Technologien: OpenAI Services, Azure, Gitlab, Docker
- Dauer: 4 Monate
Die Ausgangslage
Die Herausforderung in diesem Projekt besteht also darin, diesen manuellen Prozess durch einen automatisierten Prozess zu ersetzen. Dieser Prozess muss jedoch verschiedene Anforderungen erfüllen und adressieren.
Werden Sie zum Vorreiter in der Ära der KI. Sehen Sie zu, wie die Produktivität Ihres Teams wächst, die Kosten sinken und Ihr Betriebsergebnis stetig steigt. Lassen Sie sich jetzt beraten.
Die Implementierung eines robusten Retrieval-Augmented Generation (RAG) Systems, das in der Lage ist, das verstreute Wissen des Unternehmens effizient zugänglich zu machen und eine KI-gestützte Lösung für das firmeninterne Wissensmanagement zu schaffen.
Unser Ansatz bestand darin, eine Chatbot-Anwendung für die interne Nutzung zu entwickeln, die sowohl einfache als auch komplexe Anfragen der Mitarbeitenden verarbeitet und Antworten liefert. Der Fokus lag dabei auf der nahtlosen Integration in bestehende Systeme und der Benutzerfreundlichkeit für alle Mitarbeitenden – unabhängig von ihrem technischen Know-how.
Für den RAG-Chatbot haben wir eine Reihe von zusätzlichen Features integriert, um den Anforderungen des Unternehmens gerecht zu werden
Unsere Lösung basiert auf der Nutzung von Azure Services, die wir sorgfältig ausgewählt und kombiniert haben, um den spezifischen Anforderungen des Unternehmens gerecht zu werden.
Drei Hauptkomponenten bilden den Kern der Lösung: Azure OpenAI für die generative Textverarbeitung, Azure Search Service für die effiziente und skalierbare Dokumentensuche und Azure Document Intelligence für die Erfassung und Analyse verschiedener Dokumenttypen. Durch diese Kombination konnten wir eine maßgeschneiderte RAG-Applikation entwickeln, die die fragmentierten Dokumente erschließt und sinnvolle Antworten auf Anfragen generiert.
- Welche Herausforderungen traten während der Implementierung des RAG-Chatbots auf?
Die Entwicklung und Implementierung der Lösung war nicht ohne Hindernisse. Eine der größten Herausforderungen war die Suchgenauigkeit. Da das Unternehmen über eine große Vielfalt an Dokumenten verfügt, musste das System in der Lage sein, sowohl strukturierte als auch unstrukturierte Daten korrekt zu verarbeiten. Zu diesem Zweck haben wir verschiedene Retrievalmethoden getestet, um sicherzustellen, dass das System die relevanten Informationen zuverlässig findet.
Ein weiteres Problem war die Bewertung der Qualität der Antworten. Anfangs war es schwierig, die Genauigkeit und Nützlichkeit der generierten Antworten zu beurteilen. Aus diesem Grund haben wir regelmäßig Testphasen mit internen Mitarbeitenden durchgeführt, um die Ausgabe des Systems zu validieren und zu verbessern.
Eine weitere Herausforderung war die Koordination zwischen den verschiedenen Teams. Insbesondere die Zusammenarbeit zwischen dem DevOps-Team, das für das Deployment der Lösung verantwortlich war, und dem Data Science-Team, das die RAG-Logik entwickelte, erwies sich anfangs als schwierig. Durch klare Kommunikationsprozesse und regelmäßige Meetings konnte dieses Problem jedoch im Laufe des Projekts erfolgreich gelöst werden.
Folgende Daten wurden berücksichtigt:
- Die Datenbasis umfasste ca. 17.000 Seiten interner Dokumentation (PDF und PowerPoint) zur Erstellung der Wissensdatenbank.
- Diese Wissensdatenbank dient als Grundlage für das RAG-System, das auf die Dokumente zugreift.
- Die Integration von GPT-4 und großen Kontextfenstern ermöglicht die Bearbeitung umfangreicher Dokumente und präzise Antworten.
Die Implementierung des Retrieval-Augmented Generation (RAG) Systems zeigte bereits nach drei Monaten deutliche Erfolge und verbesserte den Arbeitsalltag des Unternehmens nachhaltig. Die Lösung brachte unmittelbare Vorteile für die Mitarbeiterinnen und Mitarbeiter und optimierte zentrale Prozesse in mehreren Bereichen.
Die Vorteile für unseren Kunden
Durch die Einführung des RAG-Systems konnte der Aufwand für die Informationsbeschaffung drastisch reduziert werden. Die Mitarbeiterinnen und Mitarbeiter können nun in Echtzeit auf das benötigte Wissen zugreifen, was die Produktivität steigert und es ihnen ermöglicht, sich auf ihre Kernaufgaben zu konzentrieren.
Dank der Kombination von Dokument-Retrieval und generativer KI sind die Antworten präzise und kontextbezogen. Das System stellt sicher, dass die Mitarbeiterinnen und Mitarbeiter zuverlässige und aktuelle Informationen für fundierte Entscheidungen erhalten, wodurch das Risiko von Fehlinterpretationen minimiert wird.
Über eine intuitive und leicht zugängliche Oberfläche können Mitarbeitende unabhängig von ihrer fachlichen Expertise auf das gesamte unternehmensinterne Wissen zugreifen. Dies fördert die Akzeptanz und Nutzung des Systems und gewährleistet eine konsistente Wissensbasis für alle.
Auch Sie möchten einen RAG-Chatbot implementieren? Da können wir Ihnen helfen! Kontaktieren Sie uns doch gerne.
Ihr Ansprechpartner
Ob und wie künstliche Intelligenz Ihnen weiterhelfen kann, können Sie in einem ersten, unverbindlichen Gespräch mit uns herausfinden.
In diesem Gespräch erfahren Sie:
- Wie Ihr Use-Case technisch am besten umgesetzt werden kann
- Wie wir maximal sicher mit Ihren Kundendaten umgehen
- Wie lange wir für die Umsetzung benötigen und wie ein konkreter Projektplan aussehen könnte