Die Herausforderung
Ein Beratungsunternehmen wollte die Kommunikation und den Zugang zu Informationen in seinen Teams verbessern, ohne den Datenschutz zu gefährden.
LLM-Dienste von Drittanbietern kamen nicht infrage. Das Unternehmen brauchte daher einen Chatbot auf einem eigenen, maßgeschneiderten LLM, der ihm die Kontrolle über Datenschutz, Modelltraining und Updates gibt.
Unsere Lösung
Wir haben eine Webanwendung entwickelt, in der Nutzer über eine Chatbot-Oberfläche mit einem maßgeschneiderten Large Language Model kommunizieren. Das Ergebnis ist eine private, gehostete Lösung ähnlich dem kommerziellen ChatGPT, mit zusätzlichen Funktionen.
Die Oberfläche ist bewusst einfach gehalten: Nutzer melden sich an, geben eine Frage oder Aussage ein und erhalten eine Antwort. Jede Antwort enthält ihre Datenquellen, einschließlich Verweisen auf die Dokumente, aus denen sie generiert wurde. Das macht die Antworten transparent und nachvollziehbar.
Statt auf LLM-Dienste Dritter zu setzen, läuft der Chatbot auf einem intern entwickelten, maßgeschneiderten LLM. So behält das Unternehmen die Kontrolle über Datenschutz, Trainingsprozesse und Updates.
- Webanwendung mit Login und dialogorientierter Chatbot-Oberfläche
- Intern entwickeltes, maßgeschneidertes LLM statt LLM-Dienst eines Drittanbieters
- Antworten mit Angaben zu Datenquellen und Dokumentverweisen
- Upload eigener Dateien, um den Kontext einer Unterhaltung festzulegen
Das Ergebnis
Der Chatbot hat die Art verändert, wie der Kunde mit internem Wissen arbeitet. Eine einfache Oberfläche und mit Quellen verknüpfte Antworten machten die interne Kommunikation transparenter und nachvollziehbarer.
Dank des Uploads eigener Dateien zur Kontextsetzung konnte das Beratungsunternehmen auf Basis des Systems eigene Wissenszentren aufbauen.
