KI-Chatbot mit eigenen Daten: was mit Ihren Dokumenten passiert

Ein Chatbot, der Kundenfragen aus Ihren eigenen Preislisten, Handbüchern und Verträgen beantwortet, klingt nach einem Datenschutzproblem. Ihre Unterlagen, irgendwo bei einem KI-Anbieter, möglicherweise in den USA, möglicherweise zum Training verwendet.

Ob das so ist, hängt nicht an „KI“, sondern am Aufbau des Systems. Dieser Artikel erklärt, welche Daten bei einem sogenannten RAG-System wohin fließen, und welche Fragen Sie jedem Anbieter stellen sollten – auch mir.

Vorweg: Das hier ist eine technische Einordnung, keine Rechtsberatung. Die rechtliche Bewertung gehört zu Ihrem Datenschutzbeauftragten.

Zwei Wege, einem Modell Ihr Wissen beizubringen

Nachtrainieren (Fine-Tuning). Das Modell wird mit Ihren Dokumenten weitertrainiert. Ihr Wissen steckt danach im Modell selbst. Das ist teuer, muss bei jeder Änderung wiederholt werden – und lässt sich nicht mehr gezielt zurücknehmen. Wer einen Datensatz löschen will, muss neu trainieren.

Nachschlagen (RAG, Retrieval Augmented Generation). Das Modell lernt Ihre Dokumente nie. Es bekommt bei jeder einzelnen Frage nur die wenigen Abschnitte vorgelegt, die für diese Antwort gebraucht werden. Ändert oder löscht man ein Dokument, ist das nach dem nächsten Abgleich wirksam.

Für Unternehmensdokumente ist RAG fast immer der richtige Weg – und aus Datenschutzsicht der deutlich einfachere.

Wohin welche Daten fließen

Bei einem RAG-System gibt es drei Orte, an denen Daten liegen oder vorbeikommen. Für jeden lässt sich getrennt entscheiden, wo er steht.

1. Der Dokumentenbestand

Ihre Dateien und die daraus erzeugte Suchdatenbank (die „Vektordatenbank“). Das ist der größte und sensibelste Teil: Hier liegt alles.

Dieser Teil kann vollständig auf einem Server in Deutschland liegen, mit Auftragsverarbeitungsvertrag nach Art. 28 DSGVO. Auch die Suche darin läuft dort. In den Systemen, die ich baue, verlässt der Bestand Deutschland nicht.

2. Die Umwandlung in Suchvektoren

Damit die Suche nach Bedeutung funktioniert, wird jeder Textabschnitt in eine Zahlenfolge umgerechnet. Dafür gibt es eigene, kleine Modelle. Sie können bei einem Cloud-Anbieter laufen oder auf dem eigenen Server. Fragen Sie nach, wo – denn hier wird einmal der gesamte Bestand durchgereicht.

3. Das Sprachmodell, das die Antwort formuliert

Hierhin geht bei jeder Frage nur ein Ausschnitt: die Frage selbst und die zwei bis fünf Abschnitte, die zu ihr gefunden wurden. Nicht der Bestand.

Für diesen Teil gibt es drei Varianten:

• Großer Cloud-Anbieter mit vertraglichem Ausschluss der Nutzung für Training. Bei den bekannten Anbietern ist das für geschäftliche Zugänge möglich und üblich – aber es muss im konkreten Vertrag stehen, nicht nur auf einer Marketingseite.
• Anbieter mit Rechenzentrum in der EU. Mehrere große Modelle sind inzwischen auch in europäischen Rechenzentren buchbar. Das vereinfacht die Frage nach einer Übermittlung in Drittländer.
• Eigenes Modell auf eigener Infrastruktur. Offene Modelle lassen sich vollständig selbst betreiben. Dann verlässt gar nichts Ihren Server. Der Preis dafür ist mehr Rechenleistung und in der Regel etwas schwächere Antworten als bei den größten Modellen.

Welche Variante passt, hängt davon ab, was in Ihren Dokumenten steht. Für ein Produkthandbuch reicht Variante eins mit sauberem Vertrag. Für Personalakten oder Gesundheitsdaten ist Variante drei der richtige Ausgangspunkt.

Personenbezogene Daten: der eigentliche Knackpunkt

Das größere Risiko liegt meistens nicht beim Modell, sondern in den Dokumenten selbst. Enthält der Bestand Namen, Adressen oder Vertragsdaten von Kunden oder Beschäftigten, dann verarbeitet der Chatbot personenbezogene Daten – mit allen Pflichten, die daraus folgen.

Praktisch heißt das:

• Prüfen, was hineingehört. Oft lässt sich der Bestand so zuschneiden, dass personenbezogene Daten gar nicht erst enthalten sind. Ein Chatbot für Produktfragen braucht keine Kundenkorrespondenz.
• Verzeichnis der Verarbeitungstätigkeiten um den neuen Zweck ergänzen.
• Datenschutz-Folgenabschätzung (Art. 35 DSGVO) prüfen, wenn umfangreich sensible Daten verarbeitet werden.
• Zugriffe regeln. Ein interner Assistent für das Team darf anderes wissen als einer auf der öffentlichen Website.

Und die Fragen der Nutzer?

Auch was Nutzer in den Chat schreiben, sind Daten. Klären Sie:

• Werden Gesprächsverläufe gespeichert? Wenn ja, wo und wie lange?
• Werden sie ausgewertet, etwa um Lücken in den Dokumenten zu finden? Das ist nützlich, muss aber in der Datenschutzerklärung stehen.
• Wird erkennbar gemacht, dass ein automatisiertes System antwortet? Nach der europäischen KI-Verordnung ist das für Chatbots ohnehin vorgesehen.

Fünf Fragen an jeden Anbieter

1. Wo liegt der Dokumentenbestand, und wer hat Zugriff darauf?
2. Was genau geht pro Frage an den Modellanbieter – der Ausschnitt oder mehr?
3. Ist die Nutzung für Training vertraglich ausgeschlossen, und können Sie das schriftlich sehen?
4. Wie werden Dokumente gelöscht, und wann ist die Löschung im System wirksam?
5. Werden Gesprächsverläufe gespeichert, und wo?

Ein Anbieter, der diese fünf Fragen nicht klar beantworten kann, hat sein eigenes System nicht verstanden. Das ist der bessere Grund, abzusagen, als jede Sorge um „KI“ an sich.

Wann Sie keinen Chatbot brauchen

Wenn Ihre Kundschaft im Wesentlichen fünf Fragen stellt, ist eine gut geschriebene FAQ-Seite die bessere Antwort: schneller gebaut, kostenlos im Betrieb, ohne jede Datenschutzfrage – und Suchmaschinen können sie lesen. Ein Assistent lohnt sich, wenn die Antworten in vielen Dokumenten verstreut liegen und niemand sie auswendig kennt.