RAG erklärt — Bot antwortet nur aus euren Inhalten

Würdigung — warum „kein Halluzinieren" die Kern-Anforderung ist#

Ein Sprachmodell ist kein Nachschlagewerk. Es wurde darauf trainiert, das jeweils wahrscheinlichste nächste Wort zu erzeugen — und das führt zu Texten, die flüssig und überzeugend klingen, auch wenn der Inhalt falsch ist. Fragt man ein Modell etwas, das es nicht sicher weiß, schweigt es selten; es erfindet eine plausible Antwort. Im Fachjargon heißt das Halluzination.

Für die meisten Spielereien ist das egal. Für eine Kanzlei ist es das Gegenteil von egal: Eine falsche, aber selbstbewusst formulierte Auskunft auf der Website kann einen Mandanten in die Irre führen und der Kanzlei schaden. Die Kern-Anforderung an jeden Kanzlei-FAQ-Bot lautet deshalb: Er darf nichts erfinden. Er darf nur sagen, was in den eigenen, geprüften Inhalten steht — und sonst ehrlich auf das persönliche Gespräch verweisen. RAG ist die Technik, die das erzwingt.

Das Problem: ein Modell weiß alles und nichts genau#

Ein großes Sprachmodell hat aus riesigen Textmengen gelernt — aber es hat kein Verzeichnis, in dem es nachschlägt, und kein Bewusstsein dafür, was es nicht weiß. Es kennt nicht Ihre Öffnungszeiten, nicht Ihre Leistungen, nicht Ihre Mandats-Voraussetzungen. Wenn man es danach fragt, rät es auf Basis allgemeiner Muster. Manchmal trifft es zufällig richtig, oft nicht. Man kann ihm diese Informationen auch nicht „antrainieren" — das wäre aufwändig, teuer und müsste bei jeder Änderung wiederholt werden.

Die Lösung ist nicht, dem Modell mehr beizubringen, sondern ihm bei jeder Frage genau die richtigen Informationen mitzugeben. Genau das macht RAG.

Wie RAG funktioniert — die drei Schritte#

RAG steht für „Retrieval-Augmented Generation" — auf Deutsch etwa: Erzeugung, die durch Heraussuchen ergänzt wird. Der Ablauf in drei Schritten:

1. Vorbereiten: Die eigenen Inhalte — FAQ, Leistungs-Texte, Öffnungszeiten — werden in kleine Abschnitte zerlegt und in einer durchsuchbaren Form abgelegt (dazu gleich mehr).
2. Suchen (Retrieval): Stellt ein Besucher eine Frage, sucht das System zuerst die dazu passenden Abschnitte aus den eigenen Inhalten heraus — nicht aus dem ganzen Internet, sondern nur aus dem freigegebenen Bestand.
3. Antworten (Generation): Das Sprachmodell bekommt die Frage zusammen mit den gefundenen Abschnitten und die klare Anweisung: „Antworte nur auf Basis dieser Abschnitte. Wenn sie die Frage nicht beantworten, sage das." Erst jetzt formuliert es die Antwort.

Der entscheidende Unterschied zum freien Bot: Das Modell erfindet nicht mehr, es formuliert nur noch — aus Material, das die Kanzlei freigegeben hat. Findet die Suche nichts Passendes, gibt es nichts zu formulieren, und der Bot lenkt ins Gespräch.

Embeddings und Vektor-Suche — in Klartext#

Bleibt die Frage, wie das System in Schritt 2 die „passenden" Abschnitte findet. Eine simple Stichwort-Suche wäre zu starr — sie würde „Termin" nicht mit „Erstgespräch vereinbaren" verbinden. Hier kommen Embeddings ins Spiel: Jeder Text-Abschnitt wird in eine Zahlenfolge übersetzt, die seine Bedeutung repräsentiert. Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlenfolgen.

Diese Zahlenfolgen liegen in einer Vektor-Datenbank. Kommt eine Frage, wird auch sie in eine solche Zahlenfolge übersetzt, und die Datenbank findet die inhaltlich nächstgelegenen Abschnitte — unabhängig davon, ob dieselben Wörter vorkommen. So findet die Suche zur Frage „Wann habt ihr offen?" den FAQ-Eintrag zu den Öffnungszeiten, auch wenn dort das Wort „offen" gar nicht steht. Das ist die Mechanik hinter dem Eindruck, der Bot „verstehe" die Frage — er gleicht Bedeutungen ab, nicht Buchstaben.

Warum RAG die Grundlage für Vertrauen ist#

RAG macht KI-Antworten nachvollziehbar und kontrollierbar. Weil der Bot nur aus freigegebenen Inhalten antwortet, weiß die Kanzlei genau, woraus er schöpft — und kann es bei Bedarf sogar belegen lassen („diese Antwort stammt aus folgendem FAQ-Eintrag"). Das ist der Unterschied zwischen einem Werkzeug, dem man trauen kann, und einem, das man ständig kontrollieren müsste.

RAG ist deshalb der gemeinsame Unterbau praktisch aller seriösen Kanzlei-KI-Anwendungen — vom FAQ-Bot über einen Recherche-Assistenten bis zum Bewerber-Vorfilter. Es verbindet sich mit der Datenschutz-Frage (wo läuft das Modell?) und der § 203-Grenze (was darf gefragt und gespeichert werden?) zu einem Gesamtbild, das eine Kanzlei verantworten kann.

Für eine strukturierte Einordnung, ob und wo KI für Ihre Kanzlei einen echten Hebel darstellt, empfehlen wir den Hebel-Audit (890 €, bei Mandanten-Boost-Beauftragung innerhalb von 60 Tagen voll anrechenbar).

Zusammenfassung#

Sprachmodelle halluzinieren, weil sie auf plausible Formulierung trainiert sind, nicht auf Wahrheit — für eine Kanzlei untragbar. RAG löst das, indem es den Bot an die eigenen, freigegebenen Inhalte bindet: Inhalte vorbereiten, zur Frage die passenden Abschnitte heraussuchen, und das Modell nur daraus antworten lassen. Die Suche funktioniert über Embeddings und eine Vektor-Datenbank, die Bedeutungen abgleichen statt Stichwörter. So entsteht ein Bot, der nichts erfindet, sondern nur formuliert, was die Kanzlei freigegeben hat — und bei allem anderen ehrlich ins Gespräch verweist. RAG ist damit die Vertrauens-Grundlage jeder seriösen Kanzlei-KI.

Quellen#

• KI-Verordnung (EU) 2024/1689 — AI Act — abgerufen 2026-05-29
• StGB § 203 — Verletzung von Privatgeheimnissen — abgerufen 2026-05-29
• DSGVO Art. 28 — Auftragsverarbeitung (VO EU 2016/679) — abgerufen 2026-05-29

Disclaimer: Allgemeine fachliche Information zum Zeitpunkt der Veröffentlichung. RAG ist eine etablierte Methode; die konkrete Umsetzung und ihre datenschutzrechtliche Bewertung hängen vom gewählten Modell und Hosting ab.