Lokales LLM vs. Cloud-API für die Steuerkanzlei

Würdigung — eine Abwägung, kein Glaubenskrieg#

Es gibt in der KI-Welt zwei Lager, die ihre Lösung für die einzig richtige halten: „alles lokal, niemals Cloud" und „Cloud ist sowieso besser". Beide haben unrecht, wenn sie pauschal werden. Für eine Steuerkanzlei ist die Frage keine Ideologie, sondern eine nüchterne Abwägung entlang von vier Achsen: Datenschutz, Modell-Qualität, Kosten und Aufwand. Welche Achse wie schwer wiegt, hängt von der Kanzlei ab — ihrer Größe, ihrer IT-Ausstattung, ihrem Anwendungsfall.

Wichtig vorab: Beide Wege können § 203-konform gestaltet werden. Der Unterschied liegt darin, wie — beim lokalen Modell durch Nicht-Übertragung, bei der Cloud durch Vertrag und EU-Verarbeitung.

Cloud-API — Stärke ohne eigene Infrastruktur#

Bei der Cloud-Variante läuft das Modell beim Anbieter; die Kanzlei schickt Anfragen über eine Programmierschnittstelle (APIAPI · zum GlossarApplication Programming Interface — Schnittstelle, über die Programme miteinander sprechen.) hin und bekommt Antworten zurück. Der Vorteil ist deutlich: Man bekommt Zugriff auf die stärksten verfügbaren Modelle, ohne eine einzige Maschine zu betreiben, und zahlt nutzungsabhängig. Updates, Skalierung und Wartung übernimmt der Anbieter.

Der Preis ist die Datenschutz-Pflicht. Die Anfragen verlassen das Haus, also braucht es einen Auftragsverarbeitungs-Vertrag nach Art. 28 DSGVODSGVO · zum GlossarEU-Datenschutz-Grundverordnung — regelt seit 2018 jede Verarbeitung personenbezogener Daten in der EU., eine EU-taugliche Verarbeitung und die Gewissheit, dass die Eingaben nicht zum Training verwendet werden. Seriöse Anbieter — etwa Anthropic (Claude) oder das europäische Mistral — bieten genau das in ihren Geschäfts-/API-Angeboten. Mit diesen Vorkehrungen ist die Cloud-API für die meisten Kanzlei-Anwendungen tragfähig; das deckt sich mit der Ampel zu KI und § 203.

Lokales LLM — null Datentransfer, volle Kontrolle#

Bei der lokalen Variante läuft ein offenes Modell — etwa Llama, Mistral oder Phi — auf einem Server der Kanzlei, betrieben über eine Software wie Ollama. Der entscheidende Vorteil: Es verlässt kein einziges Datum das Haus. Für die § 203-Frage ist das die sauberste denkbare Konstellation — es gibt keinen Dritten, dem man vertrauen müsste, und keinen AVVAVV · zum GlossarAuftragsverarbeitungsvertrag nach Art. 28 DSGVO — Pflicht zwischen Verantwortlichem und Dienstleister. zu prüfen, weil keine Auftragsverarbeitung stattfindet.

Der Preis steht auf der anderen Seite: Man braucht Hardware (ein Server mit leistungsfähiger GPU, je nach Modell eine Investition im vierstelligen Bereich), man muss sie warten, und die lokal lauffähigen Modelle sind in der Regel schwächer als die größten Cloud-Modelle. Für klar umrissene Aufgaben — Textentwürfe, Zusammenfassungen, einfache Klassifikation — reichen sie gut; für anspruchsvolle Aufgaben merkt man den Qualitäts-Unterschied.

Die Abwägung — wann was passt#

Kriterium	Cloud-API (EU, mit AVV)	Lokales LLM (Ollama & Co.)
Datenschutz	gut (AVV, EU-Verarbeitung)	maximal (kein Transfer)
Modell-Qualität	höchste verfügbare	solide, aber begrenzt
Kosten	nutzungsabhängig, kein Invest	Hardware-Invest + Strom
Aufwand	gering (Anbieter pflegt)	hoch (eigene Wartung)
Passt für	die meisten Kanzleien	Häuser mit IT-Kapazität und hohem Datenschutz-Anspruch

Die ehrliche Faustregel: Für die meisten kleinen und mittleren Kanzleien ist eine EU-Cloud-API mit AVV der pragmatische Weg — beste Modelle, kein Hardware-Risiko, vertretbarer Datenschutz. Ein lokales LLM lohnt sich für Häuser, die entweder einen besonders strengen Datenschutz-Anspruch haben (gar kein Transfer) oder ohnehin eine IT-Abteilung betreiben, die die Hardware pflegen kann.

Wie wir entscheiden#

Wir bauen KI-Anwendungen überwiegend auf einer EU-tauglichen Cloud-API mit Claude — weil das Verhältnis aus Modell-Qualität, Aufwand und Datenschutz für die typische Kanzlei-Anwendung am besten passt, abgesichert über RAGRAG · zum GlossarRetrieval-Augmented Generation — der Bot antwortet nur aus übergebenen Dokumenten, halluziniert nicht. und klare Eingrenzung. Wo eine Kanzlei aus guten Gründen kein einziges Datum aus dem Haus geben will, planen wir stattdessen ein lokales Setup. Die Entscheidung treffen wir pro Anwendungsfall, nicht nach Dogma — das ist der Kern einer seriösen Bedarfsanalyse.

Für eine strukturierte Bedarfs- und Setup-Einordnung empfehlen wir den Hebel-Audit (890 €, bei Mandanten-Boost-Beauftragung innerhalb von 60 Tagen voll anrechenbar).

Zusammenfassung#

Lokales LLM oder Cloud-API ist kein Glaubenskrieg, sondern eine Abwägung entlang von Datenschutz, Modell-Qualität, Kosten und Aufwand. Die Cloud-API (EU, mit AVV) liefert die stärksten Modelle ohne eigene Hardware, verlangt aber Vertrag und Vertrauen in den Anbieter. Ein lokales LLM über Ollama hält alle Daten im Haus — die sauberste § 203-Konstellation —, kostet aber Hardware, Pflege und etwas Modell-Qualität. Für die meisten Kanzleien ist die EU-Cloud-API der pragmatische Weg; ein lokales Setup lohnt bei strengstem Datenschutz-Anspruch oder vorhandener IT-Kapazität. Die richtige Wahl trifft man pro Anwendungsfall, nicht pauschal.

Quellen#

• KI-Verordnung (EU) 2024/1689 — AI Act — abgerufen 2026-05-29
• StGB § 203 — Verletzung von Privatgeheimnissen — abgerufen 2026-05-29
• DSGVO Art. 28 — Auftragsverarbeitung (VO EU 2016/679) — abgerufen 2026-05-29
• Ollama — lokale LLMs betreiben — abgerufen 2026-05-29

Disclaimer: Allgemeine fachliche Information zum Zeitpunkt der Veröffentlichung — keine Rechtsberatung im Einzelfall. Genannte Kosten-Größen sind grobe Richtwerte; die datenschutzrechtliche Bewertung eines konkreten Setups gehört in die anwaltliche Prüfung.