Multi-Model KI On-Premise

DripBack betreibt keine Single-Vendor-KI. Jedes Kunden-Modul nutzt den passenden Modell-Stack pro Aufgabe: lokal für Standard-Tasks, Cloud für komplexe Reasoning-Sprünge, immer Datenschutz nach DSGVO mit PII-Scrub vor jeder externen Anfrage.

USP gegenüber HostSpezial und ki-spezial.systems: Wir publizieren konkrete Latenz-Zahlen pro Modell und routen pro Task statt pro Kunde. Cost-Cap und Circuit-Breaker sind in llm_router.py verdrahtet, nicht im Sales-Pitch.

Stack-Übersicht

→ Tabelle seitlich scrollbar

Schicht	Modell	Hosting	Einsatz
Lokal Standard	Open-Source-Sprachmodell 7B · 14B	On-Premise GPU (RTX 4070 Ti bis A100)	Triage, Klassifikation, kurze Antworten, Voice-LLM-Stage
Lokal Code	Open-Source-Code-Modell 7B	On-Premise GPU	Code-Generierung, Refactor, SQL-Builder
Embeddings	lokales Embedding-Modell	On-Premise CPU/GPU	RAG-Indexierung, semantische Suche
Cloud Reasoning	Reasoning-Modell (Cloud)	EU-Rechenzentrum · AVV	Brainstorm, Plan, Spec-Generierung, Cost-Cap 0,5 € / Call
Cloud Architektur	Long-Context-Modell, 1M Token (Cloud)	EU-Rechenzentrum · AVV	Master-Plan, Multi-Step-Refactor, PII-Scrub vorher Pflicht, Cost-Cap 2 € / Call
Cloud Fallback	Zweitanbieter-Modell (Cloud)	Azure Germany West Central	Notfall-Fallback, wenn die primäre EU-Region ausfällt
Subagents · Voice-Parser	Kleines Cloud-Modell	EU-Rechenzentrum	Telegram-Reply-Parsing, kurze Sub-Tasks, Cost-Cap 0,05 € / Call

Routing-Logik · llm_router.py

Jede KI-Anfrage durchläuft llm_router.py. Der Router prüft drei Achsen bevor ein Modell gewählt wird:

PII-Klasse: Kundendaten, Patientendaten oder Anwalts-Schriftverkehr werden hart auf lokale Modelle gelockt. NullPoint-Scans und Helix-Patient-Records gehen niemals in die Cloud.
Komplexität: Triage und Klassifikation laufen lokal, Architektur-Refactor geht an das Long-Context-Cloud-Modell, mit PII-Scrub davor.
Cost-Cap: Pro Modell-Klasse ein hartes Euro-Limit. Wenn überschritten, Fallback in die nächst-günstige Stufe.

Circuit-Breaker: Drei aufeinanderfolgende Ollama-Fehler im 60-Sekunden-Fenster schalten die Anfrage automatisch auf das kleine Cloud-Modell um, ohne dass der Anwender es merkt. Recovery erfolgt nach erstem erfolgreichen lokalen Probe-Call.

Latenz-Benchmarks

Gemessen auf Referenz-Hardware (RTX 4070 Ti 16 GB · 64 GB RAM · NVMe · 1 Gbit/s Anbindung) mit Standard-Prompt-Längen aus Production-Modulen. Werte sind p50 in Sekunden.

→ Tabelle seitlich scrollbar

Task	Modell	p50 Latenz	p95 Latenz
E-Mail-Triage 500 Token	Open-Source-Modell 7B lokal	0,6 s	1,1 s
Voice-Reply 200 Token + TTS	Open-Source-Modell 7B lokal + Coqui-TTS	1,2 s	2,1 s
OCR + Klassifikation Rechnung	Donut + Open-Source-Modell 14B lokal	1,8 s	3,2 s
Refactor-Plan 2 Files	Reasoning-Modell Cloud EU	3,4 s	6,1 s
Architektur-Review 1M context	Long-Context-Modell Cloud EU + PII-Scrub	11,2 s	18,7 s

Stand 2026-05-18. Benchmarks reproduzierbar via scripts/llm_bench.py. Bei On-Premise A100 fällt p50 lokaler Calls auf etwa 0,35 s.

DSGVO und AVV

AVV nach Art. 28 DSGVO mit allen Sub-Auftragsverarbeitern (Cloud-Anbieter in EU-Regionen, Azure Germany West Central) ist Teil jedes Setup-Pakets.
PII-Scrub passiert vor jeder Cloud-Anfrage in llm_router.py mit konfigurierbaren Klassen (Namen, IBAN, Geburtsdatum, Krankenakte-IDs, Anwaltsschriftverkehr-Marker).
Audit-Log on-Premise mit Hash-Chain pro Call. Auditor-Export per CSV oder via REST-Endpoint.
Healthcare- und Behörden-Module laufen 100 % lokal ohne Cloud-Fallback, wahlweise mit Air-Gap-Mode.

Hardware-Pfade

Pfad A · Eigener Server (Standard für KMU 10-50 MA): Hetzner GEX130 mit RTX 4070 Ti oder gleichwertig, Anschaffung etwa 4,5k €, monatlich 230 €.
Pfad B · DripBack-Hosting in DE: wir betreiben die Hardware in Frankfurt-Rechenzentrum, monatlich ab 590 €.
Pfad C · Großkunden mit Bestands-VMware: Container-Deployment auf vorhandener Infrastruktur, Spec auf Anfrage.

Was wir nicht tun

Keine Bindung an einen einzelnen Cloud-Anbieter. Wenn ein Anbieter Preise erhöht, routen wir um.
Keine PII über US-Cloud-Regionen, auch nicht für Fallback.
Keine versteckten Token-Kosten. Pro Modul kommunizieren wir den Kostendeckel pro Monat als harte Zahl.

Nächster Schritt

Wenn Sie einen vorhandenen Cloud-KI-Stack auf On-Premise umstellen möchten, klärt ein 30-Minuten-Architektur-Call welche Module sich lokalisieren lassen und welche Cost-Caps Sie pro Modell setzen sollten.

Architektur-Call buchen Alle Lösungen

Direkt: [email protected] · Telefon: +49 1525 2825003