Wir betreiben beide Stacks parallel im eigenen Haus. Hier sind die Zahlen aus diesem Betrieb, ohne Marketing-Filter.
Cost pro Million Tokens · Mai 2026
→ Tabelle seitlich scrollbar
→ Tabelle seitlich scrollbar
| Stack | Input / 1M Tokens | Output / 1M Tokens | Latenz typisch |
|---|---|---|---|
| 14B-Modell lokal (4070 Ti) | 0,00 € | 0,00 € | 0,8-2,5 s |
| 7B-Modell lokal (älterer Stack) | 0,00 € | 0,00 € | 0,3-1,2 s |
| Anbieter A · Kleinmodell | 0,80 € | 4,00 € | 0,4-1,2 s |
| Anbieter A · Mittelklasse | 3,00 € | 15,00 € | 1,5-3,0 s |
| Anbieter A · Frontier (1M-Kontext) | 14,00 € | 70,00 € | 3-8 s |
| Anbieter B · Standard | 2,40 € | 9,60 € | 1,5-4,0 s |
| Anbieter B · Multimodal | 2,40 € | 9,60 € | 1,2-3,5 s |
| Anbieter C · Flash | 0,10 € | 0,40 € | 0,5-1,5 s |
| Anbieter C · Pro | 1,20 € | 5,00 € | 1,5-3,5 s |
Lokales Ollama ist "kostenlos" pro Token, kostet aber Hardware + Strom. Break-Even-Rechnung siehe weiter unten.
Quality-Gap auf iFixAi-Benchmark
iFixAi (32 Halluzinations- und Provenance-Inspections) ist unser internes Quality-Gate. Aktueller Stand:
→ Tabelle seitlich scrollbar
→ Tabelle seitlich scrollbar
| Modell | iFixAi-Gesamt | Halluzination | Provenance | Bias |
|---|---|---|---|---|
| 14B-Modell | 0,62 | 0,41 ✗ | 0,55 | 0,72 ✓ |
| lokales 7B-Code-Modell | 0,58 | 0,38 ✗ | 0,51 | 0,69 |
| Anbieter A · Kleinmodell | 0,71 | 0,57 | 0,68 | 0,80 ✓ |
| Anbieter A · Mittelklasse | 0,79 | 0,71 ✓ | 0,77 ✓ | 0,87 ✓ |
| Anbieter A · Frontier | 0,84 | 0,82 ✓ | 0,81 ✓ | 0,89 ✓ |
| Anbieter B · Multimodal | 0,76 | 0,68 | 0,72 ✓ | 0,84 ✓ |
Schwellwerte: ✗ <0,5 (block), ohne Zeichen 0,5–0,75 (caution), ✓ >0,75 (pass). Für Patient-/Mandanten-Beta ist ≥0,85 unser interner Numen-Floor.
Break-Even-Rechnung Hardware
Annahme: Mid-KMU mit KI-Receptionist + Mail-Triage = 10 Millionen Tokens pro Monat:
→ Tabelle seitlich scrollbar
→ Tabelle seitlich scrollbar
| Stack | Cloud-Kosten/Mo | Stromkosten/Mo | Hardware-ROI |
|---|---|---|---|
| Nur Cloud-Kleinmodell | 50–80 € | , | , |
| Nur Cloud-Mittelklasse | 180–250 € | , | , |
| Nur Cloud-Frontier | 850–1.400 € | , | , |
| Lokal 14B-Modell (4070 Ti) | 0 € | 100–120 € | ~12 Mo @ 3.000 € HW |
| Hybrid 90/10 (lokal + Cloud-Kleinmodell) | 8–15 € | 100–120 € | ~14 Mo |
Hybrid-Routing-Pattern
Drei-Tier-Routing nach Task-Komplexität minimiert Cost ohne Quality-Drop:
- Stufe 1 (lokal 14B-Modell, ~80% Volumen): Klassifikation, Email-Triage, Routine-Antworten, Standard-Suche, Strukturierte Output. Kosten 0 €.
- Stufe 2 (Cloud-Kleinmodell, ~15% Volumen): Mid-complex Reasoning, multilinguale Spracherkennung, Mandanten-Sachverhalts-Triage. Kosten 5-15 € / Mio Tokens.
- Stufe 3 (Cloud-Mittelklasse/-Frontier, ~5% Volumen): Komplexe Konsultationen, Halluzinations-sensitive Tasks (medizin/juristisch), 1M-Kontext-Tasks. Kosten 3-70 € / Mio Tokens.
Bei 10 Mio Tokens/Mo: Gesamtkosten ~8-25 €/Mo Cloud + 100-120 € Strom = 110-145 € statt 180-250 € reine Cloud-Mittelklasse. Quality bleibt Mittelklasse-Niveau für die 5% Critical-Tasks, Skip-Risk auf Stufe 1 ist managebar.
Was die Provider versprechen vs. liefern
- "Free-tier" Limits: Free-Credits der Cloud-Anbieter enden schnell oder sind nicht für Production. Plan auf bezahlte Tier sofort einplanen.
- Latenz-Variabilität: Cloud-LLMs können bei Peak-Load (US-Business-Hours 15:00-22:00 deutsche Zeit) 2-4x langsamer werden. Critical-Path-Tasks lokal halten.
- Modell-Migrationen: Cloud-Anbieter kündigen alte Modelle alle 9-12 Monate ab. Hybrid mit lokalem Fallback gibt Sicherheits-Puffer.
Wann ausnahmsweise Cloud-only Sinn macht
- Pilot-Phase <3 Monate mit unklarem Volumen: Cloud-only spart Hardware-Vorfinanzierung.
- Sehr niedriges Token-Volumen (<1 Mio/Mo): 4 € Cloud-Kosten unterbieten jede Hardware-Wartung.
- 1M-Kontext-Tasks zwingend (z.B. Vertragsanalyse 800-Seiten-PDF): ein Frontier-Cloud-Modell mit 1M-Kontext ist hier konkurrenzlos, lokale Modelle haben max. 128k Kontext.
- Multi-Modal zwingend (Bild + Voice + Text in einem Call): Multimodale Frontier-Cloud-Modelle sind deutlich solider als lokale Stacks Stand 05/2026.
Wann ausnahmsweise lokal-only Sinn macht
- Mandanten-/Patientendaten zwingend on-prem (§203 StGB).
- Hochfrequente Klassifikations-Tasks (>50 Mio Tokens/Mo).
- Behörden-Vergabe mit Schutzbedarf-hoch (siehe BSI-Grundschutz-KI-Setup).
- Offline-Betrieb / schlechtes Internet (länderliche Region, Behörden-DC ohne stabilen Uplink).
DripBack-Default-Konfiguration
Wir starten Pilots typisch mit:
- Lokal 14B-Modell als Default für Klassifikation + Routine-Antworten
- Cloud-Kleinmodell als Cloud-Burst für mid-complex Reasoning (5-15% Volumen)
- Cloud-Mittelklasse / Frontier manuell zubuchbar für Critical-Tasks (Brand-Voice-Generierung, Vertragsanalyse)
- Circuit-Breaker: 3 Ollama-Failures → automatische Eskalation auf Cloud-Kleinmodell-Fallback
Customer-Override jederzeit möglich: rein-lokal für §203-Berufsgeheimnisträger, rein-Cloud für niedrig-Volumen-Pilots, andere Hybrid-Verhältnisse für spezifische Workloads.