WebRTC-Voice-Agent: Architektur für den Produktivbetrieb

Einordnung

Abschnitt 01

Architektur-Überblick

Standard-Stack: Browser oder Telefon (via SIP-Trunk) → Mediasoup oder Janus als WebRTC-Server → Audio-Pipeline mit Voice-Activity-Detection → Whisper-STT → LLM-Klassifikation → VoxCPM2-TTS → zurück über WebRTC-Stream. Bei Telefon-Anrufen läuft zusätzlich Asterisk oder FreeSWITCH zwischen SIP-Trunk und WebRTC-Layer. Bei Browser-zu-Browser oder Browser-zu-Bot direkt WebRTC. Latenz-Budget: typisch 700-1.000 ms vom Audio-Eingang bis erste Token im TTS-Output stream.

Abschnitt 02

Mediasoup als WebRTC-Server

Mediasoup ist der von uns bevorzugte WebRTC-Server (Open Source, JavaScript-basiert). Vorteile: hochperformant (kann 100+ parallele Sessions auf 4-Core-Server halten), gute Dokumentation, aktiv gewartet. Setup-Aufwand: rund 1-2 Tage. Alternative: Janus (mehr Features, weniger leichtgewichtig) oder LiveKit (Cloud-Service, einfacher aber teurer). Wir planen ausschließlich self-hosted Mediasoup für DSGVO-Konformität.

Abschnitt 03

Latenz-Budget detailliert

Aufschlüsselung typischer End-to-End-Latenz: (1) WebRTC-Audio-Capture im Browser/Phone: 40 ms (jitter buffer). (2) Audio-Stream zu Server: 20-60 ms (network). (3) Voice-Activity-Detection (VAD): 50 ms. (4) Whisper-STT-Streaming: First-Hypothesis 180 ms. (5) LLM-Klassifikations-Entscheidung: 240 ms. (6) VoxCPM-TTS-First-Token: 250 ms. (7) Audio-Stream zurück: 30-80 ms. Summe wahrgenommene Latenz: rund 700-900 ms bis User die ersten Wörter hört, dann läuft Stream weiter.

Abschnitt 04

Voice-Activity-Detection: das unterschätzte Detail

VAD entscheidet, wann der User aufhört zu sprechen, damit die LLM-Verarbeitung starten kann. Schlechte VAD führt zu zwei Problemen: (a) zu früh aktiviert → User wird mitten im Satz unterbrochen. (b) zu spät aktiviert → wahrgenommene Latenz steigt um 1-2 Sekunden. Standard-Lösung: WebRTC-VAD-Library mit Aggressivitäts-Level 3 (höchste Sensitivität), kombiniert mit Silero-VAD als zweite Schicht (ML-basiert, robuster gegen Hintergrund-Geräusche). Setup-Aufwand: rund 1 Tag.

Abschnitt 05

Streaming-TTS für niedrige Latenz

VoxCPM2 unterstützt Streaming-TTS: Audio wird Token-für-Token generiert und sofort ausgestreamt, statt zu warten bis das gesamte Audio fertig ist. Das ist der Hauptmechanismus, mit dem wahrgenommene Latenz unter 1 Sekunde fällt. Implementation: TTS-Modell generiert Audio in 200ms-Chunks, jeder Chunk wird sofort über WebRTC gestreamt. Browser/Phone spielt Audio während weitere Chunks generiert werden. Implementations-Aufwand: rund 3-5 Tage, weil saubere Buffer-Verwaltung erforderlich ist.

Abschnitt 06

User-Unterbrechung handhaben

Wichtig: User können Bot unterbrechen. Wenn User während Bot spricht beginnt selbst zu sprechen, soll Bot sofort stoppen. Implementation: VAD läuft kontinuierlich auch während Bot-Ausgabe. Bei Detected-User-Voice: (a) TTS-Stream sofort stoppen (Cancel-Token). (b) LLM-Token-Generierung stoppen. (c) Audio-Stream zu User unterbrechen. (d) Wechsel zurück in Listen-Mode. Latenz von User-Voice-Detection bis Bot-Silence: typisch 200-400 ms.

Abschnitt 07

Telefon-Integration via Sipgate

Bei Telefon-Anrufen kommt Sipgate (oder Placetel) als SIP-Trunk-Anbieter zum Einsatz. Setup: Asterisk oder FreeSWITCH konvertiert SIP zu WebRTC, dann Standard-Pipeline. Sipgate-Pricing 2026: 4.95 €/Mo pro Rufnummer + 0.04 €/Min ankommend. Für KI-Receptionist-Setups typisch 1-3 Rufnummern, bei 2.000 Min/Mo Inbound: rund 80 €/Mo Sipgate-Kosten. Konfigurations-Aufwand: rund 2-3 Tage. Probleme: Codec-Inkompatibilität (Sipgate nutzt G.711, manche Pipelines erwarten Opus), Lösung via libsamplerate-Codec-Konvertierung.

Abschnitt 08

DSGVO-Aspekte und Audio-Logging

WebRTC-Audio ist End-to-End-verschlüsselt (SRTP), aber auf dem Server liegt das Audio kurz im Klartext für die Pipeline. Server-Audio-Aufbewahrung: max 24h, dann Auto-Delete. Transkripte werden nach 90 Tagen anonymisiert (Namen werden mit Hash ersetzt, Sachverhalt bleibt für Tuning). Voll-Audio-Aufnahmen nur mit expliziter User-Einwilligung am Telefon-Anfang ("Dieses Gespräch wird zu Qualitäts-Zwecken aufgezeichnet, dies können Sie jederzeit ablehnen"). AVV mit Customer mit klaren TOMs für Audio-Behandlung.

Abschnitt 09

Skalierung: wie viele parallele Sessions

Auf einem 4-Core-Hetzner-GPU-Server mit RTX 5080: rund 6-10 parallele Voice-Sessions möglich bei einem 7B-Modell + Whisper + VoxCPM gleichzeitig. Der Bottleneck ist GPU-VRAM, nicht CPU. Bei größerem Bedarf: zweite GPU oder eine eigene Gruppe von Voice-Servern. Bei Customer mit über 100 parallelen Anrufen (z.B. Großhotel mit 200 Zimmern): Multi-Server-Setup mit Load-Balancer, das bei DripBack als Erweiterung angeboten wird (Setup-Aufwand zusätzlich 8-12 Tage).

Abschnitt 10

Setup-Komplexität ehrlich

Ein vollständiges WebRTC-Voice-Setup ist eines der komplexesten DripBack-Module. Typische Setup-Zeit: 14-21 Tage über alle Komponenten. Kosten: 8.500-14.500 € einmal (je nach Sipgate-Anbindung und Custom-Anforderungen), 380-580 €/Mo Hosting + Wartung. Bei einer 30-MA-Praxis mit hohem Voice-Aufkommen: typische Amortisation in 6-10 Monaten durch reduzierten MFA-Bedarf am Telefon.