KI-Telefonassistent für die Swyx: Wer abhebt, wenn niemand abheben kann

Mittagspause, die Zentrale ist leer, das Telefon klingelt trotzdem. Früher lief so ein Anruf nach einigen Freizeichen auf eine Mailbox, auf die kaum jemand etwas spricht. Oder er lief einfach ins Leere, und der Interessent rief beim nächsten Anbieter auf der Liste an.

Seit dem 19. September meldet sich bei uns stattdessen eine ruhige Stimme: „Hier ist die TerraCom GmbH, Sie sprechen mit dem digitalen Assistenten. Wie kann ich Ihnen helfen?“ Der Assistent fragt nach Name, Firma und Anliegen, stellt auf Wunsch zu einer Durchwahl durch, und wenige Sekunden nach dem Auflegen liegt eine Gesprächsnotiz im Postfach.

Wir nennen das System PhoneAssist. Es verbindet unsere Cloud-Telefonanlage SwyxON ohne Zwischenhändler mit GPT-Live-1, dem Sprachmodell von OpenAI mit eigenem Telefonanschluss. Ein Anbieter für Telefon-KI ist nicht beteiligt. Dieser Artikel zeigt, welchen Weg ein Anruf dabei nimmt, welche Annahmen sich unterwegs als falsch herausgestellt haben und was vor dem Regelbetrieb noch auf die Liste gehört.

Gespräch statt Sprachmenü

Automatische Telefonannahme gibt es seit Jahrzehnten. „Für Vertrieb drücken Sie die Eins“ ist aber keine Annahme, sondern eine Weiche, und die meisten Anrufer drücken sich durch bis zur Mailbox. Ein Sprachmodell kann etwas anderes: zuhören, nachfragen und das Anliegen so aufschreiben, dass ein Mensch später sofort weiß, worum es geht.

Ausgangspunkt war eine schlichte Frage: Lässt sich die Swyx überhaupt mit GPT-Live-1 verbinden, und klingt das Ergebnis am Telefon brauchbar? Eine zweite Bedingung kam dazu. Das Verhalten sollte sich vollständig über einen Prompt steuern lassen, also über einen Text in normaler Sprache, ohne dass für jede Änderung jemand programmieren muss. Aus dem Machbarkeitstest ist in mehreren Schritten ein Pilotbetrieb geworden, der inzwischen alle drei Zentralen unserer beiden Firmen abdeckt.

Der Weg eines Anrufs

Vier Bausteine arbeiten zusammen: die Swyx, ein Vermittler im Firmennetz, der Telefonanschluss von OpenAI und ein kleiner Steuerdienst. Die Sprache selbst läuft dabei nie über den Steuerdienst. Er regelt nur, wer wann was tun soll.

Für den Anrufer fühlt sich das an wie ein normales Gespräch. Vom Eingang des Anrufs bei OpenAI bis zur Annahme vergeht etwa eine halbe Sekunde, nach ein bis zweieinhalb Sekunden beginnt der Assistent zu sprechen. Das ist schneller als die meisten Menschen, die erst den Hörer suchen.

Der Umweg über den Raspberry Pi

Der naheliegende Plan wäre ein direkter SIP-Trunk von der Swyx zu OpenAI gewesen. Das scheitert an zwei Stellen. OpenAI verlangt für Telefonie eine verschlüsselte Verbindung, verschlüsselte Sprache und den klassischen Telefon-Codec G.711. SwyxON wiederum erlaubt keine eigenen Provider-Profile. Einen Trunk zu OpenAI kann man dort schlicht nicht anlegen.

Die Lösung ist ein Umweg, der sich als erstaunlich robust erwiesen hat. Ein Asterisk, die bekannte freie Telefonanlage, meldet sich an der Swyx an wie ein Hardware-Gateway. Er nimmt den Ruf unverschlüsselt über das vorhandene VPN entgegen und wählt verschlüsselt weiter zu OpenAI. Er übersetzt also zwischen zwei Welten, ohne selbst etwas vom Gespräch zu verstehen.

Mehr braucht es nicht. Zwischen Swyx und OpenAI steckt kein Dienstleister, der Telefon-KI als fertiges Produkt verkauft, und damit auch kein weiterer Vertrag und keine weitere Stelle, an der Gespräche mitlaufen. Asterisk ist freie Software, den Steuerdienst haben wir selbst geschrieben, und beide laufen im eigenen Firmennetz. Außer der Telefonanlage selbst ist nur OpenAI beteiligt.

Das Ganze läuft auf einem Raspberry Pi 5. Die Sorge, der kleine Rechner sei für Telefonie zu schwach, hat sich schnell erledigt: Die Sprache wird nur durchgereicht und neu verschlüsselt, und in knapp drei Stunden Testbetrieb kam Asterisk auf 14 Sekunden Rechenzeit. Wichtiger als die Rechenleistung ist das Kabel. Für Telefonie ist WLAN die schwächste Stelle.

Eine Anlage, zwei Firmen

Unter unserem Dach arbeiten zwei Unternehmen: die TerraCom GmbH und die TerraCom Services GmbH. Beide haben eigene Themen, eigene Ansprechpartner und eigene Zentralen. Ein Assistent, der bei der einen Firma die Leistungen der anderen anpreist, wäre schlimmer als gar keiner.

Die Swyx hilft dabei weniger als gedacht. Sie überträgt bei einer Umleitung nicht, welche Zentrale umgeleitet hat. Deshalb bekommt jede Zentrale ihre eigene interne Zielnummer, und zu jeder Zielnummer gehört ein Profil: die Begrüßung, die Firmeninformationen, der Empfänger der Gesprächsnotiz und die Liste der Kollegen, zu denen durchgestellt werden darf.

Der gemeinsame Prompt beschreibt nur das Verhalten: freundlich, knapp, auf Deutsch, bei Unklarem nachfragen. Was das Unternehmen anbietet, steht im Profil. So bleibt die Trennung sauber, auch wenn beide Firmen über dasselbe System telefonieren.

Was das Modell nicht von selbst kann

Die Schnittstelle von OpenAI war beim Start des Projekts neu und lückenhaft beschrieben. Mehrere Blogartikel dazu waren schlicht falsch, verlässlich war am Ende nur das installierte Entwicklerpaket selbst. Vier Eigenheiten haben den Aufbau stärker geprägt als jede Planung.

Es grüßt nicht. Das Modell wartet, bis der Anrufer spricht. Der Anrufer wartet, bis sich jemand meldet. Ohne Eingriff entsteht so eine Stille, die jeder als Störung deutet. Der Steuerdienst fordert die Begrüßung deshalb aktiv an, sobald die Verbindung steht.

Es legt nicht auf. Das Modell kann ein Gespräch nicht beenden. Also verabschiedet es sich laut Prompt immer mit „Auf Wiederhören“, der Steuerdienst erkennt die Formel und legt zweieinhalb Sekunden nach dem Satzende auf. Antwortet der Anrufer noch mit einem Gruß, wartet er etwas länger. Spricht der Assistent danach normal weiter, gilt der Abschied als aufgehoben.

„Ich verbinde Sie“ heißt noch nicht verbinden. Die Vermittlung läuft über ein zweites Modell im Hintergrund, an das der Assistent die Aufgabe abgibt. Solange die Regeln dafür nicht exakt in der von OpenAI vorgegebenen Gliederung im Prompt standen, sagte der Assistent freundlich „ich verbinde Sie“ und tat nichts. Heute bietet er eine Vermittlung nie von sich aus an. Erst wenn der Anrufer ausdrücklich danach fragt, prüft das Hintergrundmodell den Wunsch gegen eine feste Liste. Nimmt an der Nebenstelle nach 25 Sekunden niemand ab, kommt der Anruf zurück, und der Assistent bietet an, eine Nachricht aufzunehmen.

Es spricht gern Englisch. Bei Produktnamen und Zahlen wechseln Sprachmodelle leicht die Sprache. Ohne Vorgabe wird aus „Sage 100“ schnell ein englisches „one hundred“, und selbst der eigene Firmenname klang am Satzanfang gelegentlich nach Kalifornien. Der Prompt legt die Aussprache deshalb fest: „Sage hundert“, „Terra-komm“, Abkürzungen wie ERP oder DSGVO deutsch buchstabiert. Und jede Begrüßung beginnt mit „Hier ist die …“, damit das erste Wort schon deutsch klingt.

Leitplanken statt Freiheit

Ein Sprachmodell am Telefon spricht im Namen des Unternehmens. Also bekommt es klare Grenzen. Unser Assistent gibt Auskünfte nur aus den hinterlegten Informationen, was dort nicht steht, wird notiert und nicht erfunden. Er nennt keine Preise, sagt keine Termine zu und gibt keine Rechtsauskünfte. Themen außerhalb des jeweiligen Unternehmens grenzt er freundlich ab und bietet einen Rückruf an.

Zwei Regeln sind uns besonders wichtig. Der Assistent gibt sich als KI zu erkennen, schon in der Begrüßung, und er gibt sich nie als Mensch aus. Und er lässt sich nicht umprogrammieren: Versuche, seine Rolle zu ändern oder die Anweisungen auszulesen, lehnt er ab. Namen und Durchwahlen der Kollegen kennt er übrigens gar nicht. Die stehen nur beim Hintergrundmodell, das über die Vermittlung entscheidet.

Auch die Kosten haben Leitplanken. GPT-Live-1 kostet laut Preisliste 5 US-Cent je Gesprächsminute, dazu kommen kleine Beträge für das Hintergrundmodell. Jedes Gespräch endet spätestens nach zehn Minuten, und im OpenAI-Projekt ist ein Budgetlimit gesetzt.

Vom Pilot zum Regelbetrieb

Ein Pilot läuft schnell. Für den dauerhaften Betrieb gehört eine Liste abgearbeitet, und die ist bei einem Telefonassistenten länger als bei den meisten anderen KI-Projekten, weil echte Anrufer mit echten Daten daran hängen.

• Datenschutz. Transkripte und Notizen enthalten Rufnummern und Gesprächsinhalte. Dazu gehören ein Auftragsverarbeitungsvertrag mit OpenAI, die Frage nach der EU-Datenresidenz, ein Hinweis für Anrufer und feste Löschfristen.
• Abschottung. Die Verwaltungsoberfläche ist nur im Firmennetz erreichbar, SIP-Ports sind von außen zu. Offene SIP-Ports ziehen innerhalb von Minuten Angriffe an.
• Überwachung. Ein regelmäßiger Blick, ob Steuerdienst und Anmeldung an der Swyx noch stehen, mit Meldung per Mail, bevor es ein Anrufer merkt.
• Sprachtests über Tage. Dialekt, Hintergrundlärm, Unterbrechungen, lange Gespräche. Die Aussprache von Firmen- und Produktnamen zeigt ihre Schwächen erst nach vielen Anrufen.
• Texte gegenlesen. Der Assistent sagt nur, was in den Profilen steht. Die Firmeninformationen müssen deshalb fachlich stimmen, und das prüft ein Mensch.

Geändert wird im laufenden Betrieb über eine Weboberfläche: Prompt, Begrüßung, Stimme, Profile, Vermittlungsziele, Mail-Empfänger. Jede Änderung wirkt beim nächsten Anruf, ohne Neustart. Dort steht auch die Anrufliste mit Kurzfassung und Transkript, einzelne Anrufe lassen sich löschen.

Häufige Fragen

Worauf es hinausläuft

Die Technik ist nicht mehr die Hürde. Ein Sprachmodell am Telefon klingt heute natürlich genug, dass Anrufer ihr Anliegen ganz normal schildern, und ein kleiner Rechner im Firmennetz reicht, um es an eine bestehende Anlage anzuschließen. Die Arbeit steckt in den Details dazwischen: wer die Begrüßung anstößt, wer auflegt, wer wohin durchstellen darf und was mit den Daten passiert.

Genau diese Details entscheiden, ob ein Anrufer den Assistenten als Hilfe erlebt oder als Hindernis. Ersetzt wird dabei niemand. Die Zentrale hebt weiter ab, wenn sie da ist. Der Assistent übernimmt die Anrufe, die bisher auf der Mailbox verschwunden wären, und macht aus ihnen eine Notiz, mit der sich arbeiten lässt.

Passend dazu: unsere Seite zur KI-Prozessautomatisierung und die Beiträge Lokale KI im Mittelstand und EU AI Act: Was jetzt gilt.