Komunikacja głosowa i telefoniczna¶
Cel¶
Moduł głosu zapewnia naturalną rozmowę lokalną, połączenia telefoniczne, IVR, transkrypcję, syntezę mowy i sterowanie workflow. Musi działać w dwóch trybach: asystenta właściciela oraz kontrolowanego przedstawiciela organizacji. Każdy tryb ma inną tożsamość, politykę nagrywania, zakres wiedzy i zasady eskalacji.
Norbi nie podszywa się pod człowieka. Na początku połączenia ujawnia, że jest systemem AI, oraz cel rozmowy, chyba że szczególny scenariusz i prawo wymagają bardziej restrykcyjnej formuły. Zgoda na nagrywanie i analizę jest rejestrowana zgodnie z jurysdykcją i polityką organizacji.
Karta modułu¶
| Pole | Kontrakt |
|---|---|
| Odpowiedzialności | call control, ASR, diarization, turn-taking, dialog, TTS, DTMF, transfer, consent, artifacts i receipts. |
| Wejścia | inbound/outbound call event, account/number, audio stream, caller identity hints, script/policy, knowledge projection. |
| Wyjścia | audio response, transcript, call events, extracted intents, transfer, draft follow-up, recording artifact. |
| Zależności | SIP/PBX/telephony adapter, Voice Gateway, local ASR/TTS, Core, Accounts, Artifact Store, scheduler, human queue. |
| Uprawnienia | answer/dial/record/transfer/send-follow-up osobno; numer i cel związane z approval/polityką kampanii. |
| Autonomia | rozmowa w zatwierdzonym scenariuszu; brak negocjowania nowych zobowiązań lub pozyskiwania niedozwolonych danych. |
| Walidacja | consent, numer, identity, transcript confidence, required disclosures, script boundaries, call receipt. |
| Awaria | bezpieczny komunikat, transfer do człowieka, zakończenie bez obietnicy, zachowanie minimalnego receiptu. |
Architektura czasu rzeczywistego¶
flowchart LR
TEL["SIP / operator"] --> GW["Voice Gateway"]
GW --> VAD["VAD + denoise + echo cancel"]
VAD --> ASR["Streaming ASR"]
ASR --> DM["Dialog Manager"]
DM --> CORE["Norbi Core / workflow"]
CORE --> DM
DM --> TTS["Streaming TTS"]
TTS --> GW
GW --> TEL
ASR --> ART["Transcript artifact"]
GW --> ART
DM --> AUD["Consent + decisions + receipts"]
Voice Gateway obsługuje kodeki, jitter buffer, VAD, echo cancellation, przerwanie wypowiedzi przez rozmówcę i DTMF. ASR zwraca segmenty z czasem i confidence. Dialog Manager utrzymuje krótkotrwały stan rozmowy i nie blokuje audio długim planowaniem. Wolniejsze operacje są zamieniane na follow-up: „sprawdzę i oddzwonię” tylko wtedy, gdy polityka pozwala utworzyć takie zobowiązanie.
Tożsamość i prywatność¶
Numer telefonu nie jest wystarczającym dowodem tożsamości dla danych wrażliwych. System może stosować callback na zapisany numer, kod jednorazowy, pytania o niesekretny kontekst lub przejście do uwierzytelnionej PWA. Nigdy nie prosi o pełne hasło, PIN bankowy czy kod odzyskiwania.
Nagranie, transkrypcja i analiza są oddzielnymi artefaktami o różnych okresach retencji. Możliwa jest rozmowa bez trwałego nagrania, z przechowaniem tylko zatwierdzonej notatki. Redakcja danych płatniczych działa w strumieniu i po transkrypcji. Dostęp do surowego audio jest bardziej restrykcyjny niż do notatki.
Inbound¶
Dla połączenia przychodzącego Gateway weryfikuje konto, mapuje numer i route, przedstawia tożsamość Norbiego oraz zbiera zgodę. Następnie rozpoznaje cel: informacja, rezerwacja, zgłoszenie, przekazanie człowiekowi. Dostępne są tylko zatwierdzone źródła wiedzy i operacje danego scenariusza. Jeżeli confidence ASR spada lub rozmowa dotyczy sporu, zdrowia, prawa, płatności czy wyjątkowej obietnicy, system eskaluje.
Outbound¶
Połączenie wychodzące wymaga kampanii lub exact approvala z numerem, właścicielem celu, dozwolonym oknem czasu, skryptem, maksymalną liczbą prób, identyfikacją i opt-out. Norbi nie „szuka numerów i dzwoni”, jeśli capability i podstawa kontaktu tego nie obejmują. Każda próba ma idempotency/call attempt ID.
Przykładowe polecenia¶
- „Odbieraj telefony po godzinach, zbierz opis awarii i przekaż pilne przypadki dyżurnemu.”
- „Zadzwoń do serwisu z zatwierdzonego numeru i ustal dostępne terminy, ale nie zamawiaj wizyty.”
- „Przyjmuj rezerwacje do czterech osób według wolnych slotów; większe grupy przełączaj do managera.”
- „Rozmawiaj ze mną głosowo lokalnie, bez przechowywania nagrania.”
Pełny przebieg¶
Klient dzwoni do hotelu. Norbi informuje, że jest asystentem AI i że rozmowa może być transkrybowana zgodnie z polityką. ASR rozpoznaje pytanie o wolny pokój. Dialog Manager pobiera jedynie publiczne typy pokoi i real-time availability przez read adapter. Przy prośbie o rezerwację zbiera minimalne dane i przedstawia podsumowanie. Zapis rezerwacji jest typowanym skutkiem związanym z dokładną datą, ceną i polityką anulacji; w zakresie ustalonej polityki może być automatyczny, ale płatność lub wyjątek cenowy trafia do człowieka. Połączenie kończy receipt i opcjonalny draft potwierdzenia.
Walidacja jakości¶
Mierzy się word error rate na domenowym audio, diarization error, latency pierwszej odpowiedzi, liczbę przerwanych wypowiedzi, transfer rate, task completion, false commitment, poprawność disclosure/consent i subiektywną zrozumiałość TTS. Testy obejmują hałas, akcenty, słabe łącze, ciszę, DTMF, agresywnego rozmówcę, prompt injection wypowiedziane głosem, nieletnich i rozmowę wieloosobową.
Błędy i scenariusz awaryjny¶
Przy niskim confidence Norbi prosi o powtórzenie lub literowanie, nie zgaduje danych. Przy awarii Core Voice Gateway odtwarza zatwierdzony komunikat i oferuje voicemail/transfer. Przy awarii nagrywania nie twierdzi, że zgoda została utrwalona; scenariusz wymagający dowodu nagrania zostaje przerwany. Przy podejrzeniu zagrożenia życia system stosuje uprzednio zatwierdzoną procedurę alarmową, jasno mówi o swoich ograniczeniach i nie udaje służb ratunkowych.