Przejdź do treści

Komunikacja głosowa i telefoniczna

Cel

Moduł głosu zapewnia naturalną rozmowę lokalną, połączenia telefoniczne, IVR, transkrypcję, syntezę mowy i sterowanie workflow. Musi działać w dwóch trybach: asystenta właściciela oraz kontrolowanego przedstawiciela organizacji. Każdy tryb ma inną tożsamość, politykę nagrywania, zakres wiedzy i zasady eskalacji.

Norbi nie podszywa się pod człowieka. Na początku połączenia ujawnia, że jest systemem AI, oraz cel rozmowy, chyba że szczególny scenariusz i prawo wymagają bardziej restrykcyjnej formuły. Zgoda na nagrywanie i analizę jest rejestrowana zgodnie z jurysdykcją i polityką organizacji.

Karta modułu

Pole Kontrakt
Odpowiedzialności call control, ASR, diarization, turn-taking, dialog, TTS, DTMF, transfer, consent, artifacts i receipts.
Wejścia inbound/outbound call event, account/number, audio stream, caller identity hints, script/policy, knowledge projection.
Wyjścia audio response, transcript, call events, extracted intents, transfer, draft follow-up, recording artifact.
Zależności SIP/PBX/telephony adapter, Voice Gateway, local ASR/TTS, Core, Accounts, Artifact Store, scheduler, human queue.
Uprawnienia answer/dial/record/transfer/send-follow-up osobno; numer i cel związane z approval/polityką kampanii.
Autonomia rozmowa w zatwierdzonym scenariuszu; brak negocjowania nowych zobowiązań lub pozyskiwania niedozwolonych danych.
Walidacja consent, numer, identity, transcript confidence, required disclosures, script boundaries, call receipt.
Awaria bezpieczny komunikat, transfer do człowieka, zakończenie bez obietnicy, zachowanie minimalnego receiptu.

Architektura czasu rzeczywistego

flowchart LR
    TEL["SIP / operator"] --> GW["Voice Gateway"]
    GW --> VAD["VAD + denoise + echo cancel"]
    VAD --> ASR["Streaming ASR"]
    ASR --> DM["Dialog Manager"]
    DM --> CORE["Norbi Core / workflow"]
    CORE --> DM
    DM --> TTS["Streaming TTS"]
    TTS --> GW
    GW --> TEL
    ASR --> ART["Transcript artifact"]
    GW --> ART
    DM --> AUD["Consent + decisions + receipts"]

Voice Gateway obsługuje kodeki, jitter buffer, VAD, echo cancellation, przerwanie wypowiedzi przez rozmówcę i DTMF. ASR zwraca segmenty z czasem i confidence. Dialog Manager utrzymuje krótkotrwały stan rozmowy i nie blokuje audio długim planowaniem. Wolniejsze operacje są zamieniane na follow-up: „sprawdzę i oddzwonię” tylko wtedy, gdy polityka pozwala utworzyć takie zobowiązanie.

Tożsamość i prywatność

Numer telefonu nie jest wystarczającym dowodem tożsamości dla danych wrażliwych. System może stosować callback na zapisany numer, kod jednorazowy, pytania o niesekretny kontekst lub przejście do uwierzytelnionej PWA. Nigdy nie prosi o pełne hasło, PIN bankowy czy kod odzyskiwania.

Nagranie, transkrypcja i analiza są oddzielnymi artefaktami o różnych okresach retencji. Możliwa jest rozmowa bez trwałego nagrania, z przechowaniem tylko zatwierdzonej notatki. Redakcja danych płatniczych działa w strumieniu i po transkrypcji. Dostęp do surowego audio jest bardziej restrykcyjny niż do notatki.

Inbound

Dla połączenia przychodzącego Gateway weryfikuje konto, mapuje numer i route, przedstawia tożsamość Norbiego oraz zbiera zgodę. Następnie rozpoznaje cel: informacja, rezerwacja, zgłoszenie, przekazanie człowiekowi. Dostępne są tylko zatwierdzone źródła wiedzy i operacje danego scenariusza. Jeżeli confidence ASR spada lub rozmowa dotyczy sporu, zdrowia, prawa, płatności czy wyjątkowej obietnicy, system eskaluje.

Outbound

Połączenie wychodzące wymaga kampanii lub exact approvala z numerem, właścicielem celu, dozwolonym oknem czasu, skryptem, maksymalną liczbą prób, identyfikacją i opt-out. Norbi nie „szuka numerów i dzwoni”, jeśli capability i podstawa kontaktu tego nie obejmują. Każda próba ma idempotency/call attempt ID.

Przykładowe polecenia

  • „Odbieraj telefony po godzinach, zbierz opis awarii i przekaż pilne przypadki dyżurnemu.”
  • „Zadzwoń do serwisu z zatwierdzonego numeru i ustal dostępne terminy, ale nie zamawiaj wizyty.”
  • „Przyjmuj rezerwacje do czterech osób według wolnych slotów; większe grupy przełączaj do managera.”
  • „Rozmawiaj ze mną głosowo lokalnie, bez przechowywania nagrania.”

Pełny przebieg

Klient dzwoni do hotelu. Norbi informuje, że jest asystentem AI i że rozmowa może być transkrybowana zgodnie z polityką. ASR rozpoznaje pytanie o wolny pokój. Dialog Manager pobiera jedynie publiczne typy pokoi i real-time availability przez read adapter. Przy prośbie o rezerwację zbiera minimalne dane i przedstawia podsumowanie. Zapis rezerwacji jest typowanym skutkiem związanym z dokładną datą, ceną i polityką anulacji; w zakresie ustalonej polityki może być automatyczny, ale płatność lub wyjątek cenowy trafia do człowieka. Połączenie kończy receipt i opcjonalny draft potwierdzenia.

Walidacja jakości

Mierzy się word error rate na domenowym audio, diarization error, latency pierwszej odpowiedzi, liczbę przerwanych wypowiedzi, transfer rate, task completion, false commitment, poprawność disclosure/consent i subiektywną zrozumiałość TTS. Testy obejmują hałas, akcenty, słabe łącze, ciszę, DTMF, agresywnego rozmówcę, prompt injection wypowiedziane głosem, nieletnich i rozmowę wieloosobową.

Błędy i scenariusz awaryjny

Przy niskim confidence Norbi prosi o powtórzenie lub literowanie, nie zgaduje danych. Przy awarii Core Voice Gateway odtwarza zatwierdzony komunikat i oferuje voicemail/transfer. Przy awarii nagrywania nie twierdzi, że zgoda została utrwalona; scenariusz wymagający dowodu nagrania zostaje przerwany. Przy podejrzeniu zagrożenia życia system stosuje uprzednio zatwierdzoną procedurę alarmową, jasno mówi o swoich ograniczeniach i nie udaje służb ratunkowych.