Röst
Översikt
Neotask stöder röstinteraktion via flera system: vakningsordsdetektering, kontinuerliga röstkonversationer (talläge) och text-till-tal för talade svar.
Vakningsord
Swabble (macOS)
Swabble är en inbyggd macOS-demon som tillhandahåller alltid-aktiverad, lokal vakningsordsdetektering via Apples Speech.framework.
Funktioner:
- Lokal bearbetning enbart, inget ljud lämnar din enhet under vakningsordsdetektering
- Anpassningsbara vakningsord
- Kontinuerlig ljudfångst och transkription
- Krokoköring, utlöser skalkommandon när vakningsordet detekteras
- Filtranskription, konvertera ljudfiler till text (TXT- eller SRT-format)
- Konfigurerbar nedkylning, minsta teckenantal och tidsgräns
Hur det fungerar:
- Swabble lyssnar kontinuerligt med hjälp av systemmikrofonen
- När det detekterar vakningsordet i talad text fångar det efterföljande tal
- Den fångade texten skickas till din agent via ett konfigurerat krokokommando
- Agenten bearbetar röstkommandot och svarar
Nodvakningsord
På iOS- och Android-följappar hanteras röstvakningsord inbyggt:
- Vakningordskonfiguration ägs av Gateway
- Noder tar emot vakningordskonfiguration vid anslutning
- Detektering använder plattformsinbyggd taligenkänning
Talläge
Talläget möjliggör kontinuerliga röstkonversationer, tala naturligt och hör din agent svara.
Hur det fungerar
- Tal till text, Din röst transkriberas i realtid (Deepgram-strömning eller plattformsinbyggd STT)
- Agentbearbetning, Den transkriberade texten skickas till din agent som ett vanligt meddelande
- Text till tal, Agentens svar talas upp för dig
Röststatus-maskin
Talläget övergår mellan fyra tillstånd:
| Tillstånd | Beskrivning |
|---|---|
| Inaktiv | Lyssnar inte aktivt |
| Lyssnar | Fångar och transkriberar ditt tal |
| Tänker | Agenten bearbetar din begäran |
| Talar, | Agentsvarets talas upp |
Text-till-tal-leverantörer
| Leverantör | Beskrivning |
|---|---|
| ElevenLabs | Högkvalitativ röstsyntes med röstval |
| OpenAI TTS | OpenAIs text-till-tal-API |
Röstpreferenser
- Röstval, Välj bland tillgängliga TTS-röster
- Anpassad systemprompt, Åsidosätt agentens personlighet för röstläge
- Anpassat svarsformat, Styr hur agenten formaterar talade svar
- Språkstöd, Röststrängar lokaliserade för 18+ språk
Röstkommandon
Flerintentionsdetektering
Agenter kan detektera och köra flerstegsröstkommandon:
"Create a calendar event for tomorrow at 3 PM, then send an email to the team about it, and post a reminder in Slack"
Detta parsas automatiskt till en sekvens av kommandon, var och en körd i ordning med resultaten som flödar till nästa steg.
Verktygsexekvering
Under röstkonversationer kan agenter köra verktyg precis som i textkonversationer, surfa på webben, kör kod, hantera filer, styr enheter och mer. Resultaten sammanfattas och talas upp.
Handlingssanningskontroll
Röstläget inkluderar validering att agentpåståenden matchar faktiska verktygsutfall. Om en agent säger "Jag har skickat e-postmeddelandet" men e-postverktyget misslyckades fångar systemet avvikelsen och rapporterar det faktiska resultatet.
Röstsamtal (Plug-in)
Röstsamtal-plug-inet lägger till SIP-telefonistöd:
- Hantering av inkommande samtal
- Utgående samtal (leverantörsberoende)
- Realtids dubbelriktad ljud (PCM-strömmar)
- TTS-syntes injicerad i samtalsljudet
Kvothantering
Röststjänster kan ha användningskvoter:
- Månadsvis minutallokering för TTS + STT
- Per-session-spårning
- Varning vid 80 % användning
- Automatisk avstängning vid kvotgräns