Voz
Visao Geral
Neotask suporta interacao por voz atraves de multiplos sistemas: deteccao de palavra de ativacao, conversa por voz continua (modo de conversa) e texto-para-fala para respostas faladas.
Palavras de Ativacao
Swabble (macOS)
Swabble e um daemon nativo macOS que fornece deteccao de palavra de ativacao sempre ativa e no dispositivo usando o Speech.framework da Apple.
Recursos:
- Processamento apenas local -- nenhum audio sai do seu dispositivo durante a deteccao de palavra de ativacao
- Palavras de ativacao personalizaveis
- Captura e transcricao continua de audio
- Execucao de hook -- aciona comandos shell quando a palavra de ativacao e detectada
- Transcricao de arquivos -- converta arquivos de audio em texto (formato TXT ou SRT)
- Cooldown, contagem minima de caracteres e timeout configuraveis
Como funciona:
- Swabble escuta continuamente usando o microfone do sistema
- Quando detecta a palavra de ativacao no texto falado, captura a fala seguinte
- O texto capturado e enviado ao seu agente via um comando de hook configurado
- O agente processa o comando de voz e responde
Palavras de Ativacao em Nodes
Em apps companion iOS e Android, o despertar por voz e tratado nativamente:
- Configuracao de palavras de ativacao e de propriedade do Gateway
- Nodes recebem configuracao de palavras de ativacao na conexao
- Deteccao usa reconhecimento de fala nativo da plataforma
Modo de Conversa
O modo de conversa habilita conversas por voz continuas -- fale naturalmente e ouca seu agente responder.
Como Funciona
- Fala-para-Texto -- Sua voz e transcrita em tempo real (streaming Deepgram ou STT nativo da plataforma)
- Processamento do Agente -- O texto transcrito e enviado ao seu agente como uma mensagem regular
- Texto-para-Fala -- A resposta do agente e falada de volta para voce
Maquina de Estados de Voz
O modo de conversa transiciona entre quatro estados:
| Estado | Descricao |
|---|---|
| Inativo | Nao escutando ativamente |
| Escutando | Capturando e transcrevendo sua fala |
| Pensando | Agente esta processando sua solicitacao |
| Falando | Resposta do agente esta sendo falada |
Provedores de Texto-para-Fala
| Provedor | Descricao |
|---|---|
| ElevenLabs | Sintese de voz de alta qualidade com selecao de voz |
| OpenAI TTS | API de texto-para-fala da OpenAI |
Preferencias de Voz
- Selecao de voz -- Escolha entre as vozes TTS disponiveis
- Prompt de sistema personalizado -- Sobrescreva a personalidade do agente para o modo de voz
- Formato de resposta personalizado -- Controle como o agente formata respostas faladas
- Suporte a idiomas -- Strings de voz localizadas para mais de 18 idiomas
Comandos de Voz
Deteccao Multi-Intencao
Agentes podem detectar e executar comandos de voz com multiplas etapas:
"Crie um evento no calendario para amanha as 15h, depois envie um email para a equipe sobre isso e poste um lembrete no Slack"
Isso e automaticamente analisado em uma sequencia de comandos, cada um executado em ordem com os resultados fluindo para a proxima etapa.
Execucao de Ferramentas
Durante conversas por voz, agentes podem executar ferramentas assim como em conversas de texto -- navegar na web, executar codigo, gerenciar arquivos, controlar dispositivos e mais. Resultados sao resumidos e falados de volta.
Aplicacao de Veracidade de Acao
O modo de voz inclui validacao de que as alegacoes do agente correspondem aos resultados reais das ferramentas. Se um agente diz "Enviei o email" mas a ferramenta de email falhou, o sistema detecta a discrepancia e relata o resultado real.
Chamadas de Voz (Plugin)
O plugin Voice Call adiciona suporte a telefonia SIP:
- Tratamento de chamadas de entrada
- Chamadas de saida (dependente do provedor)
- Audio bidirecional em tempo real (streams PCM)
- Sintese TTS injetada no audio da chamada
Gestao de Cota
Servicos de voz podem ter cotas de uso:
- Alocacao mensal de minutos para TTS + STT
- Rastreamento por sessao
- Aviso em 80% de uso
- Corte automatico no limite de cota