# Voz ## Visao Geral Neotask suporta interacao por voz atraves de multiplos sistemas: deteccao de palavra de ativacao, conversa por voz continua (modo de conversa) e texto-para-fala para respostas faladas. ## Palavras de Ativacao ### Swabble (macOS) Swabble e um daemon nativo macOS que fornece deteccao de palavra de ativacao sempre ativa e **no dispositivo** usando o Speech.framework da Apple. **Recursos:** - Processamento apenas local -- nenhum audio sai do seu dispositivo durante a deteccao de palavra de ativacao - Palavras de ativacao personalizaveis - Captura e transcricao continua de audio - Execucao de hook -- aciona comandos shell quando a palavra de ativacao e detectada - Transcricao de arquivos -- converta arquivos de audio em texto (formato TXT ou SRT) - Cooldown, contagem minima de caracteres e timeout configuraveis **Como funciona:** 1. Swabble escuta continuamente usando o microfone do sistema 2. Quando detecta a palavra de ativacao no texto falado, captura a fala seguinte 3. O texto capturado e enviado ao seu agente via um comando de hook configurado 4. O agente processa o comando de voz e responde ### Palavras de Ativacao em Nodes Em apps companion iOS e Android, o despertar por voz e tratado nativamente: - Configuracao de palavras de ativacao e de propriedade do Gateway - Nodes recebem configuracao de palavras de ativacao na conexao - Deteccao usa reconhecimento de fala nativo da plataforma ## Modo de Conversa O modo de conversa habilita conversas por voz continuas -- fale naturalmente e ouca seu agente responder. ### Como Funciona 1. **Fala-para-Texto** -- Sua voz e transcrita em tempo real (streaming Deepgram ou STT nativo da plataforma) 2. **Processamento do Agente** -- O texto transcrito e enviado ao seu agente como uma mensagem regular 3. **Texto-para-Fala** -- A resposta do agente e falada de volta para voce ### Maquina de Estados de Voz O modo de conversa transiciona entre quatro estados: | Estado | Descricao | |--------|-----------| | **Inativo** | Nao escutando ativamente | | **Escutando** | Capturando e transcrevendo sua fala | | **Pensando** | Agente esta processando sua solicitacao | | **Falando** | Resposta do agente esta sendo falada | ### Provedores de Texto-para-Fala | Provedor | Descricao | |----------|-----------| | **ElevenLabs** | Sintese de voz de alta qualidade com selecao de voz | | **OpenAI TTS** | API de texto-para-fala da OpenAI | ### Preferencias de Voz - **Selecao de voz** -- Escolha entre as vozes TTS disponiveis - **Prompt de sistema personalizado** -- Sobrescreva a personalidade do agente para o modo de voz - **Formato de resposta personalizado** -- Controle como o agente formata respostas faladas - **Suporte a idiomas** -- Strings de voz localizadas para mais de 18 idiomas ## Comandos de Voz ### Deteccao Multi-Intencao Agentes podem detectar e executar comandos de voz com multiplas etapas: > "Crie um evento no calendario para amanha as 15h, depois envie um email para a equipe sobre isso e poste um lembrete no Slack" Isso e automaticamente analisado em uma sequencia de comandos, cada um executado em ordem com os resultados fluindo para a proxima etapa. ### Execucao de Ferramentas Durante conversas por voz, agentes podem executar ferramentas assim como em conversas de texto -- navegar na web, executar codigo, gerenciar arquivos, controlar dispositivos e mais. Resultados sao resumidos e falados de volta. ### Aplicacao de Veracidade de Acao O modo de voz inclui validacao de que as alegacoes do agente correspondem aos resultados reais das ferramentas. Se um agente diz "Enviei o email" mas a ferramenta de email falhou, o sistema detecta a discrepancia e relata o resultado real. ## Chamadas de Voz (Plugin) O plugin Voice Call adiciona suporte a telefonia SIP: - Tratamento de chamadas de entrada - Chamadas de saida (dependente do provedor) - Audio bidirecional em tempo real (streams PCM) - Sintese TTS injetada no audio da chamada ## Gestao de Cota Servicos de voz podem ter cotas de uso: - Alocacao mensal de minutos para TTS + STT - Rastreamento por sessao - Aviso em 80% de uso - Corte automatico no limite de cota