Voz

Descripción general

Neotask admite interacción por voz a través de múltiples sistemas: detección de palabra de activación, conversación de voz continua (modo hablar) y texto a voz para respuestas habladas.

Palabras de activación

Swabble (macOS)

Swabble es un daemon nativo de macOS que proporciona detección de palabra de activación por voz siempre activa y en el dispositivo utilizando el framework Speech de Apple.

Características:

• Procesamiento solo local: ningún audio sale de tu dispositivo durante la detección de la palabra de activación
• Palabras de activación personalizables
• Captura y transcripción continua de audio
• Ejecución de hooks: ejecuta comandos de shell cuando se detecta la palabra de activación
• Transcripción de archivos: convierte archivos de audio a texto (formato TXT o SRT)
• Tiempo de espera, recuento mínimo de caracteres y tiempo de expiración configurables

Cómo funciona:

1. Swabble escucha continuamente utilizando el micrófono del sistema
2. Cuando detecta la palabra de activación en el texto hablado, captura el habla siguiente
3. El texto capturado se envía a tu agente a través de un comando hook configurado
4. El agente procesa el comando de voz y responde

Palabras de activación en nodos

En las aplicaciones complementarias de iOS y Android, la activación por voz se maneja de forma nativa:

• La configuración de la palabra de activación es propiedad del Gateway
• Los nodos reciben la configuración de la palabra de activación al conectarse
• La detección utiliza reconocimiento de voz nativo de la plataforma

Modo hablar

El modo hablar permite conversaciones de voz continuas: habla de forma natural y escucha a tu agente responder.

Cómo funciona

1. Voz a texto, Tu voz se transcribe en tiempo real (streaming de Deepgram o STT nativo de la plataforma)
2. Procesamiento del agente, El texto transcrito se envía a tu agente como un mensaje normal
3. Texto a voz, La respuesta del agente se te reproduce en voz alta

Máquina de estados de voz

El modo hablar transiciona entre cuatro estados:

Proveedores de texto a voz

Preferencias de voz

• Selección de voz, Elige entre las voces TTS disponibles
• Prompt de sistema personalizado, Sobrescribe la personalidad del agente para el modo de voz
• Formato de respuesta personalizado, Controla cómo el agente formatea las respuestas habladas
• Soporte de idiomas, Cadenas de voz localizadas para más de 18 idiomas

Comandos de voz

Detección de múltiples intenciones

Los agentes pueden detectar y ejecutar comandos de voz de múltiples pasos:

"Crea un evento de calendario para mañana a las 3 PM, luego envía un correo al equipo sobre eso, y publica un recordatorio en Slack"

Esto se analiza automáticamente en una secuencia de comandos, cada uno ejecutado en orden con los resultados fluyendo al siguiente paso.

Ejecución de herramientas

Durante las conversaciones de voz, los agentes pueden ejecutar herramientas igual que en las conversaciones de texto: navegar por la web, ejecutar código, gestionar archivos, controlar dispositivos y más. Los resultados se resumen y se reproducen en voz.

Verificación de veracidad de acciones

El modo de voz incluye validación de que las afirmaciones del agente coinciden con los resultados reales de las herramientas. Si un agente dice "He enviado el correo" pero la herramienta de correo falló, el sistema detecta la discrepancia e informa del resultado real.

Llamadas de voz (Plugin)

El plugin de llamadas de voz agrega soporte de telefonía SIP:

• Manejo de llamadas entrantes
• Llamadas salientes (dependiente del proveedor)
• Audio bidireccional en tiempo real (flujos PCM)
• Síntesis TTS inyectada en el audio de la llamada

Gestión de cuotas

Los servicios de voz pueden tener cuotas de uso:

• Asignación mensual de minutos para TTS + STT
• Seguimiento por sesión
• Advertencia al 80% de uso
• Corte automático en el límite de cuota