# 음성

## 개요

Neotask는 웨이크 워드 감지, 연속 음성 대화(토크 모드), 음성 응답을 위한 텍스트-음성 변환 등 여러 시스템을 통해 음성 상호작용을 지원합니다.

## 웨이크 워드

### Swabble (macOS)

Swabble은 Apple의 Speech.framework를 사용하여 항상 켜져 있는 **기기 내** 음성 웨이크 워드 감지를 제공하는 네이티브 macOS 데몬입니다.

**기능:**
- 로컬 전용 처리, 웨이크 워드 감지 중 오디오가 기기를 벗어나지 않음
- 사용자 정의 가능한 웨이크 워드
- 연속 오디오 캡처 및 전사
- 훅 실행, 웨이크 워드가 감지될 때 셸 명령 트리거
- 파일 전사, 오디오 파일을 텍스트로 변환 (TXT 또는 SRT 형식)
- 구성 가능한 쿨다운, 최소 문자 수 및 타임아웃

**작동 방식:**
1. Swabble이 시스템 마이크를 사용하여 지속적으로 수신합니다
2. 말하는 텍스트에서 웨이크 워드를 감지하면 이후 음성을 캡처합니다
3. 캡처된 텍스트가 구성된 훅 명령을 통해 에이전트로 전송됩니다
4. 에이전트가 음성 명령을 처리하고 응답합니다

### 노드 웨이크 워드

iOS 및 Android 컴패니언 앱에서 음성 웨이크는 네이티브로 처리됩니다:

- 웨이크 워드 구성은 게이트웨이가 소유합니다
- 노드는 연결 시 웨이크 워드 구성을 받습니다
- 감지는 플랫폼 네이티브 음성 인식을 사용합니다

## 토크 모드

토크 모드는 연속 음성 대화를 가능하게 합니다, 자연스럽게 말하고 에이전트의 응답을 들으세요.

### 작동 방식

1. **음성-텍스트 변환**, 음성이 실시간으로 전사됩니다 (Deepgram 스트리밍 또는 플랫폼 네이티브 STT)
2. **에이전트 처리**, 전사된 텍스트가 일반 메시지로 에이전트에 전송됩니다
3. **텍스트-음성 변환**, 에이전트의 응답이 음성으로 변환되어 읽어집니다

### 음성 상태 기계

토크 모드는 4가지 상태 간에 전환됩니다:

| 상태 | 설명 |
|------|------|
| **대기** | 활성으로 수신하지 않음 |
| **수신 중** | 음성 캡처 및 전사 중 |
| **처리 중** | 에이전트가 요청을 처리 중 |
| **말하는 중** | 에이전트 응답이 음성으로 출력 중 |

### 텍스트-음성 변환 제공업체

| 제공업체 | 설명 |
|----------|------|
| **ElevenLabs** | 음성 선택이 가능한 고품질 음성 합성 |
| **OpenAI TTS** | OpenAI의 텍스트-음성 변환 API |

### 음성 설정

- **음성 선택**, 사용 가능한 TTS 음성 중 선택
- **커스텀 시스템 프롬프트**, 음성 모드를 위한 에이전트 개성 재정의
- **커스텀 응답 형식**, 에이전트가 음성 응답을 형식화하는 방식 제어
- **언어 지원**, 18개 이상 언어로 현지화된 음성 문자열

## 음성 명령

### 멀티 인텐트 감지

에이전트는 다단계 음성 명령을 감지하고 실행할 수 있습니다:

> "내일 오후 3시에 캘린더 이벤트를 만들고, 팀에 그것에 대한 이메일을 보내고, Slack에 리마인더를 게시해"

이것은 각 명령이 순서대로 실행되고 결과가 다음 단계로 흐르는 일련의 명령으로 자동 파싱됩니다.

### 도구 실행

음성 대화 중에 에이전트는 텍스트 대화와 마찬가지로 도구를 실행할 수 있습니다, 웹 검색, 코드 실행, 파일 관리, 기기 제어 등. 결과는 요약되어 음성으로 읽어집니다.

### 액션 진실 강제

음성 모드에는 에이전트의 주장이 실제 도구 결과와 일치하는지 검증하는 기능이 포함됩니다. 에이전트가 "이메일을 보냈습니다"라고 말했지만 이메일 도구가 실패한 경우, 시스템이 불일치를 감지하고 실제 결과를 보고합니다.

## 음성 통화 (플러그인)

음성 통화 플러그인은 SIP 전화 지원을 추가합니다:

- 인바운드 통화 처리
- 아웃바운드 통화 (제공업체에 따라 다름)
- 실시간 양방향 오디오 (PCM 스트림)
- 통화 오디오에 주입되는 TTS 합성

## 할당량 관리

음성 서비스에는 사용 할당량이 있을 수 있습니다:

- TTS + STT를 위한 월별 분 할당
- 세션별 추적
- 사용량 80%에서 경고
- 할당량 한도에서 자동 차단