Ses
Genel Bakış
Neotask, birden fazla sistem aracılığıyla ses etkileşimini destekler: uyandırma kelimesi algılama, sürekli ses konuşması (konuşma modu) ve konuşulan yanıtlar için metinden konuşmaya.
Uyandırma Kelimeleri
Swabble (macOS)
Swabble, Apple'ın Speech.framework'ünü kullanan her zaman açık, cihaz üzerinde ses uyandırma kelimesi algılama sağlayan yerel bir macOS daemon'udur.
Özellikler:
- Yalnızca yerel işleme, uyandırma kelimesi algılama sırasında cihazınızdan ses ayrılmaz
- Özelleştirilebilir uyandırma kelimeleri
- Sürekli ses yakalama ve döküm
- Kanca yürütme, uyandırma kelimesi algılandığında kabuk komutlarını tetikler
- Dosya dökümü, ses dosyalarını metne dönüştürün (TXT veya SRT formatı)
- Yapılandırılabilir soğuma süresi, minimum karakter sayısı ve zaman aşımı
Nasıl çalışır:
- Swabble, sistem mikrofonu kullanarak sürekli dinler
- Konuşulan metinde uyandırma kelimesini algıladığında, ardından gelen konuşmayı yakalar
- Yakalanan metin, yapılandırılmış bir kanca komutu aracılığıyla ajanınıza gönderilir
- Ajan sesli komutu işler ve yanıt verir
Düğüm Uyandırma Kelimeleri
iOS ve Android eşlik eden uygulamalarında ses uyandırma, yerel olarak işlenir:
- Uyandırma kelimesi yapılandırması Gateway'e aittir
- Düğümler bağlanma üzerine uyandırma kelimesi yapılandırması alır
- Algılama, platforma özgü konuşma tanıma kullanır
Konuşma Modu
Konuşma modu, sürekli ses konuşmalarına olanak tanır, doğal konuşun ve ajanınızın yanıt vermesini dinleyin.
Nasıl Çalışır?
- Konuşmadan Metne, Sesiniz gerçek zamanlı olarak dökümlenir (Deepgram akışı veya platforma özgü STT)
- Ajan İşleme, Dökümlenen metin, ajanınıza normal bir mesaj olarak gönderilir
- Metinden Konuşmaya, Ajanın yanıtı size sesli okunur
Ses Durum Makinesi
Konuşma modu dört durum arasında geçiş yapar:
| Durum | Açıklama |
|---|---|
| Boşta | Aktif olarak dinlemiyor |
| Dinliyor | Konuşmanızı yakalıyor ve dökümlüyor |
| Düşünüyor | Ajan isteğinizi işliyor |
| Konuşuyor | Ajan yanıtı sesli okunuyor |
Metinden Konuşmaya Sağlayıcıları
| Sağlayıcı | Açıklama |
|---|---|
| ElevenLabs | Ses seçimiyle yüksek kaliteli ses sentezi |
| OpenAI TTS | OpenAI'ın metinden konuşmaya API'si |
Ses Tercihleri
- Ses seçimi, Mevcut TTS seslerinden birini seçin
- Özel sistem istemi, Ses modu için ajanın kişiliğini geçersiz kılın
- Özel yanıt biçimi, Ajanın konuşulan yanıtları nasıl biçimlendirdiğini kontrol edin
- Dil desteği, 18'den fazla dil için yerelleştirilmiş ses dizeleri
Ses Komutları
Çoklu Amaç Algılama
Ajanlar çok adımlı sesli komutları algılayabilir ve yürütebilir:
"Yarın saat 3'te bir takvim etkinliği oluştur, ardından ekibe bu konuda bir e-posta gönder ve Slack'te bir hatırlatıcı yayınla"
Bu, her biri sırayla yürütülen ve sonuçları bir sonraki adıma akan bir komut dizisine otomatik olarak ayrıştırılır.
Araç Yürütme
Ses konuşmaları sırasında ajanlar, metin konuşmalarında olduğu gibi araçları yürütebilir, web'e göz atın, kod çalıştırın, dosyaları yönetin, cihazları kontrol edin ve daha fazlası. Sonuçlar özetlenir ve sesli okunur.
Eylem Doğruluk Uygulaması
Ses modu, ajan iddialarının gerçek araç sonuçlarıyla eşleştiğini doğrulamayı içerir. Bir ajan "E-postayı gönderdim" derse ancak e-posta aracı başarısız olduysa, sistem tutarsızlığı yakalar ve gerçek sonucu raporlar.
Sesli Arama (Eklenti)
Sesli Arama eklentisi SIP telefoni desteği ekler:
- Gelen arama işleme
- Giden aramalar (sağlayıcıya bağlı)
- Gerçek zamanlı çift yönlü ses (PCM akışları)
- Arama sesine enjekte edilen TTS sentezi
Kota Yönetimi
Ses hizmetlerinin kullanım kotaları olabilir:
- TTS + STT için aylık dakika tahsisi
- Oturum başına takip
- %80 kullanımda uyarı
- Kota limitinde otomatik kesme