الصوت
نظرة عامة
تدعم Neotask التفاعل الصوتي من خلال أنظمة متعددة: اكتشاف كلمات التنبيه، ومحادثة صوتية مستمرة (وضع المحادثة)، وتحويل النص إلى كلام للردود المنطوقة.
كلمات التنبيه
Swabble (macOS)
Swabble هو برنامج خلفية أصلي لـ macOS يوفر اكتشاف كلمات التنبيه الصوتي دائم التشغيل على الجهاز باستخدام Apple's Speech.framework.
الميزات:
- معالجة محلية فقط, لا يغادر الصوت جهازك أثناء اكتشاف كلمة التنبيه
- كلمات تنبيه قابلة للتخصيص
- التقاط الصوت ونسخه بشكل مستمر
- تنفيذ الخطافات, تشغيل أوامر shell عند اكتشاف كلمة التنبيه
- نسخ الملفات, تحويل ملفات الصوت إلى نص (بصيغة TXT أو SRT)
- فترة هدوء وحد أدنى لعدد الأحرف ومهلة قابلة للتكوين
كيف يعمل:
- يستمع Swabble باستمرار باستخدام ميكروفون النظام
- عند اكتشاف كلمة التنبيه في النص المنطوق، يلتقط الكلام التالي
- يُرسَل النص الملتقط إلى وكيلك عبر أمر خطاف مُكوَّن
- يعالج الوكيل الأمر الصوتي ويستجيب
كلمات التنبيه على العقدة
في تطبيقات iOS وAndroid المرافقة، يُعالج التنبيه الصوتي بشكل أصلي:
- تكوين كلمة التنبيه يديره البوابة
- تستقبل العقد تكوين كلمة التنبيه عند الاتصال
- يستخدم الاكتشاف التعرف على الكلام الأصلي للمنصة
وضع المحادثة
يتيح وضع المحادثة إجراء محادثات صوتية مستمرة, تحدث بشكل طبيعي واسمع ردود وكيلك.
كيف يعمل
- تحويل الكلام إلى نص, يُنسخ صوتك في الوقت الفعلي (بث Deepgram أو STT الأصلي للمنصة)
- معالجة الوكيل, يُرسَل النص المنسوخ إلى وكيلك كرسالة عادية
- تحويل النص إلى كلام, يُنطق رد الوكيل لك
آلة حالة الصوت
ينتقل وضع المحادثة بين أربع حالات:
| الحالة | الوصف |
|---|---|
| خامل | لا يستمع بنشاط |
| استماع | يلتقط كلامك وينسخه |
| تفكير | الوكيل يعالج طلبك |
| متحدث | يُنطق رد الوكيل |
موفرو تحويل النص إلى كلام
| الموفر | الوصف |
|---|---|
| ElevenLabs | تركيب صوت عالي الجودة مع اختيار الصوت |
| OpenAI TTS | واجهة برمجة تحويل النص إلى كلام من OpenAI |
تفضيلات الصوت
- اختيار الصوت, اختر من الأصوات المتاحة لتحويل النص إلى كلام
- موجه نظام مخصص, تجاوز شخصية الوكيل لوضع الصوت
- تنسيق استجابة مخصص, تحكم في كيفية تنسيق الوكيل للردود المنطوقة
- دعم اللغات, سلاسل الصوت مترجمة محلياً لأكثر من 18 لغة
الأوامر الصوتية
اكتشاف النوايا المتعددة
يمكن للوكلاء اكتشاف وتنفيذ أوامر صوتية متعددة الخطوات:
"أنشئ حدث تقويم غداً الساعة 3 مساءً، ثم أرسل بريداً إلكترونياً إلى الفريق عنه، وانشر تذكيراً في Slack"
يُحلَّل هذا تلقائياً إلى سلسلة من الأوامر، وتُنفَّذ كل منها بالترتيب مع انتقال النتائج إلى الخطوة التالية.
تنفيذ الأدوات
أثناء المحادثات الصوتية، يمكن للوكلاء تنفيذ الأدوات تماماً كما في محادثات النص, تصفح الويب وتشغيل الكود وإدارة الملفات والتحكم في الأجهزة والمزيد. تُلخَّص النتائج وتُنطق.
إنفاذ صحة الإجراء
يتضمن وضع الصوت التحقق من تطابق ادعاءات الوكيل مع نتائج الأدوات الفعلية. إذا قال الوكيل "لقد أرسلت البريد الإلكتروني" لكن أداة البريد الإلكتروني فشلت، يكتشف النظام التناقض ويبلّغ عن النتيجة الفعلية.
المكالمات الصوتية (إضافة)
تضيف إضافة المكالمة الصوتية دعم هاتفية SIP:
- معالجة المكالمات الواردة
- المكالمات الصادرة (تعتمد على الموفر)
- صوت ثنائي الاتجاه في الوقت الفعلي (تدفقات PCM)
- تركيب تحويل النص إلى كلام مُدرج في صوت المكالمة
إدارة الحصة
قد تخضع خدمات الصوت لحصص استخدام:
- تخصيص دقائق شهري لتحويل النص إلى كلام وتحويل الكلام إلى نص
- تتبع لكل جلسة
- تحذير عند 80% من الاستخدام
- قطع تلقائي عند الوصول إلى حد الحصة