แอปคู่หู

แอปคู่หูคืออะไร?

แอปคู่หูคือแอปพลิเคชันแบบ native สำหรับ iOS, Android และ macOS ที่เชื่อมต่อกับ Gateway ของคุณในฐานะ node Node เปิดเผยความสามารถของอุปกรณ์, กล้อง canvas การบันทึกหน้าจอ ตำแหน่ง เสียง และการรันระบบ, ให้กับเอเจนต์ของคุณ

ลองคิดดูแบบนี้: Gateway คือสมอง และแอปคู่หูคือมือและตาบนอุปกรณ์ของคุณ

วิธีทำงานของ Node

1. เชื่อมต่อ, แอปคู่หูเชื่อมต่อกับ Gateway ของคุณผ่าน WebSocket
2. จับคู่, อุปกรณ์ใหม่ผ่านกระบวนการอนุมัติการจับคู่
3. ลงทะเบียนความสามารถ, แอปบอก Gateway ว่าทำอะไรได้บ้าง (กล้อง canvas ตำแหน่ง เป็นต้น)
4. เอเจนต์เรียกใช้, ระหว่างการสนทนา เอเจนต์สามารถขอให้ node ถ่ายรูป บันทึกหน้าจอ เรนเดอร์ canvas และอื่น ๆ

Node ไม่ใช่ gateway, พวกมันไม่รัน AI ของตัวเอง พวกมันคืออุปกรณ์ peripheral ที่ขยายสิ่งที่เอเจนต์ของคุณสามารถทำได้

macOS Companion App

แอป macOS อยู่ในแถบเมนูและทำหน้าที่เป็นทั้ง companion node และตัวจัดการ gateway

ความสามารถ

• Canvas, เรนเดอร์เนื้อหาเว็บแบบโต้ตอบในหน้าต่าง native
• Camera, ถ่ายรูปและวิดีโอ (กล้องหน้า/หลัง)
• Screen Recording, การบันทึกเต็มหน้าจอหรือต่อแอป
• System Execution, รันคำสั่งเชลล์บน Mac (ควบคุมโดยการอนุมัติ exec)
• Notifications, ส่งการแจ้งเตือน macOS แบบ native พร้อมตัวเลือกลำดับความสำคัญ
• Location, GPS เมื่อมี

ฟีเจอร์เพิ่มเติม

• Gateway Management, เริ่ม หยุด และตรวจสอบ Gateway
• Permission Ownership, จัดการ macOS TCC permissions (Notifications, Accessibility, Screen Recording, Microphone, Speech Recognition, AppleScript)
• Deep Links, รูปแบบ URL neotask:// สำหรับเปิดใช้งานเอเจนต์พร้อมพารามิเตอร์
• CLI Install, ติดตั้งเครื่องมือ command-line neotask

iOS App

แอป iOS เชื่อมต่อเป็น node กับ Gateway ของคุณ นำความสามารถมือถือมาสู่เอเจนต์ของคุณ

ความสามารถ

• Canvas, การเรนเดอร์เนื้อหาแบบโต้ตอบบน SwiftUI
• Camera, รูปภาพและวิดีโอ (กล้องหน้า/หลัง)
• Audio Recording, การจับเสียงจากไมโครโฟน
• Location, GPS พร้อมการเลือกความแม่นยำ
• Notifications, การแจ้งเตือน push iOS แบบ native

ฟีเจอร์

• Discovery, ค้นหา Gateway ผ่าน Bonjour (LAN), Tailscale (VPN) หรือการป้อนด้วยตนเอง
• Pairing, การจับคู่อุปกรณ์ที่ปลอดภัยพร้อมการอนุมัติจาก Gateway
• Voice Wake, การเปิดใช้งาน wake word สำหรับการโต้ตอบแบบ hands-free
• Talk Mode, การสนทนาด้วยเสียงอย่างต่อเนื่อง
• Share Extension, แชร์เนื้อหาจากแอปอื่นโดยตรงไปยังเอเจนต์ของคุณ
• A2UI, การเรนเดอร์ UI ที่ขับเคลื่อนโดยเอเจนต์บน canvas ของอุปกรณ์

ข้อจำกัด

• การออกแบบที่ foreground เป็นหลัก (iOS ระงับการเชื่อมต่อ WebSocket ในพื้นหลัง)
• ข้อจำกัดคำสั่งพื้นหลังที่เข้มงวด
• ปัจจุบันอยู่ใน internal preview

Android App

แอป Android เชื่อมต่อเป็น node พร้อมความสามารถที่คล้ายกับ iOS

ความสามารถ

• Canvas, การเรนเดอร์ UI บน Jetpack Compose
• Camera, รูปภาพและวิดีโอ (กล้องหน้า/หลัง, ควบคุมด้วยสิทธิ์)
• Screen Recording, การจับหน้าจอระบบ (Android 10+)
• Location, GPS พร้อมโหมดความแม่นยำ
• SMS Sending, บนอุปกรณ์ที่รองรับ telephony
• Chat & History, ดูประวัติการสนทนาบนอุปกรณ์

ฟีเจอร์

• Foreground Service, การแจ้งเตือนแบบถาวรรักษาการเชื่อมต่อให้มีชีวิต
• Shared Sessions, เซสชันเดียวกันข้ามทุก node ที่เชื่อมต่อ
• Modern Android, ต้องการ Android 12+ (API 31)

Headless Node Host

รัน node โดยไม่มี UI, เหมาะสำหรับ build server เครื่องระยะไกล หรือกล่อง Linux แบบ headless

ความสามารถ

• System Execution, รันคำสั่งบน node host
• Command Allowlist, กำหนดค่าคำสั่งที่ node สามารถรัน
• Persistent Service, ติดตั้งเป็น launchd/systemd service

กรณีการใช้งาน

• CI/CD build agent, ให้เอเจนต์ AI ของคุณทริกเกอร์ build บน server ระยะไกล
• Home lab automation, รันคำสั่งบน Raspberry Pi หรือ home server
• การออร์เคสเตรชันหลายเครื่อง, ประสานงานข้ามหลายเครื่อง

การจับคู่อุปกรณ์

ขั้นตอนการจับคู่

1. แอปคู่หูแสดง identity อุปกรณ์ (fingerprint + public key)
2. Gateway ออกคำขออนุมัติการจับคู่
3. คุณอนุมัติอุปกรณ์ผ่านแอปเดสก์ท็อปหรือแดชบอร์ด
4. Gateway ออก device token สำหรับการเชื่อมต่อในอนาคต

โมเดลความเชื่อถือ

• อุปกรณ์ local (loopback) ได้รับการอนุมัติอัตโนมัติเพื่อความสะดวก
• อุปกรณ์ที่ไม่ใช่ local ต้องการการอนุมัติอย่างชัดแจ้ง
• Device token ถูกจัดเก็บในเครื่องและนำกลับมาใช้เมื่อเชื่อมต่อซ้ำ

การอนุมัติ Exec

สำหรับ node ที่สามารถรันคำสั่งระบบ (macOS, headless host) การอนุมัติ exec ควบคุมสิ่งที่อนุญาต:

• โหมด Allowlist, เฉพาะคำสั่งที่อนุมัติล่วงหน้าเท่านั้นที่สามารถรัน
• โหมด Ask, คำสั่งที่ไม่รู้จักจะแจ้งให้คุณอนุมัติ
• โหมด Full, ไม่มีข้อจำกัด (ใช้ด้วยความระมัดระวัง)

กำหนดค่า allowlist ต่อ node เพื่อควบคุมอย่างแม่นยำว่าแต่ละอุปกรณ์สามารถทำอะไรได้บ้าง