Ứng dụng đồng hành

Ứng dụng đồng hành là gì?

Ứng dụng đồng hành là các ứng dụng gốc cho iOS, Android và macOS kết nối với Gateway của bạn dưới dạng node. Node hiển thị các khả năng thiết bị, camera, canvas, ghi màn hình, vị trí, giọng nói và thực thi hệ thống, cho các tác nhân của bạn.

Hãy nghĩ theo cách này: Gateway là não bộ, và các ứng dụng đồng hành là bàn tay và mắt trên các thiết bị của bạn.

Cách node hoạt động

1. Kết nối, Ứng dụng đồng hành kết nối với Gateway của bạn qua WebSocket
2. Ghép nối, Các thiết bị mới trải qua quy trình phê duyệt ghép nối
3. Đăng ký khả năng, Ứng dụng báo cho Gateway biết nó có thể làm gì (camera, canvas, vị trí, v.v.)
4. Tác nhân gọi, Trong các cuộc trò chuyện, tác nhân có thể yêu cầu node chụp ảnh, ghi màn hình, kết xuất canvas và nhiều hơn nữa

Node không phải là gateway, chúng không chạy AI riêng. Chúng là các thiết bị ngoại vi mở rộng những gì tác nhân của bạn có thể làm.

Ứng dụng đồng hành macOS

Ứng dụng macOS nằm trong thanh menu của bạn và đóng vai trò vừa là node đồng hành vừa là trình quản lý gateway.

Khả năng

• Canvas, Kết xuất nội dung web tương tác trong cửa sổ gốc
• Camera, Chụp ảnh và video clip (trước/sau)
• Ghi màn hình, Ghi toàn màn hình hoặc theo ứng dụng
• Thực thi hệ thống, Chạy lệnh shell trên Mac (được kiểm soát bởi phê duyệt exec)
• Thông báo, Gửi thông báo macOS gốc với các tùy chọn ưu tiên
• Vị trí, GPS khi có sẵn

Tính năng bổ sung

• Quản lý Gateway, Khởi động, dừng và theo dõi Gateway
• Sở hữu quyền, Quản lý quyền TCC của macOS (Thông báo, Trợ năng, Ghi màn hình, Micrô, Nhận dạng giọng nói, AppleScript)
• Liên kết sâu, Lược đồ URL neotask:// để khởi chạy tác nhân với tham số
• Cài đặt CLI, Cài đặt công cụ dòng lệnh neotask

Ứng dụng iOS

Ứng dụng iOS kết nối như một node với Gateway của bạn, mang các khả năng di động đến các tác nhân của bạn.

Khả năng

• Canvas, Kết xuất nội dung tương tác dựa trên SwiftUI
• Camera, Ảnh và video clip (camera trước/sau)
• Ghi âm thanh, Thu âm micrô
• Vị trí, GPS với lựa chọn độ chính xác
• Thông báo, Thông báo đẩy iOS gốc

Tính năng

• Khám phá, Tìm Gateway qua Bonjour (LAN), Tailscale (VPN) hoặc nhập thủ công
• Ghép nối, Ghép nối thiết bị an toàn với phê duyệt từ Gateway
• Đánh thức giọng nói, Kích hoạt từ đánh thức để tương tác rảnh tay
• Chế độ nói chuyện, Cuộc trò chuyện giọng nói liên tục
• Tiện ích mở rộng chia sẻ, Chia sẻ nội dung từ các ứng dụng khác trực tiếp đến tác nhân của bạn
• A2UI, Kết xuất giao diện người dùng do tác nhân điều khiển trên canvas thiết bị

Hạn chế

• Thiết kế ưu tiên nền trước (iOS tạm dừng kết nối WebSocket ở nền)
• Các hạn chế lệnh nền nghiêm ngặt
• Hiện đang trong giai đoạn xem trước nội bộ

Ứng dụng Android

Ứng dụng Android kết nối như một node với các khả năng tương tự iOS.

Khả năng

• Canvas, Kết xuất giao diện người dùng dựa trên Jetpack Compose
• Camera, Ảnh và video (trước/sau, được kiểm soát bởi quyền)
• Ghi màn hình, Chụp màn hình hệ thống (Android 10+)
• Vị trí, GPS với các chế độ độ chính xác
• Gửi SMS, Trên các thiết bị có hỗ trợ viễn thông
• Chat & Lịch sử, Xem lịch sử trò chuyện trên thiết bị

Tính năng

• Dịch vụ nền, Thông báo liên tục giữ kết nối hoạt động
• Phiên chia sẻ, Cùng phiên trên tất cả các node kết nối
• Android hiện đại, Yêu cầu Android 12+ (API 31)

Máy chủ node không đầu

Chạy node mà không có bất kỳ giao diện người dùng nào, lý tưởng cho máy chủ bản dựng, máy từ xa hoặc hộp Linux không đầu.

Khả năng

• Thực thi hệ thống, Chạy lệnh trên máy chủ node
• Danh sách lệnh được phép, Cấu hình lệnh nào node có thể thực thi
• Dịch vụ liên tục, Cài đặt dưới dạng dịch vụ launchd/systemd

Trường hợp sử dụng

• Tác nhân bản dựng CI/CD, Cho phép tác nhân AI kích hoạt bản dựng trên máy chủ từ xa
• Tự động hóa phòng máy chủ tại nhà, Chạy lệnh trên Raspberry Pi hoặc máy chủ gia đình
• Điều phối đa máy, Phối hợp nhiệm vụ trên nhiều máy

Ghép nối thiết bị

Luồng ghép nối

1. Ứng dụng đồng hành trình bày danh tính thiết bị của nó (dấu vân tay + khóa công khai)
2. Gateway phát hành yêu cầu phê duyệt ghép nối
3. Bạn phê duyệt thiết bị thông qua ứng dụng desktop hoặc bảng điều khiển
4. Gateway phát hành token thiết bị cho các kết nối trong tương lai

Mô hình tin cậy

• Thiết bị cục bộ (loopback) được tự động phê duyệt để thuận tiện
• Thiết bị không cục bộ yêu cầu phê duyệt rõ ràng
• Token thiết bị được lưu trữ cục bộ và tái sử dụng khi kết nối lại

Phê duyệt thực thi

Đối với các node có thể chạy lệnh hệ thống (macOS, máy chủ không đầu), phê duyệt exec kiểm soát những gì được phép:

• Chế độ danh sách cho phép, Chỉ các lệnh được phê duyệt trước mới có thể thực thi
• Chế độ hỏi, Các lệnh không xác định nhắc bạn phê duyệt
• Chế độ đầy đủ, Không có hạn chế (sử dụng cẩn thận)

Cấu hình danh sách cho phép theo từng node để kiểm soát chính xác những gì mỗi thiết bị có thể làm.