Giám sát và gỡ lỗi các phiên chạy tác nhân AI thông qua Neotask trên Neotask
Theo dõi và phát lại các phiên tác nhân AI với khả năng hiển thị từng bước đầy đủ
Giám sát chi phí LLM, mức sử dụng token và độ trễ trên tất cả các phiên chạy tác nhân
Gỡ lỗi các phiên chạy tác nhân thất bại với nhật ký có cấu trúc và phân tích lỗi
Bạn Có Thể Làm Gì
Neotask kết nối với AgentOps thông qua Neotask, cung cấp cho bạn quyền truy cập hội thoại vào dữ liệu quan sát tác nhân AI - để bạn có thể gỡ lỗi, tối ưu hóa và hiểu chính xác những gì tác nhân của bạn đang làm.
Theo dõi & Phát lại Phiên
Liệt kê các phiên gần đây - Lấy tất cả phiên tác nhân từ một khoảng thời gian, lọc theo trạng thái (thành công, lỗi, đang chạy), tên tác nhân hoặc thẻ tùy chỉnh
Kiểm tra các bước phiên - Đi sâu vào bất kỳ phiên nào để xem mọi cuộc gọi LLM, lệnh gọi công cụ và bước quyết định với đầu vào và đầu ra
Phát lại các phiên thất bại - Kiểm tra chính xác vị trí và lý do tác nhân thất bại - bước nào, công cụ nào, phản hồi LLM nào đã gây ra lỗi
So sánh các phiên - So sánh hai phiên cạnh nhau để hiểu tại sao một phiên thành công và phiên khác thất bại với đầu vào tương tự
Phân tích Chi phí & Hiệu suất
Báo cáo sử dụng token - Xem tổng token tiêu thụ theo mô hình, loại tác nhân và khoảng thời gian
Phân tích chi phí - Lấy chi tiêu theo mô hình (GPT-4, Claude, Gemini, v.v.), theo tác nhân hoặc theo khoảng thời gian
Phân tích độ trễ - Xác định các bước chậm nhất trong quy trình làm việc của tác nhân và thời gian đang được dùng ở đâu
Cảnh báo ngân sách - Truy vấn xem bạn đã vượt quá ngưỡng chi tiêu cho một dự án hoặc khoảng thời gian chưa
Gỡ lỗi & Phân tích Lỗi
Hiển thị lỗi - Tìm tất cả phiên có lỗi trong một khoảng thời gian nhất định với thông báo lỗi và dấu vết ngăn xếp
Phân tích lỗi công cụ - Xem công cụ MCP hoặc lệnh gọi hàm nào đang thất bại thường xuyên nhất và lý do
Mẫu thử lại LLM - Xác định các prompt liên tục yêu cầu thử lại và tiêu tốn thêm token
Truy vấn nhật ký có cấu trúc - Lọc nhật ký phiên theo thẻ, môi trường, mô hình hoặc siêu dữ liệu tùy chỉnh
Thử Hỏi
"Cho tôi xem tất cả phiên AgentOps hôm nay kết thúc với lỗi"
"Chúng tôi đã chi bao nhiêu cho các cuộc gọi LLM API tuần này, phân tích theo mô hình?"
"Lấy dấu vết bước cho phiên ID sess_abc123 - tôi muốn xem mọi lệnh gọi công cụ nó đã thực hiện"
"Tác nhân nào của tôi đang tiêu thụ nhiều token nhất trung bình mỗi phiên?"
"Tìm tất cả phiên mà lệnh gọi công cụ search_documents thất bại"
"So sánh dấu vết của một phiên thành công với một phiên thất bại trên cùng một truy vấn"
"Độ trễ trung bình cho research_agent của tôi trong 100 phiên gần nhất là bao nhiêu?"
"Cho tôi xem các phiên AgentOps được gắn thẻ environment:production trong tháng này"
Mẹo Chuyên nghiệp
Gắn thẻ các phiên AgentOps của bạn với environment, user_id và task_type khi tích hợp tác nhân - điều này giúp các truy vấn hội thoại như "cho tôi xem các phiên production cho người dùng X" có thể thực hiện mà không cần viết bộ lọc tùy chỉnh
Sử dụng Neotask trên Neotask để liên kết dữ liệu AgentOps với các hệ thống khác của bạn - lấy một phiên thất bại, xác định lỗi và tự động tạo issue trên GitHub với dấu vết đính kèm
Để tối ưu chi phí, hãy yêu cầu phân tích theo mẫu prompt để xác định prompt nào tốn kém và có thể được rút gọn hoặc lưu bộ nhớ đệm
Dữ liệu phiên AgentOps có giá trị nhất ở cấp độ bước - luôn đi sâu hơn bản tóm tắt phiên để xem đầu vào và đầu ra LLM thực tế khi gỡ lỗi hành vi không mong muốn
Multiple workspaces and capacity for larger teams.
Works Well With
Google Slides - Connect AgentOps to Google Slides with Neotask. Turn AI agent monitoring data into automated presentations for LLM obser...
Microsoft Teams - Connect AgentOps and Microsoft Teams with Neotask to monitor AI agents, get real-time alerts, and collaborate on LLM wor...
Whisper API - Connect Brevo and Google Slides with Neotask to automatically turn email campaign analytics into polished marketing repo...
Thêm tích hợp AI & ML
Context7 - Neotask trên Neotask giữ kiến thức thư viện của tác nhân luôn cập nhật qua Context7 - phân giải ID gói và lấy tài liệu mới nhất để tác nhân viết mã với API hiện tại, không phải API cũ.
AWS - Neotask trên Neotask tự động hóa hoạt động AWS EKS - quản lý cụm, khắc phục sự cố hạ tầng và duy trì chính sách IAM để Kubernetes của bạn chạy ổn định.
Google Compute Engine - Compute Engine is where a lot of infrastructure actually lives, and this connection gives Neotask real control over it: creating…
Nango - Neotask trên Neotask thực thi các hành động Nango đã kết nối tự động - kích hoạt bất kỳ hành động tích hợp nào nhóm đã cấu hình trên 300+ API thông qua giao diện tác nhân đơn nhất.
Buildable - Neotask trên Neotask thúc đẩy quản lý dự án AI-powered của Buildable - tự động nhận tác vụ, theo dõi tiến độ, hoàn thành công việc và duy trì đà phát triển mà không cần cập nhật trạng thái thủ công.
Drata - Neotask trên Neotask biến giám sát tuân thủ thành hội thoại - cho phép tác nhân truy vấn Drata về kiểm soát, rủi ro, chính sách và kết quả kiểm thử monitor mà không cần rời quy trình.