AgentOps

AI & ML

Giám sát và gỡ lỗi các phiên chạy tác nhân AI thông qua Neotask trên OpenClaw

Bạn Có Thể Làm Gì

Neotask kết nối với AgentOps thông qua OpenClaw, cung cấp cho bạn quyền truy cập hội thoại vào dữ liệu quan sát tác nhân AI — để bạn có thể gỡ lỗi, tối ưu hóa và hiểu chính xác những gì tác nhân của bạn đang làm.

Theo dõi & Phát lại Phiên

  • Liệt kê các phiên gần đây — Lấy tất cả phiên tác nhân từ một khoảng thời gian, lọc theo trạng thái (thành công, lỗi, đang chạy), tên tác nhân hoặc thẻ tùy chỉnh
  • Kiểm tra các bước phiên — Đi sâu vào bất kỳ phiên nào để xem mọi cuộc gọi LLM, lệnh gọi công cụ và bước quyết định với đầu vào và đầu ra
  • Phát lại các phiên thất bại — Kiểm tra chính xác vị trí và lý do tác nhân thất bại — bước nào, công cụ nào, phản hồi LLM nào đã gây ra lỗi
  • So sánh các phiên — So sánh hai phiên cạnh nhau để hiểu tại sao một phiên thành công và phiên khác thất bại với đầu vào tương tự

    • Phân tích Chi phí & Hiệu suất

  • Báo cáo sử dụng token — Xem tổng token tiêu thụ theo mô hình, loại tác nhân và khoảng thời gian
  • Phân tích chi phí — Lấy chi tiêu theo mô hình (GPT-4, Claude, Gemini, v.v.), theo tác nhân hoặc theo khoảng thời gian
  • Phân tích độ trễ — Xác định các bước chậm nhất trong quy trình làm việc của tác nhân và thời gian đang được dùng ở đâu
  • Cảnh báo ngân sách — Truy vấn xem bạn đã vượt quá ngưỡng chi tiêu cho một dự án hoặc khoảng thời gian chưa

    • Gỡ lỗi & Phân tích Lỗi

  • Hiển thị lỗi — Tìm tất cả phiên có lỗi trong một khoảng thời gian nhất định với thông báo lỗi và dấu vết ngăn xếp
  • Phân tích lỗi công cụ — Xem công cụ MCP hoặc lệnh gọi hàm nào đang thất bại thường xuyên nhất và lý do
  • Mẫu thử lại LLM — Xác định các prompt liên tục yêu cầu thử lại và tiêu tốn thêm token
  • Truy vấn nhật ký có cấu trúc — Lọc nhật ký phiên theo thẻ, môi trường, mô hình hoặc siêu dữ liệu tùy chỉnh

    • Thử Hỏi

  • "Cho tôi xem tất cả phiên AgentOps hôm nay kết thúc với lỗi"
  • "Chúng tôi đã chi bao nhiêu cho các cuộc gọi LLM API tuần này, phân tích theo mô hình?"
  • "Lấy dấu vết bước cho phiên ID sess_abc123 — tôi muốn xem mọi lệnh gọi công cụ nó đã thực hiện"
  • "Tác nhân nào của tôi đang tiêu thụ nhiều token nhất trung bình mỗi phiên?"
  • "Tìm tất cả phiên mà lệnh gọi công cụ search_documents thất bại"
  • "So sánh dấu vết của một phiên thành công với một phiên thất bại trên cùng một truy vấn"
  • "Độ trễ trung bình cho research_agent của tôi trong 100 phiên gần nhất là bao nhiêu?"
  • "Cho tôi xem các phiên AgentOps được gắn thẻ environment:production trong tháng này"

    • Mẹo Chuyên nghiệp

  • Gắn thẻ các phiên AgentOps của bạn với environment, user_id và task_type khi tích hợp tác nhân — điều này giúp các truy vấn hội thoại như "cho tôi xem các phiên production cho người dùng X" có thể thực hiện mà không cần viết bộ lọc tùy chỉnh
  • Sử dụng Neotask trên OpenClaw để liên kết dữ liệu AgentOps với các hệ thống khác của bạn — lấy một phiên thất bại, xác định lỗi và tự động tạo issue trên GitHub với dấu vết đính kèm
  • Để tối ưu chi phí, hãy yêu cầu phân tích theo mẫu prompt để xác định prompt nào tốn kém và có thể được rút gọn hoặc lưu bộ nhớ đệm
  • Dữ liệu phiên AgentOps có giá trị nhất ở cấp độ bước — luôn đi sâu hơn bản tóm tắt phiên để xem đầu vào và đầu ra LLM thực tế khi gỡ lỗi hành vi không mong muốn

    • Works Well With