AgentOps

AI 與機器學習

透過 Neotask 在 OpenClaw 上監控和除錯 AI 代理執行

您可以做什麼

Neotask 透過 OpenClaw 連接 AgentOps，讓您以對話方式存取 AI 代理的可觀測性數據——幫助您除錯、最佳化，並精確了解您的代理正在做什麼。

工作階段追蹤與重播

  • 列出近期工作階段 — 擷取指定時間範圍內的所有代理工作階段，可按狀態（成功、錯誤、執行中）、代理名稱或自訂標籤篩選
  • 檢視工作階段步驟 — 深入任何工作階段，查看每個 LLM 呼叫、工具調用和決策步驟的輸入與輸出
  • 重播失敗的工作階段 — 精確檢視代理在何處及為何失敗——哪個步驟、哪個工具、哪個 LLM 回應觸發了失敗
  • 比較工作階段 — 並排比較兩個工作階段，了解為何一個成功而另一個在類似輸入下失敗

    • 成本與效能分析

  • 令牌使用報告 — 按模型、代理類型和時間區間查看消耗的總令牌數
  • 成本細分 — 按模型（GPT-4、Claude、Gemini 等）、按代理或按時間窗口擷取支出
  • 延遲分析 — 識別代理工作流程中最慢的步驟及時間花費在何處
  • 預算警報 — 查詢某個專案或時間區間是否已超出支出閾值

    • 除錯與錯誤分析

  • 顯示錯誤 — 找出指定時期內所有含錯誤的工作階段，包含其錯誤訊息和堆疊追蹤
  • 工具失敗分析 — 查看哪些 MCP 工具或函式呼叫最常失敗及其原因
  • LLM 重試模式 — 識別持續需要重試且消耗額外令牌的提示
  • 結構化日誌查詢 — 按標籤、環境、模型或自訂中繼資料篩選工作階段日誌

    • 試試這樣問

  • 「顯示今天所有以錯誤結束的 AgentOps 工作階段」
  • 「我們本週在 LLM API 呼叫上花了多少錢，按模型分類？」
  • 「擷取工作階段 ID sess_abc123 的步驟追蹤——我想看到它發出的每個工具呼叫」
  • 「我的哪個代理平均每個工作階段消耗最多令牌？」
  • 「找出所有 search_documents 工具呼叫失敗的工作階段」
  • 「比較同一查詢中成功工作階段與失敗工作階段的追蹤」
  • 「我的 research_agent 在最近 100 個工作階段中的平均延遲是多少？」
  • 「顯示本月標記為 environment:production 的 AgentOps 工作階段」

    • 專業技巧

  • 在為代理進行檢測時，為 AgentOps 工作階段標記 environment、user_id 和 task_type——這讓對話式查詢如「顯示使用者 X 的正式環境工作階段」成為可能，無需撰寫自訂篩選器
  • 使用 Neotask 在 OpenClaw 上將 AgentOps 數據與您的其他系統關聯——擷取失敗的工作階段、識別錯誤，並自動在 GitHub 建立附帶追蹤記錄的問題
  • 為了最佳化成本，請按提示範本要求細分，以識別哪些提示成本高昂且可以縮短或快取
  • AgentOps 工作階段數據在步驟層級最有價值——在除錯非預期行為時，務必深入查看實際的 LLM 輸入和輸出，不要只看工作階段摘要

    • Works Well With