AgentOps

AI & ML

OpenClaw의 Neotask을 통해 AI 에이전트 실행을 모니터링하고 디버깅하세요

할 수 있는 작업

Neotask은 OpenClaw를 통해 AgentOps에 연결되어 AI 에이전트 관측성 데이터에 대화형으로 접근할 수 있습니다 — 에이전트가 무엇을 하고 있는지 정확히 디버깅하고, 최적화하고, 이해할 수 있습니다.

세션 추적 및 재생

  • 최근 세션 목록 조회 — 상태(성공, 오류, 실행 중), 에이전트 이름 또는 사용자 정의 태그로 필터링하여 특정 기간의 모든 에이전트 세션을 조회합니다
  • 세션 단계 검사 — 모든 세션을 세부 분석하여 입력 및 출력과 함께 모든 LLM 호출, 도구 실행 및 결정 단계를 확인합니다
  • 실패한 세션 재생 — 에이전트가 어디에서 왜 실패했는지 정확히 확인합니다 — 어떤 단계에서, 어떤 도구에서, 어떤 LLM 응답이 실패를 유발했는지 검사합니다
  • 세션 비교 — 유사한 입력에서 하나는 성공하고 다른 하나는 실패한 이유를 이해하기 위해 두 세션을 나란히 비교합니다

    • 비용 및 성능 분석

  • 토큰 사용 보고서 — 모델, 에이전트 유형 및 기간별 총 소비 토큰을 확인합니다
  • 비용 분석 — 모델별(GPT-4, Claude, Gemini 등), 에이전트별 또는 기간별 지출을 조회합니다
  • 지연 시간 분석 — 에이전트 워크플로에서 가장 느린 단계와 시간이 소비되는 곳을 파악합니다
  • 예산 알림 — 프로젝트 또는 기간에 대해 지출 임계값을 초과했는지 조회합니다

    • 디버깅 및 오류 분석

  • 오류 검색 — 특정 기간에 오류가 발생한 모든 세션을 오류 메시지 및 스택 트레이스와 함께 찾습니다
  • 도구 실패 분석 — 가장 자주 실패하는 MCP 도구 또는 함수 호출과 그 원인을 확인합니다
  • LLM 재시도 패턴 — 지속적으로 재시도가 필요하고 추가 토큰이 소비되는 프롬프트를 식별합니다
  • 구조화된 로그 조회 — 태그, 환경, 모델 또는 사용자 정의 메타데이터로 세션 로그를 필터링합니다

    • 이렇게 질문해 보세요

  • "오늘 오류로 종료된 모든 AgentOps 세션을 보여줘"
  • "이번 주 LLM API 호출에 얼마를 썼는지 모델별로 분석해 줘"
  • "세션 ID sess_abc123의 단계 추적을 가져와 줘 — 수행한 모든 도구 호출을 보고 싶어"
  • "내 에이전트 중 세션당 평균 토큰을 가장 많이 소비하는 것은 어떤 거야?"
  • "search_documents 도구 호출이 실패한 모든 세션을 찾아줘"
  • "동일한 쿼리에 대해 성공한 세션과 실패한 세션의 추적을 비교해 줘"
  • "최근 100개 세션에 걸쳐 research_agent의 평균 지연 시간이 얼마야?"
  • "이번 달 environment:production으로 태그된 AgentOps 세션을 보여줘"

    • 프로 팁

  • 에이전트를 구성할 때 AgentOps 세션에 environment, user_id, task_type 태그를 지정하세요 — 사용자 정의 필터를 작성하지 않아도 "사용자 X의 프로덕션 세션 보여줘"와 같은 대화형 질의가 가능해집니다
  • OpenClaw의 Neotask을 사용하여 AgentOps 데이터를 다른 시스템과 연관시키세요 — 실패한 세션을 조회하고 오류를 식별한 후 추적 정보가 첨부된 GitHub 이슈를 자동으로 생성합니다
  • 비용 최적화를 위해 프롬프트 템플릿별 분석을 요청하여 비용이 많이 드는 프롬프트를 식별하고 축소하거나 캐싱할 수 있습니다
  • AgentOps 세션 데이터는 단계 수준에서 가장 가치가 있습니다 — 예상치 못한 동작을 디버깅할 때는 항상 세션 요약을 넘어 실제 LLM 입력 및 출력까지 세부 분석하세요

    • Works Well With