AgentOps

IA & ML

Monitora e debugga le esecuzioni degli agenti IA tramite Neotask su OpenClaw

Cosa Puoi Fare

Neotask si connette ad AgentOps tramite OpenClaw, offrendoti accesso conversazionale ai dati di osservabilità dei tuoi agenti IA — così puoi debuggare, ottimizzare e capire esattamente cosa stanno facendo i tuoi agenti.

Tracciamento e Riproduzione delle Sessioni

  • Elenca le sessioni recenti — Recupera tutte le sessioni degli agenti da un intervallo di tempo, filtrate per stato (successo, errore, in esecuzione), nome dell'agente o tag personalizzati
  • Ispeziona i passaggi della sessione — Approfondisci qualsiasi sessione per vedere ogni chiamata LLM, invocazione di strumenti e passaggio decisionale con input e output
  • Riproduci le sessioni fallite — Esamina esattamente dove e perché un agente ha fallito — quale passaggio, quale strumento, quale risposta LLM ha causato il fallimento
  • Confronta le sessioni — Confronta due sessioni fianco a fianco per capire perché una ha avuto successo e l'altra ha fallito con input simili

    • Analisi dei Costi e delle Prestazioni

  • Report sull'uso dei token — Visualizza il totale dei token consumati per modello, tipo di agente e periodo di tempo
  • Dettaglio dei costi — Recupera la spesa per modello (GPT-4, Claude, Gemini, ecc.), per agente o per finestra temporale
  • Analisi della latenza — Identifica i passaggi più lenti nei flussi di lavoro dei tuoi agenti e dove viene impiegato il tempo
  • Avvisi di budget — Verifica se hai superato le soglie di spesa per un progetto o un periodo di tempo

    • Debug e Analisi degli Errori

  • Individua gli errori — Trova tutte le sessioni con errori in un dato periodo con i relativi messaggi di errore e stack trace
  • Analisi dei fallimenti degli strumenti — Scopri quali strumenti MCP o chiamate di funzione falliscono più frequentemente e perché
  • Pattern di retry LLM — Identifica i prompt che richiedono costantemente dei retry e consumano token extra
  • Query sui log strutturati — Filtra i log delle sessioni per tag, ambiente, modello o metadati personalizzati

    • Prova a Chiedere

  • "Mostrami tutte le sessioni AgentOps di oggi terminate con errore"
  • "Quanto abbiamo speso in chiamate API LLM questa settimana, suddiviso per modello?"
  • "Recupera la traccia dei passaggi per l'ID sessione sess_abc123 — voglio vedere ogni chiamata a strumenti che ha effettuato"
  • "Quale dei miei agenti consuma più token in media per sessione?"
  • "Trova tutte le sessioni in cui la chiamata allo strumento search_documents è fallita"
  • "Confronta la traccia di una sessione riuscita con una fallita sulla stessa query"
  • "Qual è la latenza media del mio research_agent nelle ultime 100 sessioni?"
  • "Mostrami le mie sessioni AgentOps taggate con environment:production di questo mese"

    • Suggerimenti Pro

  • Tagga le tue sessioni AgentOps con environment, user_id e task_type quando strumenti i tuoi agenti — rende possibili query conversazionali come "mostrami le sessioni di produzione per l'utente X" senza scrivere filtri personalizzati
  • Usa Neotask su OpenClaw per correlare i dati di AgentOps con i tuoi altri sistemi — recupera una sessione fallita, identifica l'errore e crea automaticamente un issue su GitHub con la traccia allegata
  • Per l'ottimizzazione dei costi, chiedi un dettaglio per template di prompt per identificare quali prompt sono costosi e potrebbero essere accorciati o memorizzati in cache
  • I dati delle sessioni AgentOps sono più preziosi a livello di singolo passaggio — approfondisci sempre oltre il riepilogo della sessione per vedere gli effettivi input e output LLM quando debugghi comportamenti inaspettati

    • Works Well With