AgentOps

IA & ML

Surveillez et déboguez les exécutions d'agents IA via Neotask sur OpenClaw

Ce que vous pouvez faire

Neotask se connecte à AgentOps via OpenClaw, vous donnant un accès conversationnel à vos données d'observabilité des agents IA — pour déboguer, optimiser et comprendre exactement ce que font vos agents.

Traçage et relecture des sessions

  • Lister les sessions récentes — Récupérez toutes les sessions d'agents sur une période donnée, filtrées par statut (succès, erreur, en cours), nom de l'agent ou tags personnalisés
  • Inspecter les étapes d'une session — Explorez n'importe quelle session pour voir chaque appel LLM, invocation d'outil et étape de décision avec les entrées et sorties
  • Rejouer les sessions échouées — Examinez exactement où et pourquoi un agent a échoué — quelle étape, quel outil, quelle réponse LLM a déclenché l'échec
  • Comparer les sessions — Comparez deux sessions côte à côte pour comprendre pourquoi l'une a réussi et l'autre a échoué sur des entrées similaires

    • Analyses de coûts et de performances

  • Rapports d'utilisation de tokens — Consultez le total de tokens consommés par modèle, type d'agent et période
  • Ventilation des coûts — Obtenez les dépenses par modèle (GPT-4, Claude, Gemini, etc.), par agent ou par fenêtre temporelle
  • Analyse de latence — Identifiez les étapes les plus lentes dans vos flux de travail d'agents et où le temps est passé
  • Alertes budgétaires — Vérifiez si vous avez dépassé les seuils de dépenses pour un projet ou une période

    • Débogage et analyse des erreurs

  • Faire remonter les erreurs — Trouvez toutes les sessions avec des erreurs sur une période donnée avec leurs messages d'erreur et traces de pile
  • Analyse des échecs d'outils — Identifiez quels outils MCP ou appels de fonctions échouent le plus fréquemment et pourquoi
  • Schémas de réessai LLM — Identifiez les prompts qui nécessitent systématiquement des réessais et coûtent des tokens supplémentaires
  • Requêtes de journaux structurés — Filtrez les journaux de session par tag, environnement, modèle ou métadonnées personnalisées

    • Essayez de demander

  • "Montre-moi toutes les sessions AgentOps d'aujourd'hui qui se sont terminées en erreur"
  • "Combien avons-nous dépensé en appels API LLM cette semaine, ventilé par modèle ?"
  • "Récupère la trace des étapes pour la session ID sess_abc123 — je veux voir chaque appel d'outil effectué"
  • "Lequel de mes agents consomme le plus de tokens en moyenne par session ?"
  • "Trouve toutes les sessions où l'appel d'outil à search_documents a échoué"
  • "Compare la trace d'une session réussie avec celle d'une session échouée sur la même requête"
  • "Quelle est la latence moyenne de mon research_agent sur les 100 dernières sessions ?"
  • "Montre-moi mes sessions AgentOps taguées avec environment:production de ce mois"

    • Conseils d'expert

  • Taguez vos sessions AgentOps avec environment, user_id et task_type lors de l'instrumentation de vos agents — cela rend les requêtes conversationnelles comme « montre-moi les sessions de production pour l'utilisateur X » possibles sans écrire de filtres personnalisés
  • Utilisez Neotask sur OpenClaw pour corréler les données AgentOps avec vos autres systèmes — récupérez une session échouée, identifiez l'erreur et créez automatiquement un ticket GitHub avec la trace jointe
  • Pour l'optimisation des coûts, demandez une ventilation par modèle de prompt pour identifier quels prompts sont coûteux et pourraient être raccourcis ou mis en cache
  • Les données de session AgentOps sont plus précieuses au niveau des étapes — explorez toujours au-delà du résumé de session pour voir les entrées et sorties réelles du LLM lors du débogage de comportements inattendus

    • Works Well With