Arize Phoenix

AI และ ML

Neotask บน OpenClaw อัตโนมัติไปป์ไลน์การสังเกตการณ์ LLM ของคุณผ่าน Arize Phoenix — ตรวจสอบ trace จัดการ prompt และรันการทดลองเพื่อให้ระบบ AI ของคุณเชื่อถือได้

• สุขภาพไปป์ไลน์ LLM ถูกตรวจสอบโดยอัตโนมัติ — เอเจนต์ของคุณตรวจสอบ trace แจ้งเตือน span ที่ล้มเหลว และนำเสนอปัญหา annotation ก่อนที่จะถึง production
• วิศวกรรม prompt กลายเป็นเวิร์กโฟลว์ที่มีการจัดการ — การควบคุมเวอร์ชัน การติดแท็ก และการทดสอบ A/B ของ prompt เกิดขึ้นผ่านการสนทนาแทนการทำซ้ำด้วยตนเอง
• ชุดข้อมูลประเมินเติบโตจากข้อมูล production จริง — เอเจนต์ของคุณจับ trace เพิ่มเป็นตัวอย่างทดสอบ และรันการทดลอง regression โดยอัตโนมัติ

สิ่งที่คุณทำได้

Neotask เชื่อมต่อกับ Arize Phoenix ผ่าน OpenClaw เพื่ออัตโนมัติการสังเกตการณ์ LLM ทั้งหมดของคุณ

| หมวด | แอคชัน | สิ่งที่ทำได้ |

|------|---------|-------------|

| Trace | ตรวจสอบ ค้นหา วิเคราะห์ | ติดตามและดีบักการเรียก LLM |

| Prompt | สร้าง แก้ไข ควบคุมเวอร์ชัน ทดสอบ | จัดการ prompt อย่างเป็นระบบ |

| การทดลอง | สร้าง รัน เปรียบเทียบ | ทดสอบการเปลี่ยนแปลง prompt และโมเดล |

| ชุดข้อมูล | สร้าง จัดการ เพิ่มตัวอย่าง | สร้างชุดทดสอบจากข้อมูลจริง |

| Annotation | ตรวจสอบ จัดการ | ติดฉลากและประเมินผลลัพธ์ |

ทุกแอคชันทำงานโดยอัตโนมัติหรือต้องการการอนุมัติจากคุณ — คุณเป็นผู้ตัดสินใจ

ลองถามดู

"แสดง trace ที่ล้มเหลวทั้งหมดใน 24 ชั่วโมงที่ผ่านมา"

"สร้าง prompt เวอร์ชันใหม่สำหรับระบบสรุปข้อความ"

"รันการทดลองเปรียบเทียบ prompt v2 กับ v3"

"เพิ่ม trace นี้เป็นตัวอย่างทดสอบในชุดข้อมูล regression"

เคล็ดลับ

กำหนดเวลาการตรวจสอบ trace รายวัน: เอเจนต์รายงาน span ที่ล้มเหลวและ latency ที่ผิดปกติ

ใช้การทดลองก่อนปรับใช้ prompt ใหม่ — วัดผลด้วยข้อมูลจริงก่อนส่งเข้า production

รวม Phoenix กับระบบ CI/CD ในกลุ่มแอปเพื่อให้การทดสอบ prompt เป็นส่วนหนึ่งของกระบวนการ deploy

Works Well With

• bigquery - Connect Arize Phoenix with BigQuery to sync ML model metrics, traces, and observability data directly into your data war...
• google-slides - Connect Arize Phoenix to Google Slides to automate ML observability reporting and share AI model monitoring insights as ...
• microsoft-365 - Connect Arize Phoenix ML observability with Microsoft 365. Send AI model monitoring reports to Teams, automate alerts, a...