بناء عرض مبهر بالذكاء الاصطناعي يستغرق ساعات. أما بناء ميزة يعتمد عليها العملاء يوميًا فيتطلب انضباطًا. والفارق في الغالب هو التقييم.
اختر مشكلة لها مؤشر قياس
ابدأ من سير عمل يمكن قياس الوقت أو المال فيه: زمن الاستجابة الأولى، ساعات المراجعة، معدل التحويل. إن لم تستطع تسمية المؤشر، فلن تعرف إن كانت الميزة تعمل.
ابنِ مجموعة التقييم أولًا
قبل كتابة التعليمات، اجمع من 100 إلى 500 مثال حقيقي بإجابات صحيحة معروفة. كل تغيير في التعليمات أو الاسترجاع أو النماذج يُختبر على هذه المجموعة، فتتحسن بدلًا من أن تخمّن.
الاسترجاع هو معظم العمل
في أنظمة RAG، جودة الإجابة هي في الغالب جودة الاسترجاع. البحث الهجين (كلمات مفتاحية ومتجهات) والتقطيع الجيد وفلاتر البيانات الوصفية أهم من النموذج الذي تختاره.
صمّم للتعامل مع الفشل
- اعرض المصادر ليتحقق المستخدمون من الإجابات.
- وجّه الحالات الحساسة أو منخفضة الثقة إلى إنسان.
- سجّل المدخلات والمخرجات والملاحظات للتقييم المستمر.
- حدد سقفًا للتكلفة لكل طلب ونماذج بديلة.
النموذج هو الجزء السهل. النظام المحيط به هو المنتج.
- #AI
- #LLM
- #RAG
- #Product



