في الجزء الثاني، استكشفنا كيف تساعد حلقة المنتج فريق GoDaddy Airo AI Builder على إيجاد مشاكل العملاء وتشخيصها. يتناول هذا المنشور استخدامًا آخر لنفس إشارات الإنتاج: توسيع مجموعات بيانات تقييم وكلاء الذكاء الاصطناعي بسيناريوهات مستمدة من كيفية استخدام العملاء لـ Airo فعلًا.
إذا كنت جديدًا على السلسلة، يشرح الجزء الأول لماذا تكسر المنتجات الوكيلية القياس التقليدي. الوحدة ذات المعنى هي الحلقة الكاملة من النية إلى التصحيح إلى النتيجة، وليس دورة دردشة واحدة.
الخلاصة الرئيسية: تحدد التقييمات المستندة إلى المواصفات السلوك المتوقع. تكشف أنماط المحادثة الإنتاجية كيف يصيغ العملاء الطلبات فعلًا ويجمعون الخطوات ويشيرون إلى الأدوار السابقة، محوّلةً سير العمل الحقيقية إلى اختبارات انحدار وتغطية تقييم أعمق.
في هذا المقال
- ما هي مجموعات بيانات تقييم وكلاء الذكاء الاصطناعي؟
- ابدأ بالمواصفة ثم تعلم من الاستخدام
- تمارين الكتاب المدرسي والمحادثات اليومية
- تحويل تفاعلات العملاء إلى سيناريوهات تقييم
- التعلم من الإخفاقات
- حماية سير العمل التي يستخدمها العملاء أكثر
- حماية خصوصية العميل
- ما الذي يغيّره هذا بالنسبة لنا في GoDaddy
- سلسلة حلقة المنتج
- الأسئلة الشائعة
ما هي مجموعات بيانات تقييم وكلاء الذكاء الاصطناعي؟
مجموعات بيانات تقييم وكلاء الذكاء الاصطناعي هي مجموعات منظمة من سيناريوهات الاختبار المستخدمة للتحقق مما إذا كان وكيل الذكاء الاصطناعي يتصرف كما هو مقصود عبر مجموعة من المهام الواقعية. يتضمن كل سيناريو عادةً حالة منتج ابتدائية وتسلسلًا من طلبات المستخدم وتعريفًا واضحًا لكيفية ظهور النتيجة الناجحة.
على عكس المعايير أحادية الدور، يجب أن تأخذ مجموعات بيانات تقييم الوكلاء في الاعتبار المحادثات متعددة الأدوار والسياق المحمول عبر الخطوات والفجوة بين ما يقوله المستخدم وما يعنيه. بالنسبة للمنتجات الوكيلية مثل GoDaddy Airo AI Builder، تُعدّ مجموعة بيانات التقييم القوية الآلية الأساسية لاكتشاف الانحدارات قبل وصولها إلى العملاء.
ابدأ بالمواصفة ثم تعلم من الاستخدام
تبدأ مجموعة بيانات التقييم الأولية لدينا بمواصفات المنتج: ما يجب أن تفعله الميزة وكيف تبدو النتيجة الناجحة. تمنحنا هذه المتطلبات أساسًا متعمدًا لاختبار المنتج قبل أن يستخدمه العملاء.
تظل التقييمات المستندة إلى المواصفات ضرورية بعد الإطلاق. إنها تحدد السلوك الذي نتوقعه وتوفر طريقة متسقة للتحقق منه مع تغيّر المنتج. يضيف الاستخدام الإنتاجي منظورًا آخر: كيف يعبّر العملاء عن أهدافهم ويجمعون الطلبات ويستجيبون للوكيل على طول الطريق.
هذا التمييز مهم لـ GoDaddy Airo AI Builder. على سبيل المثال، يمكن للمواصفة تحديد ما يعنيه استبدال صورة بشكل صحيح. تكشف محادثات العملاء عن طرق عديدة يطلب بها الناس هذا التغيير، بما في ذلك الإشارات إلى الرسائل السابقة والتعديلات اللاحقة والتفاصيل التي يتوقعون أن يتذكرها الوكيل.
تساعدنا حلقة المنتج على دمج تلك الأنماط في مجموعة بيانات التقييم. إنها توسع التغطية التي نبنيها من المواصفات. لا تحل محل تلك الأساس.
تمارين الكتاب المدرسي والمحادثات اليومية
فكّر في تعلم لغة. تعلّم تمارين الكتاب المدرسي المفردات والقواعد وكيفية تكوين جملة. يضيف الاستماع إلى المحادثات اليومية ممارسة حول كيفية استخدام الناس لتلك المهارات في مواقف مختلفة. كلاهما يخدم غرضًا.
قد يعلّم الكتاب المدرسي شخصًا ما طلب القهوة بقوله: "أريد قهوة مثلجة كبيرة، من فضلك." في مقهى مألوف، قد يقول: "نفس الأمس، لكن مثلجة"، ثم يغيّر الحجم. يعتمد فهم هذا الطلب على معرفة ما جاء قبله.
يستخدم العملاء Airo بنفس الطريقة تمامًا. قد يطلب اختبار: "استبدل صورة الصفحة الرئيسية." قد يقول العميل بدلًا من ذلك: "استخدم الأخرى"، يليه: "احتفظ بالاقتصاص كما كان." يحتاج Airo إلى فهم أي صورة يقصدون وأي الاختيارات السابقة يجب أن تبقى كما هي.
يمكننا تصميم اختبارات للسياق المحادثي من البداية. تضيف حلقة المنتج أدلة حول الأنماط المحددة التي يستخدمها العملاء، مما يساعدنا على توسيع تلك الاختبارات وتحديد أين ستكون التغطية الأعمق الأكثر قيمة. يستند ذلك إلى إطار القياس متعدد الأدوار من الجزء الأول: الاستجابة ليست نفس النتيجة.
تحويل تفاعلات العملاء إلى سيناريوهات تقييم
تقرأ حلقة المنتج محادثات العملاء إلى جانب القياس عن بُعد وسياق المنتج. يمكنها تجميع التفاعلات حسب ما يحاول العملاء إنجازه، ثم تحديد الطرق الشائعة التي يصيغون بها طلبًا والخطوات التي تليه.
الوحدة المفيدة غالبًا ما تكون تسلسلًا، وليس مطالبة واحدة. "استخدم الأخرى" لا معنى له كبير دون اختيارات الصور السابقة. يحتاج السيناريو ذو المعنى إلى المحادثة ذات الصلة وحالة المنتج الابتدائية، يليها طلب العميل وتعريف واضح للنتيجة المتوقعة.
تلك الجزء الأخير مهم. تخبرنا محادثة الإنتاج بما حدث. لا تخبرنا تلقائيًا بما كان ينبغي أن يحدث. لا تزال النتيجة المتوقعة تحتاج إلى التحقق منها مقابل متطلبات المنتج وقصد العميل. بالنسبة لتحرير الصور، قول الوكيل "تم" لا يكفي. يجب أن تعكس الصفحة الناتجة التغيير المطلوب.
يمكن لحلقة المنتج توليد سيناريوهات مرشحة من هذه الأنماط وإنشاء تذاكر للثغرات في التغطية. قبل أن يصبح المرشح اختبارًا قابلًا لإعادة الاستخدام، يحتاج إلى إعداد قابل للمراجعة ومعيار نجاح واضح ومعالجة مناسبة لبيانات العميل. يجب إزالة التفاصيل الخاصة أو استبدالها دون فقدان السياق الذي يجعل السيناريو مفيدًا.
يربط هذا ما نتعلمه في الإنتاج بعمل التقييم الملموس، بدلًا من ترك النتائج في تقرير. إنه نظير التقييمات لسير عمل التشخيص في الجزء الثاني، حيث تغذّي إشارات الإنتاج تذاكر الهندسة بدلًا من حالات الاختبار.
التعلم من الإخفاقات
أحد الاستخدامات هو تحويل إخفاق متكرر إلى اختبار انحدار: اختبار مصمم للكشف عما إذا كانت مشكلة تم إصلاحها سابقًا تعود.
لنفترض أن العملاء يحتاجون بشكل متكرر إلى تصحيح استبدال صورة لأن إعداد اقتصاص سابقًا يُفقد. يمكن لحلقة المنتج تحديد هذا النمط وتوليد سيناريو مرشح يحافظ على التسلسل ذي الصلة من الطلبات. يمكن للفريق بعد ذلك التحقق من أن الاختبار يعيد إنتاج المشكلة وأن نتيجته المتوقعة تتطابق مع السلوك المقصود.
بمجرد إصلاح المشكلة، يوفر هذا السيناريو فحصًا قابلًا للتكرار للتغييرات المستقبلية. لا يضمن أن المشكلة لا يمكن أن تعود أبدًا، لكنه يمنحنا طريقة مستهدفة للكشف عن تكرار قبل أن تصل إصدارًا إلى العملاء.
القيمة هي أن التحقيق يساهم في كل من إصلاح وإضافة دائمة إلى تغطية التقييم لدينا.
حماية سير العمل التي يستخدمها العملاء أكثر
الإخفاقات ليست السبب الوحيد لإضافة التغطية. تساعدنا حلقة المنتج أيضًا على فهم القدرات التي يعتمد عليها العملاء والاختلافات التي يستخدمونها في أغلب الأحيان، حتى عندما تنجح تلك التفاعلات.
خذ تحرير الصور كمثال. يمكن لمجموعة بياناتنا المستندة إلى المواصفات تغطية سلوكيات التحرير المحددة. إذا أظهر الاستخدام الإنتاجي أن تحرير الصور شائع بشكل خاص، يمكن لحلقة المنتج مساعدتنا على تعميق تلك التغطية حول سير العمل الفعلية: استبدال صورة مع الحفاظ على اقتصاصها، وضبطها بعد تغيير تخطيط، أو العودة إلى اختيار سابق لاحقًا في المحادثة.
هذه أمثلة توضيحية، لكن المبدأ عملي. نريد حماية التوليفات التي يعتمد عليها العملاء، لا انتظار فشل كل منها قبل إضافة اختبار. مع تغيّر سلوك العملاء، تساعدنا حلقة المنتج على تحديد إضافات أخرى. الهدف ليس إعادة توليد مجموعة البيانات بأكملها كل يوم. تظل مجموعة مستقرة من الاختبارات ذات قيمة لمقارنة الإصدارات، بينما تبقي الإضافات المراجعة تغطيتنا متصلة بالاستخدام الحالي.
حماية خصوصية العميل
حماية معلومات العميل جزء لا يتجزأ من كيفية بنائنا لسيناريوهات التقييم. أثناء توليد السيناريوهات، نقوم بإخفاء معلومات التعريف الشخصية (PII) مع الحفاظ على الصياغة والسياق ذوي الصلة اللازمين لاختبار سلوك الوكيل. التركيز على فهم مهمة العميل، وليس تحديد هوية الشخص وراءها.
ما الذي يغيّره هذا بالنسبة لنا في GoDaddy
بالنسبة لفريق Airo AI Builder لدينا، تربط حلقة المنتج نوعين من المعرفة: ما صممنا المنتج للقيام به وكيف يضعه العملاء موضع التنفيذ. تحدد مواصفاتنا السلوك المتوقع. تساعدنا أنماط الإنتاج على رؤية أين تستحق المزيد من الاختلافات أو سياق المحادثة أو توليفات سير العمل التغطية.
يمنح هذا مهندسينا وفريق المنتج أساسًا أوضح لتحديد أين يستثمرون جهد التقييم. يمكن أن تؤدي مشكلة متكررة إلى اختبار انحدار مستهدف. يمكن أن تحصل قدرة مستخدمة بكثرة على تغطية أعمق قبل أن يلفت إخفاق انتباهنا. تأتي الأدلة مع العمل المقترح، مما يقلل الجهد اللازم لإعادة بناء كل سيناريو.
هذا هو الاتجاه الذي نريد أن نأخذ فيه التقييم في GoDaddy: أساس قوي في متطلبات المنتج، موسّع بما نتعلمه من العملاء. مع دعم منتجات الذكاء الاصطناعي لسير عمل أكثر تنوعًا، يصبح كلا المنظورين أكثر أهمية، وليس أقل.
في المنشور التالي والأخير، سنستكشف كيف تساعدنا حلقة المنتج على تحديد القدرات المفقودة وفرص المنتج الجديدة.
سلسلة حلقة المنتج
- عندما يتوقف منتجك عن امتلاك مسار واحد: قياس منتجات الذكاء الاصطناعي الوكيلي — لماذا تحليل القمع والتسجيل أحادي الدور يقصران عن المنتجات الوكيلية
- حلقة المنتج، الجزء 2: إيجاد الأخطاء التي لم يُبلَّغ عنها — كيف تكشف إشارات الإنتاج عن مشاكل العملاء المتكررة
- حلقة المنتج، الجزء 3: توسيع تقييماتنا بسير عمل العملاء الحقيقية (هذا المنشور)
- الجزء 4 (قريبًا) — القدرات المفقودة وفرص المنتج الجديدة
الأسئلة الشائعة
ما هي مجموعات بيانات تقييم وكلاء الذكاء الاصطناعي؟
مجموعات بيانات تقييم وكلاء الذكاء الاصطناعي هي مجموعات منظمة من سيناريوهات الاختبار التي تتحقق مما إذا كان وكيل الذكاء الاصطناعي يتصرف كما هو مقصود. بالنسبة للمنتجات الوكيلية، يتضمن كل سيناريو عادةً حالة منتج ابتدائية وتسلسلًا من طلبات المستخدم ومعيار نجاح واضح، وليس فقط مطالبة واحدة وردًا.
لماذا لا تكفي التقييمات المستندة إلى المواصفات بعد الإطلاق؟
تحدد المواصفات السلوك المتوقع، لكن العملاء يصيغون أهدافهم بطرق عديدة ويجمعون الطلبات ويشيرون إلى الأدوار السابقة. يكشف الاستخدام الإنتاجي عن تلك الأنماط الحقيقية حتى تبقى مجموعة بيانات التقييم متوافقة مع كيفية عمل الناس فعلًا.
كيف تحوّل حلقة المنتج المحادثات إلى سيناريوهات تقييم؟
تجمّع حلقة المنتج التفاعلات الإنتاجية حسب المهمة وتكشف عن الصياغات الشائعة وتسلسلات الخطوات وتقترح سيناريوهات مرشحة مع الإعداد ومعايير النجاح. يُراجع كل مرشح ويُنظَّف من PII ويُتحقق منه مقابل متطلبات المنتج قبل الانضمام إلى مجموعة البيانات القابلة لإعادة الاستخدام.
ما هو اختبار الانحدار في سياق تقييم وكلاء الذكاء الاصطناعي؟
اختبار الانحدار يعيد إنتاج إخفاق تم إصلاحه سابقًا حتى يمكن التحقق من الإصدارات المستقبلية للمشكلة ذاتها. يمكن لحلقة المنتج اقتراح هذه الاختبارات من أنماط التصحيح المتكررة في محادثات العملاء.
كيف تحمون خصوصية العميل عند بناء مجموعات بيانات التقييم؟
يُخفى PII أو يُستبدل أثناء توليد السيناريوهات مع الحفاظ على الصياغة والسياق اللازمين لاختبار سلوك الوكيل. الهدف هو الحفاظ على هيكل المهمة، وليس تحديد هوية الشخص وراءها.
هل أنت مستعد لرؤية البناء الوكيلي في الممارسة؟ ابدأ البناء مع GoDaddy Airo AI Builder. صف فكرتك وشاهدها تتحقق. 50 رصيدًا مجانيًا من الذكاء الاصطناعي للبدء.