أنماط نشر نماذج تعلم الآلة

الفجوة بين الدفاتر والإنتاج

دفتر جوبيتر الذي يحقّق دقّة ستّاً وتسعين بالمائة على مجموعة اختبار معزولة ليس نموذجاً. إنّه فرضيّة. الفجوة بين تلك الفرضيّة ونظام إنتاج يقدّم تنبّؤات لمستخدمين حقيقيّين بزمن استجابة وتكلفة وموثوقيّة مقبولة هي حيث تفشل غالبيّة مشاريع التعلّم الآلي. تُبلغ استطلاعات الصناعة باستمرار أنّ أقلّ من نصف النماذج الأوّليّة تصل إلى الإنتاج، والأسباب نادراً ما تتعلّق بدقّة النموذج.

نشر نموذج يعني نشر نظام، والأنظمة لها خصائص يجريها الدفاتر تجريديّة بمعزل عنها: إدارة التبعّيات، وانجراف الإصدارات، وتبعّيات خط أنابيب البيانات، والمراقبة، والتراجع، والتوقّع الصامت بأنّ الافتراضات الإحصائيّة لتوزيع التدريب ستستمرّ في البريّ. وهي غالباً لا تستمرّ.

أنماط النشر ومتى يُستخدم كلٌّ منها

يجب أن يتبع اختيار نمط النشر متطلّبات زمن الاستجابة والإنتاجية والتكلفة لحالة الاستخدام — لا العكس. رأيت فرقاً تتخلف افتراضيّاً عن التقديم في الوقت الفعلي لأنّه يبدو حديثاً، لتكتشف أنّ حالتها كانت تُخدم تماماً بوظيفة دفعيّة ليليّة كلّفت ثمانية وتسعين بالمائة أقلّ في التشغيل.

• التسجيل الدفعي — احسب التنبّؤات مسبقاً وفق جدول، وخزّن النتائج، وقدّمها من ذاكرة مؤقّتة. مثالي لترتيب التوصيات حيث يقبل قدم طفيف وتهمّ التكلفة.
• الاستدلال في الوقت الفعلي — حمّل النموذج في عمليّة تقديم، وتلقَّ الطلبات، وأعِد التنبّؤات ضمن هدف مستوى خدمة. مطلوب لكشف الاحتيال ومراجعة المحتوى وأيّ حالة استخدام يكون فيها زمن الاستجابة هو المنتج.
• النشر الحافّي — شحن النموذج إلى العميل أو عاملاً قريباً من شبكة توصيل المحتوى. يقلّل زمن الاستجابة والتكلفة لكنّه يُدخل تجزّؤ الإصدارات ويجعل تحديثات النموذج أبطأ.
• الاستدلال الدفّاق — استهلك من طابور رسائل، وأنتِج تنبّؤات بشكل غير متزامن. يناسب خطوط الأنابيب حيث الدخل تيّار أحداث متّصل لا طلب.

ضريبة البنية التحتيّة

نماذج التعلّم الآلي مكلّفة للتقديم بطرق لا تكون فيها البرمجيّات التقليديّة كذلك. النموذج ذو الثلاثمائة مليون وسيط يستهلك ذاكرةً متناسبةً مع عدد الوسطاء بصرف النظر عن حجم الطلبات. يمكن أن تتسبّب زيارة مرور مفاجئة لا في زيادة استخدام المعالج فحسب؛ بل في أخطاء نفاد الذاكرة بينما تتوسّع البنية التحتيّة للتقديم أفقياً ويجب على كلّ نسخة جديدة أن تحمل أوزان النموذج كاملةً. تخطيط السعة لتقديم التعلّم الآلي انضباط مختلف عن تخطيط السعة لخدمات الويب عديمة الحالة.

تستلهم استراتيجيّات التخفيف من الهندسة الكلاسيكيّة للأنظمة: تكميم النموذج لتقليل البصمة الذاكتيّة، وتجميع الطلبات لاستهلاك overhead الاستدلال، ومشاركة وحدة معالجة الرسومات لتحسين الاستخدام، والتدهور الرشيق عند استنفاد السعة. لا شيء من هذه تقنيّات تعلّم آلي. إنّها تقنيّات بنية تحتيّة مطبّقة على نتاجات تعلّم آلي، ولهذا أصبحت هندسة التعلّم الآلي متطابقة بشكل متزايد مع هندسة المنصّات.

النموذج في الإنتاج مسؤوليّة لحظة شحنه. السؤال ليس ما إذا كان سيتدهور — انجراف البيانات يضمن ذلك — بل ما إذا كان لديك أدوات لكشف التدهور قبل أن يفعله مستخدموك.

مراقبة تتجاوز وقت التشغيل

مراقبة وقت التشغيل التقليديّة ضروريّة لكنّها غير كافية لأنظمة التعلّم الآلي. يمكن لنقطة نهاية تقديم أن تُعيد HTTP 200 لكلّ طلب بينما تنتج بهدوء تنبّؤات عديمة الجدوى لأنّ توزيع الدخل قد تغيّر. يتطلّب كشف هذا مراقبة الخصائص الإحصائيّة للمداخل والمخارج، لا فقط خصائص البنية التحتيّة التشغيليّة.

التطبيق العملي يتضمّن تسجيل توزيعات ثقة التنبّؤ، وتتبّع انجراف السمات عبر اختبارات إحصائيّة تقارن المداخل الحيّة بخطوط الأساس التدريبيّة، وضبط عتبات التنبيه على مقاييس الأعمال المرتبطة بجودة النموذج — معدّلات التحويل وتكاليف الإيجابيّات الكاذبة وشكاوى المستخدمين. النظام الذي يلتقط نموذجاً متدهوراً قبل أن تلاحظه فرق الدعم يساوي أكثر من النموذج نفسه. النشر ليس حدثاً لمرة واحدة؛ إنّه بداية التزام تشغيلي يستمرّ حتى يُحال النموذج إلى التقاعد.