خمس سنوات من الاستدلال على GPU داخل الجهة: ما الذي يتعطل فعلًا

نشغّل منذ 2018 نظام رصد استخدام الهاتف وعدم ربط حزام الأمان داخل البنية التحتية الخاصة بالعميل في المملكة العربية السعودية، لصالح تحكّم. خمس سنوات مدة كافية للتوقف عن التخمين بشأن ما يتعطل. الخلاصة أن النموذج كان أكثر أجزاء النظام استقرارًا، وأن كل ما استدعى اهتمامًا تقريبًا كان يحيط به، في الأجزاء التي لا تُكتب عنها الأوراق البحثية.

هذا مهم لكل من يقيّم عرضًا في الذكاء الاصطناعي، لأن وثائق المورّدين تكاد تكون كلها عن النموذج: أرقام الدقة، ومخططات البنية، وأحجام بيانات التدريب. هذه أمور يتحكم بها المورّد في المختبر. أما ما يحدد إن كان النظام لا يزال يعمل في سنته الرابعة فتشغيليّ، وغالبًا لا يحظى في العرض بأكثر من سطر واحد.

التخزين هو ما يوقفك

أنظمة الرصد تنتج أدلة. كل حدث يولّد لقطات، وغالبًا مقطعًا قصيرًا، ويجب الاحتفاظ بها لأن المخالفة قابلة للاعتراض. ولا أحد يقدّر هذا الحجم بدقة في البداية. يُبنى التقدير على معدل أحداث متوقع، ثم يكون المعدل الحقيقي أعلى، ثم تُمدَّد مدة الاحتفاظ أثناء التشغيل لأن سؤالًا قانونيًا طرأ ولم يرغب أحد أن يكون هو من حذف الإجابة.

والعطل هنا ليس تدريجيًا. خط رصد يكتب على قرص ممتلئ لا يتباطأ بأدب، بل يتوقف، أو الأسوأ أنه يواصل قبول العمل ويُسقط المخرجات بصمت، فتكتشف الفجوة بعد أيام حين يستعلم أحدهم عن نطاق تواريخ فلا يجد شيئًا. رأينا هذا النمط مرارًا حتى صار أول تنبيه نركّبه في أي نشر هو تنبيه توقّع امتلاء القرص. ليس حدًّا على الاستهلاك الحالي، بل توقّعًا: بمعدل الكتابة الحالي يمتلئ هذا القرص خلال أحد عشر يومًا. هذا يمنح فريق التشغيل وقتًا للتصرف بدل إشعار بأن الحادثة بدأت فعلًا.

الجانب السياساتي أصعب من الجانب الهندسي. يجب أن تُقرَّر مدة الاحتفاظ مع العميل كتابةً، بمالك قانوني مسمّى، ثم تُطبَّق آليًا. فإن كان الحذف مهمة يدوية في قائمة أحدهم فلن يحدث، لأن لا أحد يريد مسؤولية شخصية عن إتلاف دليل. وأتمتته تحوّل مخاطرة مهنية إلى سياسة وُقّعت مرة واحدة.

تحديثات التعريفات تغيّر أرقامك

هذا هو الدرس الذي يفاجئ الناس. تحديث تعريف GPU، أو تغيّر في بيئة تشغيل الاستدلال، قد يغيّر النتائج الرقمية. ليس تغييرًا جذريًا، لكنه كافٍ. تُعاد ترتيب عمليات الفاصلة العائمة، وتحصل نواة حسابية على تنفيذ أسرع بتقريب مختلف قليلًا، وتبدّل مكتبة دقّتها الافتراضية. فمخرجات كانت تعلو عتبة الثقة بقليل تهبط دونها بقليل. النموذج لم يتغير، لكن السلوك تغيّر.

في نظام يترتب عليه أثر قانوني على المواطنين، هذه مفاجأة غير مقبولة. لذلك تُثبَّت الإصدارات: التعريف، وبيئة CUDA، ومكتبة الاستدلال، وصورة الحاوية، كلها مثبتة، وإصداراتها مسجّلة في وثيقة بحوزة العميل. ولا يُحدَّث شيء لمجرد توافره. تحدث الترقيات عن قصد ولسبب، وتمر كل واحدة عبر حزمة اختبارات انحدار ثابتة قبل أن تصل إلى الإنتاج.

وحزمة الانحدار تستحق الوصف لأنها بسيطة ولأن معظم الفرق لا تملك واحدة. هي مجموعة مجمّدة من المدخلات بمخرجات متوقعة معروفة، محفوظة جانبًا، تغطي الحالات العادية ومجموعة صعبة مختارة عمدًا: إضاءة رديئة، وحجب جزئي، وأطراف إطار الكاميرا. بعد أي تغيير في أي طبقة، تُشغَّل الحزمة وتُقارن النتائج بالخط المرجعي المخزّن. الاختلاف ليس فشلًا تلقائيًا، لكنه نقاش إلزامي. بدون هذا يصبح تحديث التعريف تجربة غير منضبطة على حركة حقيقية.

الوقت، ولماذا ليس مشكلة صغيرة

ساعة خادم تنحرف ثوانٍ قليلة تبدو غير مؤذية. وهي ليست كذلك في نظام تُرتَّب فيه الأحداث وتُختم بالوقت لأغراض إثباتية. الانحراف بين عدة أجهزة يعني أن أحداثًا سُجّلت على عقدة تبدو سابقة لأحداث وقعت فعليًا قبلها على عقدة أخرى. فيصبح ربط عملية رصد ببثّ كاميرا غير موثوق، ويصبح ختم الوقت على سجل مخالفة قابلًا للطعن، وحين يصبح واحد قابلًا للطعن يصبح جميعها كذلك.

والعلاج غير لامع. الوقت من مصدر واحد متفق عليه، وكل جهاز يتزامن معه، والانحراف يُراقَب كمؤشر من الدرجة الأولى مع تنبيه. نتعامل مع ساعة خارج التزامن كما نتعامل مع خدمة متوقفة، لأنها كذلك من حيث الإثبات. ونكتب أيضًا المنطقة الزمنية والإزاحة صراحةً في كل سجل بدل الاعتماد على الافتراض في الخادم، لأن الافتراضات تتغير عند إعادة بناء الجهاز ولا ينتبه أحد حتى يأتي تغيّر التوقيت.

مشكلة الأشخاص هي المشكلة الحقيقية

خمس سنوات أطول من بقاء معظم الناس في وظائفهم. المهندسون الذين بنوا النشر الأول ليسوا كلهم من يشغّلونه اليوم. وعلى جانب العميل، انتقل من دُرِّبوا عند التسليم أو تمت ترقيتهم أو غادروا. هذا هو نمط الفشل الذي يقتل الأنظمة طويلة العمر بهدوء، وهو متوقع تمامًا.

ما نفعله حياله هو توثيق يملكه العميل لا نملكه نحن. هناك دليل تشغيل يقيم في أنظمة العميل وبلغته، يغطي ما يفعله النظام، وماذا يعني كل تنبيه، وما الخطوات الثلاث الأولى لكل تنبيه، وكيف يُعاد تشغيل كل مكوّن بأمان، وما الذي يجب ألا يُعاد تشغيله أثناء الوردية، وبمن يُتصل. وهو مكتوب ليكون صالحًا للاستخدام من مهندس لم يقابلنا قط، في الثانية فجرًا، تحت ضغط.

واختبار دليل التشغيل ليس وجوده، بل قدرة من لم يكتبه على اتباعه. لذلك نتمرّن. بين حين وآخر يعمل مهندس من العميل لم يشارك في الفريق الأصلي على سيناريو معتمدًا على الدليل وحده، ونراقب ونسجّل كل موضع تردد فيه. وتتحول تلك الترددات إلى تعديلات. دليل تشغيل لم يختبره غريب هو وثيقة لا أصل تشغيلي.

ونبقي أيضًا مهندسًا مسمّى من جانبنا دخل المبنى فعلًا. للدعم عن بُعد لنظام داخل الجهة سقف. حين يكون السؤال أي كابل يذهب إلى أين، أو كيف يبدو صوت تلك الخزانة حين يكون هناك خطب، يلزم أن يكون أحدهم قد وقف هناك.

متى يكون النشر داخل الجهة خيارًا خاطئًا

نشغّل هذا النظام داخل الجهة لأن البيانات حساسة والأحجام كبيرة والعميل يشترط ذلك. لكننا لا نوصي بهذا النمط افتراضيًا، ومن الأمانة ذكر تكلفته.

النشر داخل الجهة يعني أنك تملك دورة حياة العتاد. وحدات GPU تتقادم، والضمانات تنتهي، والبطاقة المعطوبة دورة شراء لا استدعاء واجهة برمجية. ويعني أن السعة ثابتة، فارتفاع الحمل أمر شراء وانتظار. ويعني أنك تحتاج أشخاصًا قادرين على الحضور فعليًا. ويعني أن كل ترقيع أمني وكل ترقية نظام تشغيل وكل تغيير شبكي مسؤوليتك في التخطيط والنجاة.

إن كان يجوز للبيانات قانونيًا وسياسيًا أن تغادر المبنى، وكانت الأحجام متوسطة، فالنشر المستضاف أقل كلفة على خمس سنوات وأسهل في التوظيف. مبرر النشر داخل الجهة تصنعه متطلبات إقامة البيانات، أو حاجة زمن استجابة لا يفي بها الرابط، أو حجم استدلال يجعل التسعير بالاستدعاء عبثيًا. فإن لم ينطبق أي من هذه، فاختيار النشر داخل الجهة للشعور بالسيطرة شراء لالتزام صيانة بلا مقابل.

ما الذي يوضع في العقد

إن كنت تشتري نظامًا كهذا، فالبنود التي تحميك في السنة الرابعة ليست عن الدقة، بل هذه. أن يذكر المورّد الإصدارات المثبتة بدقة لكل طبقة من المنظومة، وألا يغيّرها دون موافقة كتابية وتشغيل حزمة الانحدار. أن توجد مجموعة انحدار مجمّدة بحوزة المشتري، وتُرفع نتائجها بعد كل تغيير. أن تُكتب سياسة الاحتفاظ في العقد بمالك قانوني مسمّى وتُطبَّق بالنظام لا بالموظفين. أن تُسلَّم أدلة التشغيل بلغة المشتري ويصادق عليها مهندس من المشتري لم يكتبها، كشرط للقبول. وأن يتضمن اختبار القبول سيناريو تشغيليًا لا مقياس دقة فقط: املأ قرصًا في بيئة اختبار وأرِنا ماذا يفعل النظام.

هذا الأخير هو الاختبار الذي نجريه قبل توقيع أي شيء. رقم الدقة يخبرك بأداء النظام في يوم جيد، أما سلوكه في يوم سيئ فهو ما ستعيش معه فعلًا.