البحث العربي ليس بحثًا إنجليزيًا بأبجدية مختلفة

يكتب موظف اسم مواطن في السجل، فلا يعيد النظام أي نتيجة. والمواطن واقف أمام الشباك وبطاقته في يده. الجميع في الغرفة يعرف الآن أن النظام مخطئ، ويبدأ الموظف بكتابة الاسم بست طرق مختلفة حتى يظهر شيء.

هذا المشهد هو نمط الفشل الذي ينتجه البحث العربي، وهو شائع إلى حد أن معظم الدوائر لديها التفاف غير رسمي حوله. وقد فهرسنا ملايين السجلات العربية عبر منتجاتنا وأنظمة عملائنا، وهذه هي حقيقة تركيب المشكلة.

خمس صور لاسم واحد

تتيح العربية مواضع عدة تكون فيها صورتان للاسم نفسه صحيحتين معًا، أو تكون إحداهما صورة شائعة يتبادلها المواطنون والموظفون في الاستعمال.

الهمزة على الألف: يظهر الاسم نفسه بألف تحمل همزة فوقها أو تحتها أو بألف مجردة، والصور الثلاث تُكتب عمليًا.

التاء المربوطة والهاء في آخر الكلمة: كثير التبادل، خاصة فيما نُقل عن خط اليد إلى نظام قبل سنوات.

الألف المقصورة والياء في آخر الكلمة: تؤثر العادة الإقليمية وتخطيط لوحة المفاتيح في أيهما يظهر.

التشكيل: سجل أُدخل عن وثيقة مطبوعة قد يحمله، ومواطن يكتب على هاتفه لن يضيفه في الغالب أبدًا.

التطويل، وهو محرف المدّ الذي يُدرج لأغراض طباعية. لا يُرى عند العرض وهو قاتل للمطابقة التامة.

ثم ما ليس إملاءً أصلًا: مسافات في أول النص وآخره، ومسافات مزدوجة بين أجزاء الاسم، ومحارف عديمة العرض ملصوقة من وثيقة، وأرقام عربية ولاتينية مختلطة داخل رقم هوية وطنية، وأسماء تحمل أداة التعريف في سجل ولا تحملها في آخر، واسم رباعي مخزَّن في حقل واحد في نظام وفي أربعة حقول في نظام آخر.

لا شيء من هذا نادر. إنه الحالة الطبيعية لسجل يراكم البيانات منذ ثلاثين سنة عبر أجيال عدة من البرمجيات وعصر ورقي واحد على الأقل.

طبِّعوا مرتين، واعرضوا الأصل

القاعدة التي نطبقها سهلة الصياغة: طبِّعوا عند الفهرسة وعند الاستعلام بالدالة نفسها تمامًا، واحتفظوا بالأصل دون مساس، واعرضوا الأصل.

استخدام الدالة نفسها في الموضعين يبدو بديهيًا، وهو أكثر خلل نجده في الأنظمة التي نرثها. تنحرف نسختان عن بعضهما، غالبًا لأن إحداهما في قاعدة البيانات والأخرى في التطبيق، والنتيجة بحث يعمل مع معظم الأسماء ويفشل بصمت مع فئة منها.

والاحتفاظ بالأصل مهم لأسباب غير تقنية. إملاء الاسم في وثيقة هوية المواطن واقعة قانونية؛ يظهر في الشهادة والإشعار ولائحة الدعوى. والنظام الذي يطبّع للتخزين بدل التطبيع للمطابقة يكون قد غيّر أسماء الناس بصمت، وتصحيح ذلك لاحقًا هجرة بيانات ذات أثر قانوني.

وعمليًا يعني ذلك أن كل حقل اسم قابل للبحث يُخزَّن مرتين: الأصل كما أُدخل، وصيغة مطبَّعة تُستخدم للمطابقة فقط. والصيغة المطبَّعة لا تُعرض ولا تُطبع ولا تُصدَّر بوصفها الاسم أبدًا.

المطابقة مسألة ترتيب لا مسألة نعم أو لا

بعد التطبيع يظهر الفشل المعاكس: يعيد البحث أكثر مما ينبغي. فالتطبيع يُلغي فروقًا عن عمد، والاسم الشائع صار يطابق مئات الأشخاص.

والجواب هو الترتيب لا تشديد المطابقة. المطابقة التامة على الإملاء الأصلي ترتفع فوق المطابقة على الصيغة المطبَّعة. والمطابقة على الاسم الكامل ترتفع فوق المطابقة على جزء واحد. والمطابقة على الجزء الأول والأخير معًا ترتفع فوق المطابقة على جزء أوسط وحده. وحيث يحمل السجل تاريخ ميلاد أو منطقة أو رقمًا وطنيًا، فهذا السياق أثمن من أي براعة في مطابقة النص.

ونحن حذرون من المطابقة التقريبية، وندعو أي لجنة تقييم إلى الحذر منها كذلك. مسافة التحرير المطبَّقة على العربية تتصرف تصرفًا سيئًا، لأن فرق محرف واحد قد يكون كل الفرق بين اسمين لا صلة بينهما. والخوارزميات الصوتية المصممة للإنجليزية أسوأ من عديمة الفائدة هنا. وإن استُخدمت المطابقة التقريبية، فلتكن مجموعة نتائج منفصلة وموسومة بوضوح أسفل النتائج التامة، لا مدموجة بصمت في القائمة نفسها.

وتفصيلة عملية تزيل قدرًا مفاجئًا من العناء: ابحثوا في كل جزء من الاسم على حدة واشترطوا مطابقة كل الأجزاء لشيء ما، بدل معاملة الاسم كنص واحد. فالمواطنون لا يكتبون أسماءهم بالترتيب الذي خزّنه السجل.

بقية النموذج تعاني المشكلة نفسها

يظهر الأمر في البحث أولًا، لكن أسئلة التطبيع نفسها تسري في التطبيق كله.

الأرقام: اقبلوا الأرقام العربية الهندية واللاتينية في كل مكان، وحوّلوها إلى صيغة معيارية واحدة عند الإدخال، وخزّنوا تلك الصيغة. ورقم الهوية الوطنية المكتوب بالأرقام العربية يجب أن يكون القيمة نفسها المكتوبة بالأرقام اللاتينية، في الحقل وفي قاعدة البيانات وفي كل تقرير.

التواريخ: حيث يتطلب النظام التاريخ الهجري فاعرضوه، وخزّنوا قيمة معيارية لا لبس فيها، وصرّحوا بالتقويم الذي ينتمي إليه كل تاريخ معروض. وأكثر خلل نصادفه هو تاريخ يُدخل هجريًا ويُخزَّن كأنه ميلادي، فينتج سجل خاطئ بقرون ويبدو معقولًا.

الترتيب: الترتيب الأبجدي العربي لقائمة أسماء ليس ترتيب البايتات في الترميز. وإن كان موظف يمسح قائمة مطبوعة بعينه، فعليها أن تُرتَّب كما يتوقع الإنسان.

اتجاه النص في المحتوى المختلط: الاسم الذي يحمل جزءًا لاتينيًا أو رقمًا داخل جملة عربية يُعاد ترتيبه على نحو غير متوقع ما لم يُعالج الاتجاه. وهذا أظهر ما يكون في الوثائق المولَّدة والتصديرات، وهي نفسها ما ينتهي إلى الملفات.

أين يكون التطبيع هو الجواب الخطأ

هناك مواضع لا نطبّع فيها عن عمد، والخطأ فيها أشد ضررًا من غياب التطبيع كليًا.

لا تطبّعوا أبدًا لأغراض قرارات إزالة تكرار تُتخذ آليًا. تساوي اسمين مطبَّعين سبب لعرض السجلين على إنسان، لا سبب لدمجهما. والدمج الآلي على الأسماء المطبَّعة سيدمج في النهاية مواطنين مختلفين، وهذا خطأ يصعب جدًا التراجع عنه بعد أن تكون الأنظمة اللاحقة قد نسخت السجل المدموج.

ولا تطبّعوا حقول الهوية لأغراض المقارنة الحجّية. إذا وجب أن يطابق الاسم وثيقة الهوية تمامًا لغرض قانوني، فقارنوا الأصلين.

ولا تطبّعوا النصوص القانونية المخزَّنة. اللوائح والقرارات والاستشهادات تحتفظ بالمحارف التي صدرت بها.

وتحفّظوا في التطبيع عبر اللغات. الإملاءات اللاتينية المنقولة صوتيًا للأسماء العربية مشكلة مستقلة لها قواعدها، ودمج الاثنين ينتج مطابقات يصعب شرحها للشخص المتأثر بها.

ما الذي يُختبر قبل القبول

نادرًا ما تسأل لجان التقييم عن البحث، ويسأل الموظفون عنه في الصباح الأول. والفجوة بين هاتين الحقيقتين هي منشأ كثير من البرمجيات الحكومية غير المستخدمة.

لذلك ضعوا اختبار قبول في كراسة الشروط، واجعلوه ملموسًا. خذوا مئتي اسم حقيقي من سجلكم، مختارة لتشمل الحالات الصعبة: صور الهمزة، والنهايات بالتاء المربوطة، والأسماء الحاملة لأداة التعريف، والأسماء الرباعية، وأسماء لا تفترق عن مواطن آخر إلا بمحرف واحد. واكتبوا لكل اسم الصور التي قد يكتبها موظف أو مواطن على نحو معقول. ويجتاز النظام الاختبار إذا ظهر السجل الصحيح ضمن النتائج الأولى لكل صورة.

واطلبوا من المورّد أن يريكم دالة التطبيع نفسها ككود، وأن يؤكد أن الدالة ذاتها تعمل عند الفهرسة وعند الاستعلام. واسألوا ماذا يحدث حين يحتوي الاسم على تطويل أو محرف عديم العرض. واطلبوا الاطلاع على سجلات البحث، وتحديدًا الاستعلامات التي لم تُعِد شيئًا، فتلك القائمة أنفع تقرير جودة ينتجه نظام بحث، ومعظم الأنظمة لا تحتفظ بها.

وأخيرًا اسألوا: ماذا يرى الموظف حين لا توجد نتائج؟ الجواب الصحيح ليس صفحة فارغة، بل أقرب المرشحين موسومين بوضوح بأنهم تقريبيون، ومعهم الحقول التي تتيح لإنسان أن يؤكد أو يستبعد كل واحد منهم. وإتقان تلك الشاشة هو الفرق بين نظام يُستخدم ونظام يُلتف حوله.