ما هي معالجة اللغة الطبيعية؟ وكيف يفهم الحاسوب النص

خلاصة سريعة: معالجة اللغة الطبيعية (Natural Language Processing – NLP) مجال يُمكّن الحاسوب من التعامل مع اللغة البشرية: يقطّع النص إلى رموز، ويحوّلها إلى متجهات أرقام، ثم يستخدمها في التصنيف والترجمة والتلخيص والإجابة عن الأسئلة. جودة النتيجة تتبع جودة البيانات والسياق، وأكثر الأخطاء يأتي من فهم حرفي لا يدرك المقصود.

ما هي معالجة اللغة الطبيعية؟

معالجة اللغة الطبيعية (Natural Language Processing – NLP) مجال يبحث في تمكين الحاسوب من التعامل مع اللغة البشرية، نصًا مكتوبًا أو كلامًا محوّلًا إلى نص. وتشمل مهامه تصنيف النصوص، والترجمة الآلية، والتلخيص، واستخراج الأسماء والكيانات، والإجابة عن الأسئلة، وإدارة الحوار. وهي من أقدم فروع الذكاء الاصطناعي؛ عمل الباحثون فيها عقودًا بالقواعد اللغوية والمعاجم اليدوية قبل أن تأتي النماذج العصبية.

واللغة ليست سلسلة رموز فحسب؛ فالمعنى يتغير بالسياق والترتيب وما لم يُقل. فكلمة «مفتاح» نفسها تعني أداة الفتح في «مفتاح الغرفة»، وتعني الرمز السري في «مفتاح التشفير»، ويعجز النظام الذي يبحث في الكلمات وحدها عن التمييز. ولهذا يحتاج المجال إلى تمثيل يحفظ الترتيب والعلاقات، لا إلى قاموس يربط كل كلمة بمعنى ثابت.

كيف يتحول النص إلى رموز ثم إلى متجهات؟

التقطيع (Tokenization) هو الخطوة الأولى: يقسم النص إلى وحدات أصغر يتعامل معها النموذج. وقد تكون الوحدة كلمة كاملة، أو حرفًا، أو جزءًا من كلمة (Subword). ويُفضَّل التقطيع الجزئي لأنه يوازن بين حجم المعجم وقدرة التعامل مع كلمات جديدة: فالكلمة النادرة تُجزَّأ إلى مقاطع معروفة، بدلًا من أن تُستبدل برمز «كلمة غير معروفة».

وفي العربية يزداد الأمر تعقيدًا لأن حروفًا مثل الواو والفاء والباء والكاف واللام تتصل بالكلمة، ولأن السوابق واللواحق تحمل معنى نحويًا. فالمقطّع الذي دُرِّب على الإنجليزية قد يستهلك عددًا أكبر من الرموز للجملة العربية نفسها، وهذا يرفع التكلفة ويقلل السياق المتاح. ولهذا ظهرت مقطّعات عربية تعالج السوابق واللواحق صراحة، وتُدرَّب على نص عربي أوسع.

بعد التقطيع يحوّل النموذج كل رمز إلى متجه (Embedding)، أي قائمة أرقام تمثل موقعه في فضاء رياضي. وتتقارب المتجهات التي تظهر في سياقات متشابهة، فيصبح القياس بالمسافة ممكنًا: «سيارة» أقرب إلى «مركبة» من قربها إلى «تفاحة». وكانت التمثيلات الأولى ساكنة، إذ كان لكل كلمة متجه واحد، ثم جاء التضمين السياقي ليغيّر المتجه بحسب الجملة، فتأخذ «ساق» معنى مختلفًا في «ساق الشجرة» و«ساق الإنسان».

ما مستويات التحليل اللغوي التي يعالجها النظام؟

يمكن ترتيب العمل اللغوي في 4 مستويات، ويحتاج كل مستوى إلى تمثيل مختلف:

• المستوى الصرفي: كيف تتكون الكلمة من جذر وسوابق ولواحق، وكيف يُشتق منها فعل واسم ومصدر.
• المستوى النحوي: من الفاعل؟ وما علاقة الكلمات ببعضها؟ وهنا يظهر الإعراب والترتيب وحروف الجر.
• المستوى الدلالي: ما المعنى المقصود؟ وكيف يرتبط بالفعل والفاعل والزمن والمكان؟
• المستوى الاستعمالي: ماذا يريد المتكلم فعلًا؟ فالسؤال «هل تستطيع إغلاق الباب؟» طلب لا استفهام عن القدرة.

وتتعامل النماذج الحديثة مع هذه المستويات ضمن تمثيل واحد موزع، لا على شكل مراحل منفصلة. وهذا يمنحها مرونة في المهام المفتوحة، لكنه يجعل تفسير الخطأ أصعب: لا نعرف أي مستوى أخفق حين تخطئ الإجابة.

ما الفرق بين المعالجة التقليدية والنماذج اللغوية الكبيرة؟

مرّ المجال بثلاث مراحل. في الأولى كُتبت قواعد لغوية ومعاجم يدوية، فكان النظام دقيقًا في نطاق ضيق وهشًا خارجه. وفي الثانية استُخدمت الأساليب الإحصائية مثل نماذج اللغة الاحتمالية (N-grams) التي تتوقع الكلمة التالية من كلمات سابقة، فتحسّن الأداء لكن بقي السياق قصيرًا. وفي الثالثة جاءت الشبكات العصبية المتكررة ثم المحوّلات (Transformers)، التي تعالج الجملة كاملة وتتعلم العلاقات بين كل كلمة وغيرها.

وقد وصفت ورقة «Attention Is All You Need» عام 2017 بنية المحوّل التي تعتمد على الانتباه وحده دون تكرار تسلسلي، ثم جاء BERT عام 2018 ليدرَّب ثنائي الاتجاه على نص غير موسوم، وجاء GPT-3 عام 2020 بنموذج توليدي ضخم يُستخدم بالتعليمات دون إعادة تدريب. وهكذا انتقل النموذج اللغوي الكبير من أداة لمهمة واحدة إلى واجهة عامة لمهام متعددة، وهو تحول غيّر طريقة بناء التطبيقات لا طريقة تقييمها فقط.

والاختيار بين النموذجين ليس مسألة حداثة. النموذج المتخصص أصغر وأسرع وأرخص، وسلوكه أكثر ثباتًا في مهمة محددة مثل تصنيف الشكاوى أو استخراج حقول من فاتورة. والنموذج العام أنسب للمهام المفتوحة التي تتغير صياغتها، شرط قبول تكلفة أعلى وحاجة إلى تحقق من المخرجات.

ما التحديات الخاصة بالعربية؟

تضيف العربية إلى التحديات العامة صعوباتها الخاصة، وأهمها 5:

• الصرف الغني: كلمة واحدة قد تحمل الفاعل والزمن والضمير والعدد، فيصعب على النموذج فصل المكونات دون تحليل صرفي.
• التشكيل الاختياري: النص العربي يُكتب غالبًا دون حركات، فتزيد احتمالات القراءة، ويحتاج النظام إلى السياق لحسمها.
• الفصحى واللهجات: الفرق بين الفصحى واللهجة الخليجية والمصرية والشامية كبير في المفردات والتراكيب، والنموذج المدرَّب على إحداها قد يضعف في الأخرى.
• التبديل اللغوي: كثير من النصوص العربية تمزج كلمات إنجليزية أو أرقامًا ورموزًا، فيحتاج المقطّع إلى التعامل مع السلسلة المختلطة.
• ندرة البيانات الموسومة: مجموعات التقييم العربية أقل من الإنجليزية، فتصعب المقارنة العادلة بين النماذج، ويصعب تحديد موضع الضعف.

أين تُستخدم معالجة اللغة الطبيعية؟

تظهر في منتجات نستعملها يوميًا، وغالبًا دون أن نسميها بهذا الاسم:

• البحث: فهم نية الاستعلام وإعادة صياغته، لا مطابقة الكلمات حرفيًا فقط.
• الترجمة: نقل المعنى بين اللغات مع الحفاظ على المصطلح والسياق.
• التلخيص: اختصار مستند طويل أو محادثة دون فقدان القرارات المهمة.
• استخراج المعلومات: التقاط الأسماء والتواريخ والمبالغ من العقود والفواتير.
• الحوار: تشغيل روبوتات المحادثة ومساعدي الدعم، مع تحويل الطلب إلى إجراء عند الحاجة.
• المراجعة: كشف المحتوى المخالف أو المكرر، ومساعدة المحرر في تصنيف الشكاوى.

ما حدودها وأين تخطئ؟

الحد الأول هو أن النموذج يتعامل مع الأنماط لا مع الحقائق. فإذا سُئل عن معلومة لم تدخل في تدريبه، قد يصوغ جوابًا مقنعًا وخاطئًا. ويُضاف إلى ذلك تحيز البيانات، وضعف الأداء في النصوص الطويلة، وانزياح المجال عند نقل النموذج من مجال إلى آخر، وصعوبة تقييم جودة التلخيص أو الترجمة بمعيار واحد. وإذا دخلت بيانات العملاء في الطلب، صار السؤال عن الخصوصية ومدة الاحتفاظ جزءًا من التصميم لا ملحقًا به.

كيف تختار بين نموذج عام ونموذج متخصص؟

ابدأ من المهمة لا من النموذج. حدد المخرج المطلوب، ومقياس النجاح، وتكلفة الخطأ، ثم اختبر نموذجًا عامًا على عينة واقعية. فإن كان الأداء كافيًا، فاستخدمه مع ضوابط تحقق. وإن كان الخطأ متكررًا في حالات معروفة، فاجمع بيانات موسومة ودرّب نموذجًا أصغر أو اضبط النموذج العام على مجالك، وقارن النتيجتين على المجموعة نفسها قبل النشر.

أسئلة شائعة

المصادر

• IBM، ما هي معالجة اللغة الطبيعية؟ (اطُّلع عليه في 24 أكتوبر 2026)
• Vaswani et al.، Attention Is All You Need، arXiv، 12 يونيو 2017
• Devlin et al.، BERT: Pre-training of Deep Bidirectional Transformers، arXiv، 11 أكتوبر 2018
• Brown et al.، Language Models are Few-Shot Learners، arXiv، 28 مايو 2020
• Stanford CS224N، Natural Language Processing with Deep Learning (اطُّلع عليه في 24 أكتوبر 2026)

صورة الغلاف: Steve Jurvetson / Wikimedia Commons، بموجب رخصة CC BY.