كيف تعالج الآلة اللغة؟ من التوكن إلى السياق

معالجة اللغة في النموذج اللغوي تمر بتمثيل النص وحداتٍ عددية، ثم حساب العلاقات التي تساعد على توقع تكملته. معرفة هذه المراحل تفسر كيف ينتج النظام كلامًا مناسبًا للسياق، وتساعد على الفصل بين جودة الصياغة وصحة المعلومات.

معالجة اللغة: من الحروف إلى وحدات الترميز

يحوّل نظام الترميز النص إلى توكنات. قد توافق الوحدة كلمة أو جزء كلمة أو رمزًا؛ لذلك يختلف عدد الوحدات باختلاف النص وطريقة تقسيمه. يعطي النظام كل توكن معرّفًا من القاموس الذي تدرب عليه النظام، وتجب مطابقة نظام الترميز للنموذج المستخدم.

لا يعني رقم الوحدة أن النموذج يرتب المعاني بحسب كبر الرقم. إنه يحدد مدخلًا في قاموس، كما يميز رقم سجل عنصرًا من آخر دون أن يشرح علاقته به. تعرض الحلقة هذه النقلة من النص إلى الأعداد في المقطع التالي.

لماذا نحتاج إلى التضمين في معالجة اللغة؟

التضمين متجه من قيم عددية متعلمة، يتيح للنظام إجراء حسابات على تمثيلات الوحدات. ويختلف بُعد المتجه عن عدد المعاملات الكلي للشبكة. وقد تتقارب تمثيلات كلمات تتشابه سياقات استخدامها، لكن القرب العددي لا يمنحها المعنى نفسه في كل استعمال.

تقرب الحلقة المقارنة بمثال القهوة والشاي. الخصائص المسماة في المثال، مثل الحرارة والتصنيف، اختيار تعليمي يدوي؛ أبعاد التمثيل الفعلي لا تحمل بالضرورة أسماء واضحة كهذه. ومن ثم لا يصح تحويل المثال إلى وصف حرفي لكل نموذج.

كيف يغيّر السياق التمثيل؟

تختلف «قهوة» بوصفها مشروبًا عن استخدامها اسمًا لمكان. التمثيل السياقي يستفيد من الكلمات المحيطة لتمييز الاستعمال، بينما يمنح التضمين الثابت الكلمة تمثيلًا واحدًا. يوضح هذا الفرق لماذا لا تكفي قائمة معانٍ منفصلة لشرح معالجة جملة كاملة.

الانتباه والتوليد

يحسب الانتباه الذاتي علاقات بين مواضع تسلسل واحد. وفي غوغل وغيرها بُنيت معماريات تستخدم هذه العلاقات لتكوين تمثيلات تستفيد من السياق. توجد معماريات بمشفّر وفاكّ ترميز، وأخرى تستخدم أحدهما؛ لذلك لا تنسخ كل خدمات المحادثة النموذج الأصلي حرفيًا.

في مثال الحلقة، من لعب هو الولد، لا التيشيرت الذي يرتديه. ثم تختلف التكملة المرجحة لعبارة «عايز أشرب» بحسب الحديث السابق. يساعد الطلب الواضح على توفير سياق مفيد، لكنه لا يضمن أن المعلومات الناتجة صحيحة.

ما الذي لا يثبته الرد السلس؟

يمكن لخدمة مثل تشات جي بي تي توليد نص مقنع يتضمن خطأ. لذا ينبغي فحص الادعاءات ومراجعها، وعدم اتخاذ التعاطف اللغوي وحده دليلًا على شعور بشري. تشرح دراسة المحوّل تفاصيل الورقة الأصلية، بينما تعرض قصة بو وبيلي أثر الخلط بين شخصية آلية وشخص حقيقي.