تبدأ حلقة النماذج اللغوية بقصة رجل تعامل مع شخصية محادثة آلية كما لو كانت شخصًا حقيقيًا. تستخدم القصة لطرح سؤالين متصلين: لماذا نقرأ صفات بشرية في ردود البرامج، وكيف أصبحت هذه الردود مقنعة إلى هذا الحد؟ توضح القراءة المرتبطة بالقصة ما أثبته التحقيق الصحفي، وتفصل الشخصية اللاحقة عن بيلي الأصلية.
الكتابة والمعرفة
بعد ذلك، ينتقل الشرح إلى دور الكتابة في نقل الخبرة بين أجيال لا تلتقي. يربط هذا التراكم بفكرة تدريب الحواسيب على النصوص؛ فالنصوص تحمل أنماطًا لغوية ومعرفية يمكن للتعلم الآلي الاستفادة منها. هذا تشبيه لمسار التعلم، وليس مساواة بين تعلم الآلة وتجربة الإنسان.
من إليزا إلى الشبكات المتكررة
ثم يعرض الغندور إليزا مثالًا لبرنامج يلتقط كلمات ويعيد تركيبها في أسئلة. وقد يمنح المستخدم هذا السلوك معنى يتجاوز آلية البرنامج. ثم يشرح الانتقال إلى نماذج تعالج ترتيب عناصر الجملة، بدل الاكتفاء بقالب رد مرتبط بكلمة منفردة.
الذاكرة والانتباه
بعد ذلك، يشبه صعوبة الاحتفاظ بالمعلومات البعيدة في الشبكات المتكررة بالنسيان. يقدّم LSTM خطوة لتحسين الاحتفاظ بالمعلومات، ثم ينتقل إلى الانتباه الذي يساعد على الرجوع إلى أجزاء مهمة من السياق. ويصل إلى ورقة Attention Is All You Need ومعمارية المحوّل. تمثل هذه الأمثلة مراحل في الشرح، ولا تعني أن كل النماذج السابقة كانت عاجزة عن كل جملة طويلة.
التوكنات والتضمين
ثم يقسّم النموذج النص إلى وحدات قد تكون كلمات أو أجزاء كلمات، ثم يستخدم معرّفات عددية لهذه الوحدات. المعرّف وحده لا يشرح علاقات المعنى؛ لذلك تأتي تمثيلات المتجهات، التي تتكون من مجموعات أعداد قابلة للحساب والمقارنة.
القهوة والشاي
ولذلك، يقرب المثال التشابه بين مفهومين بخصائص عددية قليلة. ثم يتوسع الشرح إلى كلمات مثل المدرس والمدرسة والتلميذ التي تتصل سياقات استخدامها. المثال يدوي وتعليمي؛ أبعاد التضمين المتعلّمة لا تأتي عادةً بعناوين جاهزة مثل الحرارة والنوع، ولا يساوي عدد أبعاد المتجه عدد معاملات النموذج.
السياق في النماذج اللغوية
كذلك، كلمة «قهوة» قد تدل على مشروب أو على مكان. لذلك يتغير تمثيل استعمالها بحسب الجملة. ويشرح مثال الولد والتيشيرت والمباراة كيف تساعد العلاقات بين الكلمات على تحديد ما يتصل بالفعل. توزيع النحو والمعنى والسياق على طبقات محددة في السرد تبسيط، وليس قاعدة ثابتة لكل محوّل.
توليد الجواب
بعد ذلك، تختلف التكملات المرجحة لعبارة «عايز أشرب» إذا سبقها حديث عن السهر أو عن مباراة كرة. يوضح المثال أثر السياق في توقع الوحدة التالية، وأهمية تحديد المطلوب في الطلب. لكنه لا يجعل كثرة التفاصيل ضمانًا للصحة، ولا يجعل الرد المتعاطف إثباتًا للشعور.
التدريب والخاتمة
وأخيرًا، تنتهي الحلقة بالتأمل في التدريب والحسابات التي تجعل الرد السريع ممكنًا، وتمهّد لمناقشة المحادثة الآلية في الجزء التالي. تبقى سلاسة النص منفصلة عن التحقق من المعلومات التي يحتويها.