المحوّل: ماذا اختبرت ورقة Attention Is All You Need؟

ورقة Attention Is All You Need قدّمت معمارية المحوّل سنة 2017، واختبرت بناء معالجة التسلسل بالانتباه بدل الاعتماد على التكرار أو الالتفاف. كان موضوع التقييم الأساسي الترجمة الآلية، وليس إثبات الوعي أو الفهم الإنساني.

هوية ورقة المحوّل

كتبها آشِش فاسواني، نعوم شازير، نيكي بارمار، ياكوب أوسكوريت، ليون جونز، إيدان غوميز، لوكاش كايزر وإيليا بولوسوخين، بانتسابات شملت غوغل وجامعة تورنتو. ظهرت نسختها الأولى في يونيو 2017؛ المرجع المفتوح هنا يعرض الإصدار السابع المؤرخ في 2023.

كيف اختبر الباحثون المحوّل؟

قارن الباحثون معمارية المحوّل بنظم ترجمة سابقة، باستخدام بيانات WMT2014: نحو 4.5 مليون زوج جمل للإنجليزية والألمانية و 36 مليونًا للإنجليزية والفرنسية. استخدمت البنية الأساسية ست طبقات وبُعد تمثيل 512. وقاس الباحثون الأداء بدرجات BLEU، وقارنوا تكلفة التدريب أيضًا.

النتائج

يسجل جدول النتائج للنموذج الكبير 28.4 BLEU للإنجليزية–الألمانية و 41.8 للإنجليزية–الفرنسية. هذه درجات معيارية، وليست نسبًا مئوية لصحة كل ترجمة. واستخدم الباحثون ثماني وحدات P100 لتدريب النموذج الكبير مدة 3.5 أيام.

ما الذي تناولته الحلقة؟

تذكر الحلقة الورقة بوصفها محطة في تطور النماذج اللغوية، وتشرح الانتباه بأمثلة مبسطة دون عرض بيانات هذا الاختبار أو جدوله.

حدود الاستنتاج

تتعلق النتائج بمهمات وبيانات وإعدادات محددة. ولا تثبت أن كل نموذج محادثة يملك البنية نفسها. كذلك تختلف أبعاد المتجهات عن عدد معاملات الشبكة، ولا تتخذ الطبقات دائمًا وظائف لغوية ثابتة منفصلة.