تعمیم به Constituency Parsing و جمعبندی مقاله
Attention Is All You Need
- Prediction prompt: parsing outputs are long and tightly structured; would a translation architecture with almost no task-specific tuning do well?
- Setup (Section 6.3): a 4-layer Transformer with d_model = 1024 on the WSJ portion of the Penn Treebank, about 40K training sentences; semi-supervised setting with approximately 17M sentences; vocabularies of 16K and 32K tokens
- Inference changes: maximum output length input length + 300, beam size 21, alpha = 0.3
- Table 4: 91.3 F1 trained on WSJ only and 92.7 F1 semi-supervised, better than all previously reported models except the Recurrent Neural Network Grammar
- Unlike RNN sequence-to-sequence models, the Transformer outperforms the BerkeleyParser even with only the 40K-sentence WSJ training set
- Conclusion (Section 7): first transduction model based entirely on attention; trains significantly faster; new state of the art on both WMT 2014 tasks
- Future directions stated by the authors: other modalities such as images, audio and video, local restricted attention for large inputs, and less sequential generation
- One pointer after the paper: the encoder and decoder stacks you traced here were later used on their own to build the language models you use daily
سنجش فهم و آمادگی نهایی (Check for Understanding)
- پرسش ۱: امتیاز F1 ترنسفورمر در رژیم داده محدود (فقط WSJ) چند شد و این عدد چه تفاوتی با مدل پایه RNN (Vinyals & Kaiser 2014) داشت؟
- پاسخ ۱: ترنسفورمر به امتیاز 91.3 دست یافت که ۳ نمره کامل از مدل RNN با امتیاز 88.3 بالاتر بود و نشان داد ترنسفورمر برخلاف RNNها در رژیم داده اندک افت عملکرد شدیدی پیدا نمیکند.
- پرسش ۲: آیا ترنسفورمر در این آزمایش تمامی مدلهای پیشین حتی مدلهای تخصصی را شکست داد؟
- پاسخ ۲: خیر؛ مدلهای تخصصی با مهندسی نحوی بالا مانند RNNG با امتیاز 91.7 و در حالت نیمهنظارتی مدل Choe & Charniak با امتیاز 93.8 بالاتر بودند. هدف مقاله شکست دادن مدلهای تخصصی نبود، بلکه اثبات تعمیمپذیری یک مدل عمومی ترجمه بدون دستکاری بود.
- پرسش ۳: سه مسیر آینده پژوهشی صریح که نویسندگان در انتهای بخش ۷ معرفی کردند چه بودند؟
- پاسخ ۳: ۱) گسترش توجه به مدالیتههای دیگر (تصویر، صوت و ویدیو)، ۲) مکانیزمهای توجه محلی/محدود برای پردازش ورودیهای بسیار طولانی، و ۳) بررسی تولید غیرمتوالی (Non-Sequential Generation) جهت افزایش سرعت دیکودینگ.
تحلیل نتایج جدول ۴: تجزیه نحوی و مقایسهها
**امتیازهای ترنسفورمر (جدول ۴)**
در آموزش محدود به ۴۰ هزار جمله WSJ به امتیاز \(F_1 = 91.3\) و در حالت نیمهنظارتی به \(F_1 = 92.7\) دست یافت.
**موفقیت در رژیم داده اندک**
برخلاف مدلهای قبلی RNN که بدون داده میلیونی شکست میخوردند، ترنسفورمر حتی با داده محدود بر BerkeleyParser با امتیاز \(90.4\) غلبه کرد.
**رفع سوءبرداشت: RNNG**
ترنسفورمر همه را شکست نداد؛ مدل تخصصی RNNG با نحو صریح به امتیازهای \(91.7\) (تمایزی) و \(93.3\) (زایشی) رسید و بالاتر ایستاد.
**پیام بنیادین دستاورد**
دستیابی به چنین عملکردی توسط یک مدل عام Sequence-to-Sequence و بدون هیچگونه سوگیری یا مؤلفه اختصاصی گرامر، خارقالعاده بود.
جمعبندی دستاوردهای بنیادین مدل ترنسفورمر
**معماری مبتنی بر توجه خالص**
حذف کامل لایههای بازگشتی (RNN)؛ اتکای مطلق انکودر و دیکودر به مکانیزم Multi-Head Attention
**موازیسازی و راندمان محاسباتی**
امکان پردازش کاملاً موازی، آموزش به مراتب سریعتر و مصرف کسری از هزینه محاسباتی مدلهای پیشین
**رکوردهای جدید ترجمه ماشینی (SOTA)**
دستیابی به امتیاز BLEU برابر با \(28.4\) در ترجمه انگلیسی-آلمانی و \(41.8\) در انگلیسی-فرانسوی
**تعمیمپذیری به تجزیه نحوی (Parsing)**
اثبات فراگیری ساختار نحوی و دستوری غنی بدون فرضیات سختگیرانه یا معماری اختصاصی وظیفه
سه افق آینده و میراث ترنسفورمر
**۱. سایر مدالیتهها**
گسترش مکانیزم Attention به ورودیهای تصویر، صدا و ویدیو
**۲. توجه موضعی و محدود**
کاهش بار محاسباتی برای ورودیهای عظیم نظیر اسناد بسیار بلند و پیکسلها
**۳. تولید خروجی کمتر ترتیبی**
طراحی روشهای تولید همگام با وابستگی خطی و گامبهگام کمتر
**میراث: تفکیک پشتهها**
توسعه مستقل Encoder-only (مثل BERT) و Decoder-only (مثل GPT)
بازگشت به دوره