نتایج ترجمه ماشینی
Attention Is All You Need
- Prediction prompt: before looking at Table 2, would you expect the smaller base model to beat earlier ensembles? Commit to a guess
- Inference setup (Section 6.1): base models average the last 5 checkpoints written at 10-minute intervals; big models average the last 20; beam search with beam size 4 and length penalty alpha = 0.6; maximum output length input length + 50 with early termination
- Table 2 English-to-German: Transformer (big) 28.4 BLEU, more than 2.0 BLEU above the best previously reported models including ensembles; Transformer (base) 27.3 surpasses all previously published models and ensembles
- Table 2 English-to-French: Transformer (base) 38.1; Transformer (big) 41.8 as reported in the abstract and Table 2 (the Section 6.1 text reads 41.0; read numbers from the table), a new single-model state of the art at less than 1/4 the training cost of the previous state of the art
- The big English-to-French model used P_drop = 0.1 instead of 0.3
- How training cost was estimated: training time x number of GPUs x estimated sustained single-precision capacity per GPU (9.5 TFLOPS for P100 per footnote 5)
- Reading Table 2 critically: quality versus training cost across model families
تنظیمات استنتاج و میانگینگیری چکپوینتها
**چالش مقایسه**
آیا یک تکمدل \( \text{Base} \) میتواند سیستمهای ترکیبی پیشین (\( \text{Ensembles} \)) را پشت سر بگذارد؟
**میانگینگیری چکپوینتها (Checkpoint Averaging)**
ذخیره هر \( 10 \) دقیقه یکبار:
• مدل \( \text{Base} \): میانگین \( 5 \) چکپوینت پایانی
• مدل \( \text{Big} \): میانگین \( 20 \) چکپوینت پایانی
**جستجوی پرتو (Beam Search)**
تولید دنباله خروجی با پهنای پرتو \( \text{Beam Size} = 4 \)
**کنترل طول (Length Penalty)**
ضریب جریمه طول \( \alpha = 0.6 \)
حداکثر طول: \( L_{\text{in}} + 50 \) (توقف زودهنگام با توکن پایان)
نتایج ترجمه انگلیسی به آلمانی در جدول ۲
| مدل (Model) | نوع ساختار | BLEU (EN-DE) | زمان آموزش (8x P100) |
| --- | --- | --- | --- |
| GNMT + RL Ensemble | Recurrent (RNN) | 26.30 | — |
| ConvS2S Ensemble | Convolutional (CNN) | 26.36 | — |
| Transformer (base) | Self-Attention (تکمدل) | 27.3 | 12 hours |
| Transformer (big) | Self-Attention (تکمدل) | 28.4 (+2.04) | 3.5 days |
تحلیل نتایج ترجمه انگلیسی به فرانسوی
**Question:** آیا ترنسفورمر در تمام تنظیمات و نسخهها بر همه مدلهای پیشین برتری مطلق داشت؟
**Tempting answer:** ~~ترنسفورمر در هر دو نسخه Base و Big در تمام آزمونها عملکرد بالاتری نسبت به سیستمهای قبلی ثبت کرد.~~
**Test:** شواهد تجربی ترجمه EN-FR در جدول ۲:
• مدل پایه: Transformer base با امتیاز \(38.1\;\mathrm{BLEU}\)
• مدلهای پیشین: ConvS2S با \(40.46\;\mathrm{BLEU}\) و GNMT با \(39.92\;\mathrm{BLEU}\)
• مدل بزرگ: Transformer big با امتیاز \(41.8\;\mathrm{BLEU}\)
**Correct answer:** خیر؛ مدل Transformer base مغلوب مدلهای پیشین شد و تنها مدل Transformer big توانست رکورد جدید را ثبت کند.
**Why:** مدل بزرگ با کمتر از یکچهارم هزینه آموزش به رکورد \(41.8\;\mathrm{BLEU}\) رسید. برای حفظ ظرفیت روی این مجموعه داده بزرگ، \(P_{\mathrm{drop}} = 0.1\) شد (عدد \(41.0\) در متن بخش 6.1 یک اشتباه تایپی است و جدول ۲ و چکیده با نمره \(41.8\) مرجع رسمی هستند).
فرمول تخمین FLOPs و مقایسه هزینه محاسباتی
تخمین تئوری بار محاسباتی آموزش (Training FLOPs) در جدول ۲ و مقایسه با مدلهای پیشین
**فرمول تخمین نظری هزینه آموزش**
\[ \text{FLOPs} = \text{Time}_{\text{train}} \times N_{\text{GPU}} \times \text{FLOP/s}_{\text{GPU}} \]
حاصلضرب کل زمان آموزش در تعداد GPUها و توان تخمینی ممیز شناور
**نرخ پایدار سختافزار (پاورقی ۵ مقاله)**
\[ \text{Capacity}_{\text{P100}} = 9.5 \times 10^{12} \, \frac{\text{FLOP}}{\text{s}} = 9.5 \text{ TFLOPS} \]
ظرفیت پردازشی در نظر گرفته شده برای پردازندههای P100 با دقت single-precision
**هزینه محاسباتی مدل پایه ترنسفورمر**
\[ \text{FLOPs}_{\text{Transformer (base)}} = 3.3 \times 10^{18} \]
بار محاسباتی بسیار پایین برای دستیابی به امتیاز برتر در انگلیسی به آلمانی
**موازنه و مقایسه با سیستمهای پیشین**
\[ \frac{\text{ConvS2S}}{\text{Transformer}} \approx \frac{9.6 \times 10^{18}}{3.3 \times 10^{18}} \approx 2.9\times, \quad \frac{\text{GNMT}}{\text{Transformer}} > \frac{20 \times 10^{18}}{3.3 \times 10^{18}} > 6\times \]
کیفیت ترجمه بالاتر همراه با صرف تنها کسری از محاسبات رقبای کانولوشنی و بازگشتی
بازگشت به دوره