Ablations: Model Variations in Table 3
Attention Is All You Need
- Question first: if you keep total computation fixed, is one wide head better or worse than many narrow heads? Predict, then check rows (A)
- Setup (Section 6.2): vary the base model, measure English-to-German on newstest2013 development set, beam search but no checkpoint averaging; perplexities are per-wordpiece
- Base reference row: N = 6, d_model = 512, d_ff = 2048, h = 8, d_k = d_v = 64, P_drop = 0.1, epsilon_ls = 0.1, 100K steps, PPL 4.92, BLEU 25.8, 65 x 10^6 params
- Rows (A): varying heads at constant computation; single-head attention is 0.9 BLEU worse than the best setting, and quality also drops with too many heads
- Rows (B): reducing d_k hurts quality, suggesting compatibility is not easy to determine and a more sophisticated function than dot product may help
- Rows (C) and (D): bigger models are better; dropout is very helpful against over-fitting
- Row (E): learned positional embeddings instead of sinusoids give nearly identical results (25.7 BLEU)
- Big row: N = 6, d_model = 1024, d_ff = 4096, h = 16, P_drop = 0.3, 300K steps, PPL 4.33, BLEU 26.4, 213 x 10^6 params
شرایط جدول ۳ و ردیف base
**داده ارزیابی**
مجموعه توسعه newstest2013، انگلیسی به آلمانی (نه داده آزمون پایانی)
**پرپلکسی**
به ازای هر wordpiece؛ با پرپلکسی بر مبنای کلمه قابل مقایسه نیست
**چکپوینت**
یک چکپوینت منفرد، بدون میانگینگیری (برخلاف جدول ۲)
**پیکربندی base**
\(N=6,\ d_{\mathrm{model}}=512,\ d_{ff}=2048,\ h=8,\ d_k=d_v=64\) \(P_{\mathrm{drop}}=0.1,\ \epsilon_{ls}=0.1\)، \(100\mathrm{K}\) گام آموزش
**نتیجه base**
\(65\times10^{6}\) پارامتر، PPL \(=4.92\)، BLEU (dev) \(=25.8\)
ردیفهای A: تعداد سرهای توجه
| \(h\) | \(d_k = d_v\) | BLEU | اختلاف با پایه |
| --- | --- | --- | --- |
| \(1\) | \(512\) | \(24.9\) | \(-0.9\) |
| \(8\) (پایه) | \(64\) | \(25.8\) | |
| \(16\) | \(32\) | \(25.8\) | |
| \(32\) | \(16\) | \(25.4\) | \(-0.4\) |
نقش بعد کلید (dk) در ظرفیت ضرب داخلی
```mermaid
flowchart TD
subgraph Exp ["آزمایش ردیفهای بخش B (تعداد ثابت سرها: h = 8)"]
BASE["مدل پایه: dk = 64<br/>BLEU: 25.8 | پارامترها: 65M"]
STEP32["کاهش بعد: dk = 32<br/>BLEU: 25.4 (افت ۰.۴ واحد)"]
STEP16["کاهش شدید: dk = 16<br/>BLEU: 25.1 | PPL: 5.16 | پارامترها: 58M"]
end
subgraph Analysis ["تحلیل سازوکار ضرب داخلی کوئری و کلید"]
BOTTLENECK["تنگنای ضرب داخلی ساده<br/>ناتوانی بعد ۱۶ در تفکیک الگوهای پیچیده نحوی و معنایی"]
INSIGHT["نتیجهگیری معماری<br/>ضرورت اختصاص فضای برداری کافی به کلیدها"]
end
BASE --> STEP32
STEP32 --> STEP16
STEP16 --> BOTTLENECK
BOTTLENECK --> INSIGHT
```
تحلیل ابعاد، دراپاوت و امبدینگ در جدول ۳
**ردیف C: کاهش عمق مدل ($N = 2$)**
افت نمره $\text{BLEU} = 23.7$ و پرپلکسی $6.11$؛ افت شدید کیفیت به دلیل عمق ناکافی شبکه.
**ردیف C: ارتقای ابعاد ($d_{\text{model}} = 1024, d_{\text{ff}} = 4096$)**
جهش نمره $\text{BLEU}$ به $26.0$ و $26.2$؛ ظرفیت بالاتر در لایههای عمیقتر و عریضتر کیفیت بهتری ایجاد میکند.
**ردیف D: حذف کامل Dropout ($P_{\text{drop}} = 0$)**
کاهش $\text{BLEU}$ به $24.6$ و پرپلکسی $5.77$؛ نقش حیاتی Dropout در تنظیمگری و جلوگیری از بیشبرازش (Overfitting).
**ردیف D: حذف هموارسازی برچسب ($\epsilon_{\text{ls}} = 0$)**
پرپلکسی بهتر ($4.67$) اما افت $\text{BLEU}$ به $25.3$؛ مدل مطمئنتر ولی با تعمیمپذیری (Generalization) ضعیفتر.
**ردیف E: امبدینگ موضعی یادگرفتنی (Learned PE)**
نمره $\text{BLEU} = 25.7$؛ همارزی تجربی کامل با کدگذاری سینوسی بدون نیاز به تحمیل پارامتر یادگرفتنی اضافه.
پیکربندی مدل big و چشمانداز تعمیم معماری
| مدل | \(d_{\text{model}} / d_{\text{ff}} / h\) | دراپاوت / گامها | تعداد پارامتر | \(\text{PPL}_{\text{dev}} \ / \ \text{BLEU}_{\text{dev}}\) |
| --- | --- | --- | --- | --- |
| پایه (base) | \(512 \ / \ 2048 \ / \ 8\) | \(P_{\text{drop}}=0.1 \ / \ 100\text{k}\) | \(65\text{M}\) | \(4.92 \ / \ 25.8\) |
| بزرگ (big) | \(1024 \ / \ 4096 \ / \ 16\) | \(P_{\text{drop}}=0.3 \ / \ 300\text{k}\) | \(213\text{M}\) | \(4.33 \ / \ 26.4\) |
| مدل بزرگ (Ensemble) | همان پیکربندی big | میانگین ۲۰ چکپوینت | \(213\text{M}\) | \(\text{Test BLEU} = 28.4\) |
| تعمیم: Parsing | \(N=4, \ d_{\text{model}}=1024\) | بدون تنظیمات وظیفه | نسخه ویژه تقطیع | نتایج برتر (SOTA) |
Back to course