یادگیری عمیق: آموزش، داده و توان محاسباتی
هوش مصنوعی برای همه: هوش مصنوعی چطور باهوش شد؟
- Deep learning as learning through multiple layers of representations.
- The wider use of backpropagation in the 1980s and renewed progress in deep learning during the 2000s and 2010s.
- Gradient descent as making small parameter changes to reduce loss.
- Backpropagation as efficiently assigning sensitivity to parameters, without deriving calculus formulas.
- Training batches, repeated passes through data, and why optimization can be difficult.
- The combined contribution of larger datasets, improved methods, GPUs, and increased computation.
- Why greater size can improve performance without guaranteeing correctness or unlimited progress.
زنجیرهٔ بازنماییها
```svg
<svg viewBox="0 0 800 450" xmlns="http://www.w3.org/2000/svg"><defs><marker id="arrow" markerWidth="10" markerHeight="10" refX="8" refY="5" orient="auto"><path d="M0,0 L10,5 L0,10 z" class="tm-arrow"/></marker></defs><text x="400" y="60" class="tm-text-accent" font-size="21" text-anchor="middle" direction="rtl">عمق بیشتر، تضمین بهترشدن نیست</text><rect x="35" y="175" width="115" height="90" rx="14" class="tm-surface"/><text x="92" y="215" class="tm-text" font-size="17" text-anchor="middle" direction="rtl">عکس میوه</text><text x="92" y="242" class="tm-muted" font-size="14" text-anchor="middle" direction="rtl">سیب یا پرتقال</text><line x1="150" y1="220" x2="210" y2="220" class="tm-line" marker-end="url(#arrow)"/><rect x="220" y="175" width="145" height="90" rx="14" class="tm-soft"/><text x="292" y="215" class="tm-text" font-size="17" text-anchor="middle" direction="rtl">لایهٔ نزدیک</text><text x="292" y="242" class="tm-muted" font-size="14" text-anchor="middle" direction="rtl">لبهها</text><line x1="365" y1="220" x2="425" y2="220" class="tm-line" marker-end="url(#arrow)"/><rect x="435" y="175" width="145" height="90" rx="14" class="tm-soft"/><text x="507" y="215" class="tm-text" font-size="17" text-anchor="middle" direction="rtl">لایهٔ بعدی</text><text x="507" y="242" class="tm-muted" font-size="14" text-anchor="middle" direction="rtl">شکل و بافت</text><line x1="580" y1="220" x2="635" y2="220" class="tm-line" marker-end="url(#arrow)"/><rect x="645" y="175" width="120" height="90" rx="14" class="tm-surface"/><text x="705" y="215" class="tm-text" font-size="17" text-anchor="middle" direction="rtl">پیشبینی</text><text x="705" y="242" class="tm-muted" font-size="14" text-anchor="middle" direction="rtl">سیب / پرتقال</text><rect x="180" y="330" width="200" height="55" rx="12" class="tm-gold"/><text x="280" y="364" class="tm-text" font-size="16" text-anchor="middle" direction="rtl">ظرفیت بیشتر</text><text x="400" y="366" class="tm-muted" font-size="22" text-anchor="middle">≠</text><rect x="420" y="330" width="200" height="55" rx="12" class="tm-soft"/><text x="520" y="364" class="tm-text" font-size="16" text-anchor="middle" direction="rtl">یادگیری بهتر</text><text x="400" y="115" class="tm-muted" font-size="15" text-anchor="middle" direction="rtl">امکان الگوهای پیچیدهتر، نه قول موفقیت</text></svg>
```
پیشرفت تدریجی آموزش شبکهها
```svg
<svg viewBox="0 0 800 450" xmlns="http://www.w3.org/2000/svg"><defs><marker id="arrow" markerWidth="10" markerHeight="10" refX="8" refY="3" orient="auto"><path d="M0,0 L0,6 L9,3 z" class="tm-arrow"/></marker></defs><line x1="110" y1="105" x2="690" y2="105" class="tm-line" marker-end="url(#arrow)"/><circle cx="190" cy="105" r="10" class="tm-accent"/><circle cx="400" cy="105" r="8" class="tm-taupe"/><circle cx="610" cy="105" r="8" class="tm-taupe"/><text x="190" y="65" class="tm-text" font-size="20" text-anchor="middle" direction="rtl">دههٔ ۱۹۸۰</text><text x="400" y="65" class="tm-text" font-size="20" text-anchor="middle" direction="rtl">دههٔ ۲۰۰۰</text><text x="610" y="65" class="tm-text" font-size="20" text-anchor="middle" direction="rtl">دههٔ ۲۰۱۰</text><rect x="105" y="150" width="170" height="62" rx="10" class="tm-accent"/><text x="190" y="188" class="tm-text" font-size="19" text-anchor="middle" direction="rtl">رواج backpropagation</text><rect x="315" y="150" width="170" height="62" rx="10" class="tm-surface"/><text x="400" y="188" class="tm-text" font-size="19" text-anchor="middle" direction="rtl">روشهای آموزش بهتر</text><rect x="610" y="150" width="85" height="62" rx="10" class="tm-soft"/><text x="652" y="188" class="tm-text2" font-size="17" text-anchor="middle">GPU</text><rect x="525" y="150" width="80" height="62" rx="10" class="tm-surface"/><text x="565" y="177" class="tm-text" font-size="16" text-anchor="middle" direction="rtl">پیشرفت</text><text x="565" y="198" class="tm-text" font-size="16" text-anchor="middle" direction="rtl">چشمگیر</text><rect x="105" y="255" width="170" height="58" rx="10" class="tm-soft"/><text x="190" y="291" class="tm-text2" font-size="18" text-anchor="middle" direction="rtl">داده محدود</text><rect x="315" y="255" width="170" height="58" rx="10" class="tm-soft"/><text x="400" y="291" class="tm-text2" font-size="18" text-anchor="middle" direction="rtl">داده و محاسبه بیشتر</text><rect x="525" y="255" width="170" height="58" rx="10" class="tm-accent"/><text x="610" y="282" class="tm-text" font-size="17" text-anchor="middle" direction="rtl">مجموعهدادههای بزرگتر</text><text x="610" y="303" class="tm-text" font-size="17" text-anchor="middle" direction="rtl">روش بهتر + GPU</text><rect x="150" y="350" width="500" height="48" rx="10" class="tm-soft"/><text x="400" y="381" class="tm-text2" font-size="18" text-anchor="middle" direction="rtl">داده + روش + سختافزار</text></svg>
```
چرخهٔ آموزش و تغییر وزن
ورودی: \(x=1\)، وزن فعلی: \(w=2\)، جواب درست: \(y=1\)؛ \(\hat{y}=wx\)، و \(L=|\hat{y}-y|\). اندازهٔ قدم: \(1\).
**پیشبینی و loss**
\[ \hat{y}=wx=2\cdot1=2,\qquad L=|2-1|=1 \]
پیشبینی با جواب درست مقایسه میشود.
**حساسیت و gradient**
\[ \frac{\partial L}{\partial w}=1 \]
کمکردن وزن، loss را کم میکند.
**بهروزرسانی وزن**
\[ w_{\mathrm{new}}=2-1=1 \]
gradient descent از gradient و اندازهٔ قدم استفاده میکند.
**پیشبینی تازه**
\[ \hat{y}_{\mathrm{new}}=1\cdot1=1,\qquad L_{\mathrm{new}}=|1-1|=0 \]
با وزن تازه، loss صفر است.
چرخهٔ batch و epoch
```svg
<svg viewBox="0 0 800 450" xmlns="http://www.w3.org/2000/svg"><defs><marker id="a" markerWidth="8" markerHeight="8" refX="6" refY="3" orient="auto"><path d="M0,0 L0,6 L7,3 z" class="tm-arrow"/></marker></defs><text x="400" y="38" class="tm-text" font-size="20" text-anchor="middle" direction="rtl">ده batch در یک epoch</text><g class="tm-surface"><rect x="70" y="90" width="125" height="58" rx="10"/><rect x="220" y="90" width="125" height="58" rx="10"/><rect x="370" y="90" width="125" height="58" rx="10"/><rect x="520" y="90" width="125" height="58" rx="10"/></g><rect x="70" y="90" width="125" height="58" rx="10" class="tm-accent"/><text x="132" y="125" class="tm-text" font-size="16" text-anchor="middle" direction="rtl">batch ۱</text><text x="282" y="125" class="tm-text" font-size="16" text-anchor="middle" direction="rtl">batch ۲</text><text x="432" y="125" class="tm-muted" font-size="16" text-anchor="middle">...</text><text x="582" y="125" class="tm-text" font-size="16" text-anchor="middle" direction="rtl">batch ۱۰</text><rect x="70" y="190" width="575" height="65" rx="10" class="tm-soft"/><text x="357" y="218" class="tm-text" font-size="16" text-anchor="middle" direction="rtl">پیشبینی ← loss میانگین ← backpropagation</text><text x="357" y="242" class="tm-text2" font-size="15" text-anchor="middle" direction="rtl">تغییر پارامترها</text><text x="70" y="290" class="tm-muted" font-size="14" direction="rtl">۱۰۰ عکس آموزشی؛ ۱۰ عکس در هر batch</text><path d="M132 150 L132 185 M282 150 L282 185 M432 150 L432 185 M582 150 L582 185" class="tm-line" marker-end="url(#a)"/><path d="M645 220 C720 220 720 90 650 90" class="tm-line" marker-end="url(#a)"/><text x="685" y="165" class="tm-text2" font-size="14" direction="rtl">پارامترهای تازه</text><rect x="70" y="325" width="280" height="70" rx="10" class="tm-gold"/><text x="210" y="354" class="tm-text" font-size="16" text-anchor="middle" direction="rtl">روشن → کمنور</text><text x="210" y="379" class="tm-text2" font-size="14" text-anchor="middle" direction="rtl">جهت اصلاح متفاوت</text><path d="M90 420 L145 404 L200 416 L255 395 L310 414" class="tm-line-accent"/><text x="200" y="442" class="tm-muted" font-size="13" text-anchor="middle" direction="rtl">loss هر batch بالا و پایین میشود</text><rect x="420" y="325" width="300" height="70" rx="10" class="tm-soft"/><text x="570" y="354" class="tm-text" font-size="15" text-anchor="middle" direction="rtl">قدم بزرگ: عبور از ناحیهٔ بهتر</text><text x="570" y="379" class="tm-text2" font-size="15" text-anchor="middle" direction="rtl">قدم کوچک: آموزش کند</text><rect x="70" y="300" width="660" height="35" rx="8" class="tm-accent"/><text x="400" y="324" class="tm-text" font-size="14" text-anchor="middle" direction="rtl">loss آموزشی ↓ ≠ تضمین تشخیص خوب</text><text x="400" y="430" class="tm-text-green" font-size="15" text-anchor="middle" direction="rtl">دادهٔ اعتبارسنجی را هم دنبال کن</text><text x="400" y="448" class="tm-muted" font-size="13" text-anchor="middle" direction="rtl">تمرین بهتر، دادهٔ کنارگذاشتهشده بدتر: تکرار بیشتر لزوماً کمک نمیکند</text></svg>
```
داده، محاسبه و روش
```svg
<svg viewBox="0 0 800 450" xmlns="http://www.w3.org/2000/svg"><defs><marker id="a" markerWidth="10" markerHeight="10" refX="8" refY="3" orient="auto"><path d="M0,0 L0,6 L9,3 z" class="tm-arrow"/></marker></defs><rect x="35" y="45" width="205" height="82" rx="12" class="tm-accent"/><text x="137" y="80" class="tm-text" font-size="20" text-anchor="middle" direction="rtl">دادهٔ متنوع</text><text x="137" y="108" class="tm-text2" font-size="15" text-anchor="middle" direction="rtl">نور و زاویهٔ گوناگون</text><rect x="297" y="45" width="205" height="82" rx="12" class="tm-soft"/><text x="399" y="80" class="tm-text" font-size="20" text-anchor="middle" direction="rtl">توان محاسباتی</text><text x="399" y="108" class="tm-text2" font-size="15" text-anchor="middle" direction="rtl">GPU و batchها</text><rect x="560" y="45" width="205" height="82" rx="12" class="tm-soft"/><text x="662" y="80" class="tm-text" font-size="20" text-anchor="middle" direction="rtl">روش آموزش</text><text x="662" y="108" class="tm-text2" font-size="15" text-anchor="middle" direction="rtl">تنظیم پارامترها</text><path d="M240 86 H285" class="tm-line" marker-end="url(#a)"/><path d="M502 86 H548" class="tm-line" marker-end="url(#a)"/><rect x="278" y="183" width="244" height="75" rx="12" class="tm-surface"/><text x="400" y="214" class="tm-text" font-size="19" text-anchor="middle" direction="rtl">یادگیری مؤثر</text><text x="400" y="240" class="tm-muted" font-size="15" text-anchor="middle" direction="rtl">تعامل سه عامل</text><path d="M137 127 C137 166 240 180 278 205" class="tm-line" marker-end="url(#a)"/><path d="M399 127 V175" class="tm-line" marker-end="url(#a)"/><path d="M662 127 C662 166 560 180 522 205" class="tm-line" marker-end="url(#a)"/><rect x="35" y="310" width="205" height="75" rx="12" class="tm-gold"/><text x="137" y="340" class="tm-text" font-size="18" text-anchor="middle" direction="rtl">مدل بزرگتر</text><text x="137" y="366" class="tm-text2" font-size="14" text-anchor="middle" direction="rtl">هزینه و حافظه بیشتر</text><rect x="297" y="310" width="205" height="75" rx="12" class="tm-surface"/><text x="399" y="340" class="tm-text" font-size="18" text-anchor="middle" direction="rtl">بهبود کمتر</text><text x="399" y="366" class="tm-muted" font-size="14" text-anchor="middle" direction="rtl">با افزایش اندازه</text><rect x="560" y="310" width="205" height="75" rx="12" class="tm-soft"/><text x="662" y="340" class="tm-text" font-size="18" text-anchor="middle" direction="rtl">خطا همچنان ممکن</text><text x="662" y="366" class="tm-text2" font-size="14" text-anchor="middle" direction="rtl">تضمین صحت نیست</text><path d="M240 347 H285" class="tm-line-accent" marker-end="url(#a)"/><path d="M502 347 H548" class="tm-line" marker-end="url(#a)"/><rect x="258" y="402" width="284" height="38" rx="10" class="tm-accent"/><text x="400" y="427" class="tm-text" font-size="17" text-anchor="middle" direction="rtl">ورودی ← پیشبینی ← loss</text><text x="400" y="447" class="tm-muted" font-size="13" text-anchor="middle" direction="rtl">backpropagation جدا از بهروزرسانی پارامترها</text></svg>
```
بازگشت به دوره