در این مطلب، ویدئو توضیح ساده LSTM | آموزش عمیق یادگیری 36 (Tensorflow، Keras و Python) با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 00:14:37
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:00,080 –> 00:00:02,800
دیدن این فیلم به نام یادگاری یا
2
00:00:02,800 –> 00:00:03,199
یک
3
00:00:03,199 –> 00:00:06,560
فیلم
4
00:00:06,560 –> 00:00:07,520
بالیوودی
5
00:00:07,520 –> 00:00:09,760
به نام غزنی وجود دارد rnn های اساسی ما مانند قهرمانان آن فیلم
6
00:00:09,760 –> 00:00:12,799
دچار مشکل حافظه کوتاه مدت هستند
7
00:00:12,799 –> 00:00:16,079
lstm نسخه ویژه rnn است
8
00:00:16,079 –> 00:00:17,760
که مشکل حافظه کوتاه مدت را
9
00:00:17,760 –> 00:00:19,760
حل می کند و در این ویدیوی من
10
00:00:19,760 –> 00:00:20,960
lstm را
11
00:00:20,960 –> 00:00:23,600
به روشی بسیار ساده با استفاده از مثالهای واقعی توضیح خواهم
12
00:00:23,600 –> 00:00:24,400
13
00:00:24,400 –> 00:00:27,279
داد، فرض کنید شما وظیفه nlp برای تکمیل مراکز
14
00:00:27,279 –> 00:00:28,720
15
00:00:28,720 –> 00:00:31,599
در اینجا در هر دو جمله بر اساس کلمهای که
16
00:00:31,599 –> 00:00:32,000
17
00:00:32,000 –> 00:00:34,399
در ابتدا نشان داده شده
18
00:00:34,399 –> 00:00:36,399
است ممکن است جمله تکمیل خودکار شما متفاوت باشد،
19
00:00:36,399 –> 00:00:39,120
به عنوان مثال برای جمله اول i.
20
00:00:39,120 –> 00:00:40,719
میگفتم باید وام بگیرم،
21
00:00:40,719 –> 00:00:43,120
در حالی که برای دومی میگویم
22
00:00:43,120 –> 00:00:44,719
باید وام بگیرم
23
00:00:44,719 –> 00:00:46,559
و این تصمیم بین نیاز و
24
00:00:46,559 –> 00:00:48,320
25
00:00:48,320 –> 00:00:50,960
سر بر اساس آنچه در همان ابتدا ظاهر شد،
26
00:00:50,960 –> 00:00:52,079
27
00:00:52,079 –> 00:00:55,360
28
00:00:55,360 –> 00:00:56,640
29
00:00:56,640 –> 00:00:58,960
گرفته شد. ویدیوهای قبلی من را دیده اید،
30
00:00:58,960 –> 00:00:59,680
می دانید
31
00:00:59,680 –> 00:01:01,520
که معماری rnn اینگونه به نظر می رسد،
32
00:01:01,520 –> 00:01:02,879
بنابراین اگر آن فیلم ها را نمی بینید، به
33
00:01:02,879 –> 00:01:04,319
شدت توصیه می کنم
34
00:01:04,319 –> 00:01:05,760
آنها را تماشا کنید زیرا آنها به نوعی یک پیش
35
00:01:05,760 –> 00:01:07,680
نیاز هستند. isite
36
00:01:07,680 –> 00:01:10,960
در اینجا وقتی جمله را کلمه به
37
00:01:10,960 –> 00:01:11,520
کلمه
38
00:01:11,520 –> 00:01:14,479
تغذیه می کنید خوب است بنابراین اول امروز تغذیه
39
00:01:14,479 –> 00:01:15,840
خواهید کرد مقداری وزن را یاد خواهید گرفت
40
00:01:15,840 –> 00:01:18,960
یک فعال سازی وجود دارد که بازخورد داده می شود
41
00:01:18,960 –> 00:01:21,680
اکنون شما روی کلمه دوم کار کنید که
42
00:01:21,680 –> 00:01:22,720
به دلیل
43
00:01:22,720 –> 00:01:25,600
آن است سپس کلمه سوم که دو است بنابراین این
44
00:01:25,600 –> 00:01:26,080
این است
45
00:01:26,080 –> 00:01:29,360
که rnn اساسی چگونه کار می کند اگر
46
00:01:29,360 –> 00:01:33,360
این چیز را به موقع باز کنید،
47
00:01:33,360 –> 00:01:36,320
معماری اینگونه به نظر می رسد که بسیاری از
48
00:01:36,320 –> 00:01:38,400
مردم گیج می شوند و فکر می کنند که
49
00:01:38,400 –> 00:01:40,079
این یک شبکه عصبی با لایه های بسیار زیادی است
50
00:01:40,079 –> 00:01:42,320
در واقع فقط یک لایه
51
00:01:42,320 –> 00:01:45,920
نگاه در این محور زمانی t1 t2 وجود دارد. t3
52
00:01:45,920 –> 00:01:48,640
بنابراین همان لایه است که در
53
00:01:48,640 –> 00:01:49,680
زمان های مختلف نشان داده شده است
54
00:01:49,680 –> 00:01:52,000
و وقتی آن را باز می کنید به این شکل به نظر می
55
00:01:52,000 –> 00:01:52,880
56
00:01:52,880 –> 00:01:56,399
رسد برای پیش بینی این کلمه
57
00:01:56,399 –> 00:01:58,640
باید در مورد کلمه امروزی
58
00:01:58,640 –> 00:02:00,320
که در همان
59
00:02:00,320 –> 00:02:01,600
ابتدای جمله ظاهر می شود
60
00:02:01,600 –> 00:02:03,920
و به دلیل مشکل گرادیان ناپدید می شود بدانید.
61
00:02:03,920 –> 00:02:04,719
62
00:02:04,719 –> 00:02:07,600
rnn های سنتی دارای حافظه کوتاه مدت هستند
63
00:02:07,600 –> 00:02:08,160
64
00:02:08,160 –> 00:02:10,479
بنابراین آنچه را که
65
00:02:10,479 –> 00:02:12,000
در ابتدای جمله آمده به خاطر
66
00:02:12,000 –> 00:02:14,800
نمی آورند آنها دارای حافظه بسیار کوتاه مدت
67
00:02:14,800 –> 00:02:15,520
68
00:02:15,520 –> 00:02:19,360
هستند که فقط چند کلمه را تشکیل می دهند که شبیه به این نزدیکی هستند و از این رو
69
00:02:19,360 –> 00:02:21,760
برای تکمیل خودکار هستند. و این نوع جمله
70
00:02:21,760 –> 00:02:23,440
rnn نمی تواند به
71
00:02:23,440 –> 00:02:27,520
طور مشابه کار خوبی انجام دهد، این دومین
72
00:02:27,520 –> 00:02:29,200
جمله ای است که می دانید
73
00:02:29,200 –> 00:02:31,519
head بر اساس کلمه قبلی که سال گذشته بود از آن مشتق شده
74
00:02:31,519 –> 00:02:32,879
است،
75
00:02:32,879 –> 00:02:36,400
حالا اجازه دهید کمی بیشتر به لایه شبکه نگاه کنیم.
76
00:02:36,400 –> 00:02:38,640
من
77
00:02:38,640 –> 00:02:39,920
فقط
78
00:02:39,920 –> 00:02:42,560
این لایه شبکه خاص را که
79
00:02:42,560 –> 00:02:44,160
شبیه به این است گسترش می دهم، بنابراین مجموعه ای از
80
00:02:44,160 –> 00:02:44,879
نورون ها
81
00:02:44,879 –> 00:02:47,519
در آن لایه وجود دارد و این حالت پنهان
82
00:02:47,519 –> 00:02:50,319
چیزی جز یک حافظه کوتاه مدت
83
00:02:50,319 –> 00:02:52,720
84
00:02:52,720 –> 00:02:55,280
نیست. این را ساده کنید
85
00:02:55,280 –> 00:02:58,959
و به این کادر مربعی سلول حافظه می گویند
86
00:02:58,959 –> 00:02:59,440
87
00:02:59,440 –> 00:03:02,000
زیرا این حالت پنهان در واقع
88
00:03:02,000 –> 00:03:03,519
89
00:03:03,519 –> 00:03:06,879
حاوی حافظه کوتاه مدت است حالا اگر می خواهید
90
00:03:06,879 –> 00:03:08,319
91
00:03:08,319 –> 00:03:10,319
حافظه بلند مدت را به خاطر بسپارید باید
92
00:03:10,319 –> 00:03:11,840
حالت دیگری به نام
93
00:03:11,840 –> 00:03:14,879
حافظه بلند مدت معرفی کنیم تا حالت C نامیده می شود،
94
00:03:14,879 –> 00:03:17,200
بنابراین دو حالت وجود دارد که در حال حاضر پنهان
95
00:03:17,200 –> 00:03:19,200
است که حافظه کوتاه مدت است
96
00:03:19,200 –> 00:03:22,239
و حالت خود وجود دارد که یک
97
00:03:22,239 –> 00:03:24,640
حافظه بلند مدت است و ما به
98
00:03:24,640 –> 00:03:26,480
طور دقیق به این موضوع خواهیم پرداخت که دقیقا چگونه
99
00:03:26,480 –> 00:03:27,599
کار می کند،
100
00:03:27,599 –> 00:03:30,159
اما به کوتاه مدت خود بازگردیم. سلول حافظه
101
00:03:30,159 –> 00:03:30,640
ترم l
102
00:03:30,640 –> 00:03:33,680
در rnn سنتی اگر
103
00:03:33,680 –> 00:03:35,519
چیزی شبیه این به نظر می رسد، بنابراین من
104
00:03:35,519 –> 00:03:38,080
نورون های عمودی را در اینجا ترسیم کرده ام، اما
105
00:03:38,080 –> 00:03:41,120
می توانید آنها
106
00:03:41,120 –> 00:03:43,599
را به صورت افقی ترسیم کنید، بنابراین
107
00:03:43,599 –> 00:03:46,720
فقط یک لایه از نورون ها است و xt و
108
00:03:46,720 –> 00:03:48,400
ht شما بردار هستند،
109
00:03:48,400 –> 00:03:51,360
بنابراین وقتی یک کلمه داشته باشید به عنوان
110
00:03:51,360 –> 00:03:53,360
مثال ابتدا به بردار تبدیل
111
00:03:53,360 –> 00:03:54,560
می کنید چیزی جز
112
00:03:54,560 –> 00:03:57,280
لیستی از اعداد نیست و حالت پنهان شما
113
00:03:57,280 –> 00:03:57,840
114
00:03:57,840 –> 00:04:00,400
نیز یک بردار خواهد بود و با استفاده از هر دو این
115
00:04:00,400 –> 00:04:02,080
بردارها
116
00:04:02,080 –> 00:04:03,840
مانند عملیات سیگما مانند
117
00:04:03,840 –> 00:04:06,159
ضرب وزنی را می دانید و سپس فعال سازی را
118
00:04:06,159 –> 00:04:06,560
اعمال می کنید.
119
00:04:06,560 –> 00:04:08,400
تابعی که
120
00:04:08,400 –> 00:04:11,200
در مورد rnn tan h است
121
00:04:11,200 –> 00:04:14,239
و سپس یک حالت پنهان جدید دریافت می کنید، بنابراین
122
00:04:14,239 –> 00:04:16,478
در اینجا یک مثال ساده وجود دارد،
123
00:04:16,478 –> 00:04:19,440
بنابراین در اینجا شما 10 ساعت دارید
124
00:04:19,440 –> 00:04:20,798
که مجموع وزنی دارید
125
00:04:20,798 –> 00:04:22,479
و سلول حافظه کوتاه مدت اینگونه به
126
00:04:22,479 –> 00:04:25,040
نظر می رسد. rnn سنتی
127
00:04:25,040 –> 00:04:28,960
در lstm میخواهیم یک
128
00:04:28,960 –> 00:04:31,680
حالت سلولی جدید برای حافظه بلند مدت معرفی
129
00:04:31,680 –> 00:04:34,400
کنیم، بنابراین بیایید بگوییم که این حالت سلولی وجود دارد،
130
00:04:34,400 –> 00:04:36,400
حالا بیایید با نگاه کردن به یک مثال دیگر ببینیم که دقیقا چگونه کار میکند.
131
00:04:36,400 –> 00:04:38,960
132
00:04:38,960 –> 00:04:42,160
من عاشق خوردن سام هستم. به
133
00:04:42,160 –> 00:04:44,880
هر حال، یک جمله دیگر برای شما دارم که به صورت خودکار
134
00:04:44,880 –> 00:04:45,919
تکمیل کنید،
135
00:04:45,919 –> 00:04:48,000
میتوانید به من بگویید چه چیزی را
136
00:04:48,000 –> 00:04:50,000
اینجا نقطه یا نقطه
137
00:04:50,000 –> 00:04:52,479
قرار میدهید، واضح است که سمبوسه هندی یک
138
00:04:52,479 –> 00:04:54,560
غذای هندی است، بنابراین میگویید
139
00:04:54,560 –> 00:04:57,600
غذای مورد علاقه او هندی است،
140
00:04:57,600 –> 00:05:00,240
حالا کمی مکث کنید و به این فکر کنید که
141
00:05:00,240 –> 00:05:01,199
انسان
142
00:05:01,199 –> 00:05:03,520
چه زمانی است که وقتی این جمله را پردازش می کنید این مورد را درست می
143
00:05:03,520 –> 00:05:05,759
کنید
144
00:05:05,759 –> 00:05:09,919
که کلمات به شما گفته اند که این
145
00:05:09,919 –> 00:05:12,160
یک غذای هندی
146
00:05:12,160 –> 00:05:15,280
147
00:05:15,280 –> 00:05:16,320
148
00:05:16,320 –> 00:05:19,840
خواهد بود. یا هر
149
00:05:19,840 –> 00:05:21,759
روز بر اساس این کلمات نمی توانید حدس
150
00:05:21,759 –> 00:05:23,199
بزنید که یک غذای هندی
151
00:05:23,199 –> 00:05:25,919
است، اگر در حال بررسی فیلم هستید، کلمات کلیدی وجود دارد،
152
00:05:25,919 –> 00:05:27,840
به عنوان مثال،
153
00:05:27,840 –> 00:05:29,840
به دنبال کلمات کلیدی مانند خوب
154
00:05:29,840 –> 00:05:30,960
عالی
155
00:05:30,960 –> 00:05:34,639
یا وحشتناک هستید، فیلم وحشتناکی را می شناسید.
156
00:05:34,639 –> 00:05:37,199
یا شگفت انگیز قهرمان بسیار خوب عمل کرد،
157
00:05:37,199 –> 00:05:38,720
بنابراین شما فقط
158
00:05:38,720 –> 00:05:41,280
دنبال کلمات خاص هستید و بقیه
159
00:05:41,280 –> 00:05:43,919
کلمات را می توانید نادیده بگیرید
160
00:05:43,919 –> 00:05:46,479
حالا بیایید ببینیم rnn سنتی ما
161
00:05:46,479 –> 00:05:48,960
برای این جمله چگونه رفتار می کند.
162
00:05:48,960 –> 00:05:51,120
163
00:05:51,120 –> 00:05:52,320
164
00:05:52,320 –> 00:05:55,199
داشتن حافظه کوتاه مدت وقتی
165
00:05:55,199 –> 00:05:56,160
همه این کلمات
166
00:05:56,160 –> 00:05:58,080
را تغذیه می کنید، می تواند فقط دو
167
00:05:58,080 –> 00:06:00,960
کلمه آخر را به خاطر بسپارد، در واقعیت rnns می تواند کلمات بیشتری را به خاطر بسپارد،
168
00:06:00,960 –> 00:06:02,560
اما من فقط یک
169
00:06:02,560 –> 00:06:04,560
مثال ساده که شما می دانید فقط برای توضیح این
170
00:06:04,560 –> 00:06:05,360
مفهوم می زنم،
171
00:06:05,360 –> 00:06:07,280
بنابراین فرض کنید آنها کوتاه هستند- حافظه ترم
172
00:06:07,280 –> 00:06:09,199
فقط دو کلمه را به خاطر می آورد،
173
00:06:09,199 –> 00:06:10,960
بنابراین وقتی این جمله را می خوانید
174
00:06:10,960 –> 00:06:13,520
تقریباً به عنوان مثال
175
00:06:13,520 –> 00:06:16,240
تقریباً به یاد می آورد و سمبوسه
176
00:06:16,240 –> 00:06:18,720
مانند دو کلمه آخر دو کلمه آخر
177
00:06:18,720 –> 00:06:21,600
وقتی در اینجا هستید آشپزی است به
178
00:06:21,600 –> 00:06:22,080
یاد می آورد
179
00:06:22,080 –> 00:06:24,479
است و آشپزی بنابراین در این مرحله
180
00:06:24,479 –> 00:06:26,720
اینطور نیست. دانشی از سمبوسه
181
00:06:26,720 –> 00:06:29,600
ندارید، بنابراین برای یک rna سنتی
182
00:06:29,600 –> 00:06:31,440
حدس زدن این که آشپزی
183
00:06:31,440 –> 00:06:33,600
184
00:06:33,600 –> 00:06:37,199
هندی است سخت است اگر این حافظه بلند مدت را
185
00:06:37,199 –> 00:06:39,919
همراه با حافظه کوتاه مدت به گونه ای
186
00:06:39,919 –> 00:06:40,880
187
00:06:40,880 –> 00:06:43,600
بسازیم که کلمات معنی دار یا معنی دار را ذخیره کنیم. کلمات کلیدی
188
00:06:43,600 –> 00:06:44,639
189
00:06:44,639 –> 00:06:47,440
در این حافظه بلند مدت است، بنابراین وقتی
190
00:06:47,440 –> 00:06:48,560
به دنیا
191
00:06:48,560 –> 00:06:50,560
غذا می دهم یا می خورم آن را ذخیره نمی کند، این یک
192
00:06:50,560 –> 00:06:51,680
رشته خالی است،
193
00:06:51,680 –> 00:06:54,080
آن را در یک حافظه بلند مدت
194
00:06:54,080 –> 00:06:54,880
ذخیره
195
00:06:54,880 –> 00:06:57,039
نمی کند، اما وقتی چیزهایی مانند سمبوسه پیدا کنید، آن
196
00:06:57,039 –> 00:06:58,720
را در حافظه بلند مدت ذخیره نمی کند. یک خاطره بلند مدت دیدن
197
00:06:58,720 –> 00:06:59,680
198
00:06:59,680 –> 00:07:02,240
سمبوسه تقریباً مهم نیست،
199
00:07:02,240 –> 00:07:05,599
بنابراین من فقط سمبوسه را اینجا ذخیره میکنم
200
00:07:05,599 –> 00:07:07,919
و وقتی تمام راه را اینجا میروم اکنون
201
00:07:07,919 –> 00:07:10,240
وقتی باید در مورد آشپزی پیشبینی
202
00:07:10,240 –> 00:07:12,960
کنم، این خاطره را دارم که ما در
203
00:07:12,960 –> 00:07:14,800
مورد سمبوسه صحبت میکنیم و به همین دلیل است
204
00:07:14,800 –> 00:07:16,720
باید هندی باشد،
205
00:07:16,720 –> 00:07:19,280