در این مطلب، ویدئو آرون ریشتر- پردازش موازی در پایتون| PyData Global 2020 با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 00:34:10
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:04,160 –> 00:00:05,759
سلام به همه متشکرم از اینکه سخنرانی من را تماشا
2
00:00:05,759 –> 00:00:07,520
کردید، این قرار است همه چیز در مورد
3
00:00:07,520 –> 00:00:09,679
پردازش موازی در پایتون باشد، واقعاً
4
00:00:09,679 –> 00:00:11,440
همه چیز در مورد چشم انداز ابزارهایی است که
5
00:00:11,440 –> 00:00:13,440
امروزه برای محاسبه خوشه های توزیع موازی وجود دارد،
6
00:00:13,440 –> 00:00:14,480
7
00:00:14,480 –> 00:00:16,239
همه چیزهایی که این روزها چیزها واقعاً به سرعت در حال حرکت هستند،
8
00:00:16,239 –> 00:00:17,760
9
00:00:17,760 –> 00:00:19,439
بنابراین امیدوارم بتوانم حداقل به شما
10
00:00:19,439 –> 00:00:21,359
بفهمانم که الان کجا هستیم، اما احتمالاً
11
00:00:21,359 –> 00:00:22,640
این گفتگو تا
12
00:00:22,640 –> 00:00:23,840
شش ماه دیگر
13
00:00:23,840 –> 00:00:25,199
منسوخ خواهد شد، بنابراین من قصد ندارم در مورد هیچ ابزاری به طور فوقالعاده عمیق
14
00:00:25,199 –> 00:00:26,720
صحبت کنم، اما پیوندها و مقداری را ارائه خواهم کرد.
15
00:00:26,720 –> 00:00:27,119
16
00:00:27,119 –> 00:00:28,640
برخی از منابع، بنابراین اگر
17
00:00:28,640 –> 00:00:30,160
میخواهید اسلایدها را بگیرید، میتوانید
18
00:00:30,160 –> 00:00:31,840
آنجا را دنبال کنید و روی پیوندها کلیک کنید
19
00:00:31,840 –> 00:00:34,320
و سپس یک چیزی که من میگویم این است که
20
00:00:34,320 –> 00:00:35,680
همه نظراتی که
21
00:00:35,680 –> 00:00:36,960
درباره این ابزارهای مختلف صحبت
22
00:00:36,960 –> 00:00:40,320
میکنم، نام خودم است. آیا آرون من برای
23
00:00:40,320 –> 00:00:42,160
ابر زحل کار می کنم و واقعاً وظیفه من در آنجا این است
24
00:00:42,160 –> 00:00:44,160
که اطمینان حاصل کنم که دانشمندان داده می توانند با استفاده از بهترین ابزارها
25
00:00:44,160 –> 00:00:45,760
کار خود را به سریع ترین شکل ممکن انجام دهند
26
00:00:45,760 –> 00:00:47,039
،
27
00:00:47,039 –> 00:00:48,160
چه ابزارهایی که
28
00:00:48,160 –> 00:00:50,160
قبلاً می شناسند و دوست دارند یا به همراه ابزارهایی که به آنها کمک می کنند.
29
00:00:50,160 –> 00:00:51,199
30
00:00:51,199 –> 00:00:54,800
هنوز نمیدانم اوم و من در
31
00:00:54,800 –> 00:00:55,680
32
00:00:55,680 –> 00:00:59,359
سال 2019 در پی دیتا میامی سخنرانی کردم که مثل
33
00:00:59,359 –> 00:01:01,199
همیشه قبل است و خندهدار است، زیرا آن
34
00:01:01,199 –> 00:01:03,039
صحبت در واقع همه چیز درباره نحوه قرار گرفتن
35
00:01:03,039 –> 00:01:04,559
دادههای شما در رم بود و شما نیازی به آن ندارید.
36
00:01:04,559 –> 00:01:06,000
محاسبات خوشهای،
37
00:01:06,000 –> 00:01:07,680
بنابراین من در گذشته کارهای زیادی را
38
00:01:07,680 –> 00:01:09,520
با جرقهای بیشتر از سمت مهندسی داده انجام داده
39
00:01:09,520 –> 00:01:10,720
بودم و سپس
40
00:01:10,720 –> 00:01:12,159
همیشه یادگیری ماشین و علم دادهام را
41
00:01:12,159 –> 00:01:13,920
در اکوسیستم داده pi
42
00:01:13,920 –> 00:01:15,840
مانند scikit-learn و پانداها و از این قبیل انجام
43
00:01:15,840 –> 00:01:17,360
میدادم. همه چیز در مورد اینکه چگونه
44
00:01:17,360 –> 00:01:19,040
می توانید واقعاً از لپ تاپ خود استفاده کنید،
45
00:01:19,040 –> 00:01:20,960
اما سپس نوعی
46
00:01:20,960 –> 00:01:23,119
پردازش موازی را فقط روی
47
00:01:23,119 –> 00:01:24,240
دستگاه خود انجام دهید و این
48
00:01:24,240 –> 00:01:26,320
یک نوع تکامل
49
00:01:26,320 –> 00:01:27,520
50
00:01:27,520 –> 00:01:29,439
طبیعی به نظر می رسد مانند زمانی که واقعاً به محاسبات خوشه ای نیاز دارید.
51
00:01:29,439 –> 00:01:30,720
52
00:01:30,720 –> 00:01:31,600
ابزارهای مناسب برای انتخاب
53
00:01:31,600 –> 00:01:34,799
برای آن شغل، بنابراین من برای افشای کامل ابر زحل کار
54
00:01:34,799 –> 00:01:36,960
میکنم، ما یک
55
00:01:36,960 –> 00:01:38,560
پیشنهاد تجاری هستیم که حول محور
56
00:01:38,560 –> 00:01:39,680
چند ابزاری هستیم که
57
00:01:39,680 –> 00:01:40,079
58
00:01:40,079 –> 00:01:42,320
در صحبتهایم در مورد آنها صحبت خواهم کرد، بنابراین سعی
59
00:01:42,320 –> 00:01:43,680
خواهم کرد مانند k به نظر من یک تکان دادن بی طرفانه و
60
00:01:43,680 –> 00:01:45,040
منصفانه از مسائل است، اما به
61
00:01:45,040 –> 00:01:46,479
ناچار کمی
62
00:01:46,479 –> 00:01:47,840
جانبدارانه خواهد بود و
63
00:01:47,840 –> 00:01:48,640
64
00:01:48,640 –> 00:01:49,920
به هر حال همه این نوع گفتگوها کمی جانبدارانه هستند، من فقط
65
00:01:49,920 –> 00:01:51,680
به شما می گویم که تعصب من چیست،
66
00:01:51,680 –> 00:01:53,439
پس خود ابر کیوان یک
67
00:01:53,439 –> 00:01:54,960
68
00:01:54,960 –> 00:01:56,399
پلت فرم سرتاسر علم داده و یادگیری ماشین در فضای ابری است،
69
00:01:56,399 –> 00:01:58,079
ما فقط به تیمهای علم
70
00:01:58,079 –> 00:01:59,759
داده و دانشمندان داده میتوانیم به
71
00:01:59,759 –> 00:02:00,640
نوعی در
72
00:02:00,640 –> 00:02:02,560
پایتون قدم بردارند و سپس به
73
00:02:02,560 –> 00:02:03,920
خوشههایی با میز و
74
00:02:03,920 –> 00:02:07,119
gpus با سرعتها و چیزها تبدیل شوند.
75
00:02:07,119 –> 00:02:08,800
پس اول این دقیقاً مثل این است که چرا ما
76
00:02:08,800 –> 00:02:10,479
به محاسبات موازی درست نیاز
77
00:02:10,479 –> 00:02:12,720
داریم، ما این پشته داده پی عالی را
78
00:02:12,720 –> 00:02:14,080
داریم که در آن میتوانیم کارهای زیادی انجام دهیم، اما
79
00:02:14,080 –> 00:02:15,360
بسیاری از این ابزارها از لحاظ
80
00:02:15,360 –> 00:02:16,879
تاریخی برای کارهای تک هستهای
81
00:02:16,879 –> 00:02:18,800
Uh در نوع حافظه ساخته شدهاند و این
82
00:02:18,800 –> 00:02:20,239
واقعاً بسیاری از این چالشها از کجا میآیند،
83
00:02:20,239 –> 00:02:20,879
84
00:02:20,879 –> 00:02:22,319
بنابراین میدانید که آیا آماده هستید تا
85
00:02:22,319 –> 00:02:24,160
دادههای خود را تجزیه و تحلیل کنید و ادامه
86
00:02:24,160 –> 00:02:25,760
دهید، میدانید که میتوانید از آن
87
00:02:25,760 –> 00:02:27,599
ابزارها به خوبی
88
00:02:27,599 –> 00:02:29,040
استفاده کنید.
89
00:02:29,040 –> 00:02:31,200
در حال استفاده مجدد از میم هستم من اینجا هستم پس معذرت
90
00:02:31,200 –> 00:02:32,319
می
91
00:02:32,319 –> 00:02:34,640
خواهم که این روزها پیدا کردن میم های خوب سخت است، اما
92
00:02:34,640 –> 00:02:36,000
به هر حال ممکن است حافظه شما تمام شود
93
00:02:36,000 –> 00:02:37,120
درست این اولین چیزی است
94
00:02:37,120 –> 00:02:38,480
که خوب است، حالا من به یک خوشه نیاز دارم، به یک
95
00:02:38,480 –> 00:02:40,400
ماشین بزرگتر نیاز دارم زیرا حافظه من تمام شده است
96
00:02:40,400 –> 00:02:41,920
یا اگر به اندازه کافی حافظه دارید،
97
00:02:41,920 –> 00:02:43,519
محاسبات شما برای همیشه طول می
98
00:02:43,519 –> 00:02:45,440
کشد و سپس یا منتظر مانده اید
99
00:02:45,440 –> 00:02:47,360
یا اکنون باید راه حل دیگری پیدا کنید
100
00:02:47,360 –> 00:02:49,040
و در نهایت این احساس را خواهید داشت،
101
00:02:49,040 –> 00:02:50,400
بنابراین کل ایده این است که
102
00:02:50,400 –> 00:02:52,000
از صحبت من این است که شما چنین احساسی
103
00:02:52,000 –> 00:02:53,599
نداشته باشید و شما احساس قدرت
104
00:02:53,599 –> 00:02:55,040
می کنید که ابزار مناسب را نسبت به کارهایی که
105
00:02:55,040 –> 00:02:56,879
ممکن است نیاز داشته باشید انتخاب کنید،
106
00:02:56,879 –> 00:02:58,319
بنابراین چه زمانی نیاز به
107
00:02:58,319 –> 00:03:00,319
پردازش موازی مشابه آنچه که اخیراً انجام دادیم
108
00:03:00,319 –> 00:03:01,760
، زمانی است که داده های زیادی
109
00:03:01,760 –> 00:03:03,200
دارید یا تعداد زیادی داده دارید. محاسباتی
110
00:03:03,200 –> 00:03:07,200
که باید انجام دهید یا هر دو،
111
00:03:07,440 –> 00:03:09,440
بنابراین من میخواهم به این نکته اخطار بدهم و این
112
00:03:09,440 –> 00:03:11,200
کمی با پرداخت قبلی من
113
00:03:11,200 –> 00:03:12,480
در گفتگوی میامی مرتبط است این است که
114
00:03:12,480 –> 00:03:14,080
شما نباید محاسبات خوشهای یا
115
00:03:14,080 –> 00:03:16,080
محاسبات موازی انجام دهید، مگر اینکه مجبور باشید این
116
00:03:16,080 –> 00:03:17,920
کار را انجام دهید.
117
00:03:17,920 –> 00:03:19,920
لپ تاپ شما در پانداهای بی حس و آن نوع
118
00:03:19,920 –> 00:03:20,480
دنیا
119
00:03:20,480 –> 00:03:21,760
آنجا می مانند، هیچ دلیلی برای یادگیری
120
00:03:21,760 –> 00:03:23,760
چیز دیگری وجود ندارد، اگر شروع به ضربه زدن به
121
00:03:23,760 –> 00:03:25,360
مرز کنید، اگر شروع به ضربه زدن به
122
00:03:25,360 –> 00:03:26,319
دیوارهای آن
123
00:03:26,319 –> 00:03:28,000
کشور کنید، در واقع می توانید از بیشتر این
124
00:03:28,000 –> 00:03:29,599
ابزارهایی که امروز در مورد آنها صحبت می کنم استفاده کنید.
125
00:03:29,599 –> 00:03:31,840
لپتاپ شما یا روی یک دستگاه
126
00:03:31,840 –> 00:03:33,440
، زیرساختهای مدیریت آن بسیار
127
00:03:33,440 –> 00:03:34,400
کمتر از یک خوشه است،
128
00:03:34,400 –> 00:03:36,000
بهطوریکه میتوانید آن را به
129
00:03:36,000 –> 00:03:37,760
یک ماشین بسیار بزرگ در فضای ابری که
130
00:03:37,760 –> 00:03:39,519
هنوز روی یک دستگاه واحد قرار میدهید و سپس
131
00:03:39,519 –> 00:03:41,040
واقعاً زمانی که نیاز دارید از
132
00:03:41,040 –> 00:03:42,720
مزایای منابع زیادی را میتوانید
133
00:03:42,720 –> 00:03:43,360
134
00:03:43,360 –> 00:03:44,560
در فضای ابری انجام دهید و سپس میتوانید
135
00:03:44,560 –> 00:03:46,400
بسته به حجمهای کاری خاص، آنها را با هم ترکیب
136
00:03:46,400 –> 00:03:47,760
کنید، میتوانید آن را در یک کلاستر
137
00:03:47,760 –> 00:03:50,799
در اینجا انجام دهید و آن را روی یک ماشین در آنجا انجام دهید،
138
00:03:50,799 –> 00:03:52,000
بنابراین این واقعاً همان چیزی است که ما در حال صحبت کردن هستیم.
139
00:03:52,000 –> 00:03:53,519
در مورد و سعی کنید این بستههای پنج برابر
140
00:03:53,519 –> 00:03:54,080
سریع
141
00:03:54,080 –> 00:03:56,400
پایتون را برای پردازش موازی
142
00:03:56,400 –> 00:03:58,080
بگویم، من حتی به سختی میتوانم آن را بگویم،
143
00:03:58,080 –> 00:03:59,120
اما این چیزی است که امروز در حال انجام آن
144
00:03:59,120 –> 00:04:01,360
هستیم، چند بسته مختلف
145
00:04:01,360 –> 00:04:02,799
که فقط با ارائه
146
00:04:02,799 –> 00:04:04,640
یک نمای کلی از سرزمین در شروع میکنم. جهان
147
00:04:04,640 –> 00:04:06,319
که ما به نوعی از
148
00:04:06,319 –> 00:04:07,840
آن می آییم این است که دوباره از این نوع کار از نوع تکی داده پی شروع می کنیم،
149
00:04:07,840 –> 00:04:09,519
150
00:04:09,519 –> 00:04:11,120
اینها فقط نوعی
151
00:04:11,120 –> 00:04:12,879
بسته های معرف برای انواع
152
00:04:12,879 –> 00:04:14,640
بارهای کاری هستند که ممکن است انجام دهید، بنابراین آرایه فریم های داده،
153
00:04:14,640 –> 00:04:15,360
154
00:04:15,360 –> 00:04:17,040
یادگیری ماشین و یادگیری عمیق نیست.
155
00:04:17,040 –> 00:04:18,720
فهرست جامعی است
156
00:04:18,720 –> 00:04:20,320
اما به موازات آن
157
00:04:20,320 –> 00:04:21,600
دنیای دیگری وجود دارد که در
158
00:04:21,600 –> 00:04:23,120
10 20 سال گذشته ساخته شده
159
00:04:23,120 –> 00:04:24,880
است، این نوع دنیای کلان داده است که در
160
00:04:24,880 –> 00:04:27,040
واقع بیشتر شبیه
161
00:04:27,040 –> 00:04:29,919
مشاغل نوع مهندسان داده و غیره بود که به نوعی از اکوسیستم هادوپ بیرون آمده بودند.
162
00:04:29,919 –> 00:04:31,759
163
00:04:31,759 –> 00:04:32,960
چند ابزار وجود دارد که ما واقعاً
164
00:04:32,960 –> 00:04:34,400
بر روی بسیاری از آنها تمرکز نمی کنیم به جز
165
00:04:34,400 –> 00:04:35,120
جرقه،
166
00:04:35,120 –> 00:04:37,040
اما ایده اکنون این است که این دو
167
00:04:37,040 –> 00:04:39,040
جهان در حال ادغام هستند، جایی که ما به
168
00:04:39,040 –> 00:04:41,199
محاسبات علمی مانند یک چیز شدید
169
00:04:41,199 –> 00:04:42,960
علم داده
170
00:04:42,960 –> 00:04:45,040
روی مقادیر زیادی داده نیاز داریم. به
171
00:04:45,040 –> 00:04:46,639
نوعی این دو چیز را کنار هم قرار میدهیم
172
00:04:46,639 –> 00:04:47,840
و اینجاست که برخی از ابزارهایی که
173
00:04:47,840 –> 00:04:50,000
من در مورد آنها صحبت میکنم مناسب
174
00:04:50,000 –> 00:04:51,840
هستند، ما به طور خاص روی این
175
00:04:51,840 –> 00:04:54,160
سه ابزار spark ray و das تمرکز میکنیم،
176
00:04:54,160 –> 00:04:55,600
مانند کامپیوتر موازی ting و من
177
00:04:55,600 –> 00:04:57,040
داستان های هر یک از آنها را به شما می دهم و به
178
00:04:57,040 –> 00:04:58,800
نوعی مقایسه و تضاد
179
00:04:58,800 –> 00:05:01,520
در ردیف پایین را در اینجا حالت Rapids در vx
180
00:05:01,520 –> 00:05:02,560
و mars ارائه
181
00:05:02,560 –> 00:05:03,759
می کنم.
182
00:05:03,759 –> 00:05:05,600
زیرا در
183
00:05:05,600 –> 00:05:06,880
واقع با این ابزارها بسیار مرتبط است،
184
00:05:06,880 –> 00:05:09,039
اما به خودی خود از نظر
185
00:05:09,039 –> 00:05:11,360
فنی یک ابزار محاسباتی موازی نیست،
186
00:05:11,360 –> 00:05:14,240
و سپس حالت nvx، من به شما اشاره خواهم کرد
187
00:05:14,240 –> 00:05:15,600
که مریخ سریع چیزی است که فوق
188
00:05:15,600 –> 00:05:17,039
العاده جدید است، من حتی واقعاً قصد ندارم
189
00:05:17,039 –> 00:05:18,479
روی آن تمرکز کنم، اما حداقل میخواستم
190
00:05:18,479 –> 00:05:19,919
لوگو را روی آن پرتاب کنم تا نشان دهد که
191
00:05:19,919 –> 00:05:21,919
بازیکنان زیادی
192
00:05:21,919 –> 00:05:24,400
در این فضا وجود دارند، اما امیدواریم بتوانیم
193
00:05:24,400 –> 00:05:26,080
این کار را در اینجا سادهسازی کنیم،
194
00:05:26,080 –> 00:05:27,520
بنابراین وقتی نوبت به
195
00:05:27,520 –> 00:05:29,280
انتخاب ابزار میرسد و واقعاً این به ویژه
196
00:05:29,280 –> 00:05:29,919
زمانی است که شما آن را
197
00:05:29,919 –> 00:05:31,360
برای مواردی مانند آن انتخاب میکنید.
198
00:05:31,360 –> 00:05:33,280
پذیرش سازمانی،
199
00:05:33,280 –> 00:05:34,720
هنگام انتخاب یک پروژه منبع باز
200
00:05:34,720 –> 00:05:35,759
یا همه این موارد که ممکن است
201
00:05:35,759 –> 00:05:37,680
بخواهید بدانید، ملاحظات زیادی وجود دارد، زیرا به اطلاع
202
00:05:37,680 –> 00:05:39,360
از نوع تجربه ای که ممکن است
203
00:05:39,360 –> 00:05:41,199
هنگام استفاده از این ابزارها به دست
204
00:05:41,199 –> 00:05:43,520
آورید، کمک می کند. نکاتی را که
205
00:05:43,520 –> 00:05:44,639
در مورد هر یک از آنها صحبت نمی کنم زیرا
206
00:05:44,639 –> 00:05:46,160
یک نوع اسلاید به آنها اختصاص خواهم
207
00:05:46,160 –> 00:05:46,479
داد،
208
00:05:46,479 –> 00:05:48,960
اما اساساً مانند این است که چرا ابزار
209
00:05:48,960 –> 00:05:50,639
ایجاد شده است که چه انجمنی ایجاد شده است که
210
00:05:50,639 –> 00:05:51,120
211
00:05:51,120 –> 00:05:52,960
چقدر محبوب است اکنون چقدر خوب
212
00:05:52,960 –> 00:05:54,320
نگهداری می شود
213
00:05:54,320 –> 00:05:56,319
چگونه میتوانید در خود ابزار فرو بروید
214
00:05:56,319 –> 00:05:58,240
و کد را بررسی کنید
215
00:05:58,240 –> 00:05:59,680
و سپس سختترین بخش با بسیاری از
216
00:05:59,680 –> 00:06:01,440
این موارد واقعاً قطعه استقرار است،
217
00:06:01,440 –> 00:06:02,720
زمانی که باید با خوشهها،
218
00:06:02,720 –> 00:06:04,400
ماشینها و زیرساختها و همه
219
00:06:04,400 –> 00:06:04,960
چیزها سر
220
00:06:04,960 –> 00:06:06,319
و کار داشته باشید و اینجاست که پیشنهادات تجاری
221
00:06:06,319 –> 00:06:08,560
بسیاری از مواقع وارد می شوند که آنها خدمات را مدیریت می
222
00:06:08,560 –> 00:06:09,440
کنند
223
00:06:09,440 –> 00:06:11,440
و سپس ما به نوعی
224
00:06:11,440 –> 00:06:12,800
همه این ابزارها را به صورت جداگانه برای
225
00:06:12,800 –> 00:06:14,080
این ملاحظات معرفی می کنیم
226
00:06:14,080 –> 00:06:14,720
227
00:06:14,720 –> 00:06:16,400
و آن را برگردانم و بر اساس قابلیت های لودر کار می روم.
228
00:06:16,400 –> 00:06:17,840
بنابراین من می گویم
229
00:06:17,840 –> 00:06:20,000
فریم های داده آرایه های موجود
230
00:06:20,000 –> 00:06:21,440
چه چیزهایی در دسترس است یادگیری ماشینی یادگیری عمیق
231
00:06:21,440 –> 00:06:22,080
232
00:06:22,080 –> 00:06:23,600
آن نوع چیزها و همه چیز مربوط به این است
233
00:06:23,600 –> 00:06:25,600
که چه چیزی به طور مستقیم در ابزار تعبیه
234
00:06:25,600 –> 00:06:27,360
شده است و سپس چه نوع اکوسیستمی در
235
00:06:27,360 –> 00:06:28,160
اطراف ابزار
236
00:06:28,160 –> 00:06:29,840
برای فعال کردن ساخته شده است. بارهای کاری مختلف بسیار زیاد است،
237
00:06:29,840 –> 00:06:31,680
زیرا باز هم این کمک می کند تا نشان دهیم که
238
00:06:31,680 –> 00:06:35,120
خود ابزار چقدر بالغ و چقدر پایدار است،
239
00:06:35,120 –> 00:06:37,759
بنابراین من چند مورد از این نکات را از
240
00:06:37,759 –> 00:06:38,639
این سخنرانی
241
00:06:38,639 –> 00:06:40,319
سال گذشته اریک دیل در شهر نیویورک در شهر نیویورک
242
00:06:40,319 –> 00:06:42,880
گرفتم و او سخنرانی عالی ارائه کرد.
243
00:06:42,880 –> 00:06:44,479
نوعی انجام کاری مشابه به
244
00:06:44,479 –> 00:06:46,560
طور خاص برای اسپارک در مقابل میز
245
00:06:46,560 –> 00:06:48,080
و سریع، بنابراین من به نوعی
246
00:06:48,080 –> 00:06:49,360
همینجا را وارد میکنم، برخی از نظرات خودم را
247
00:06:49,360 –> 00:06:50,960
مطرح میکنم و سپس بهروزرسانی سریع آن را ارائه میدهم،
248
00:06:50,960 –> 00:06:52,000
زیرا
249
00:06:52,000 –> 00:06:54,000
آن بحث یک سال پیش بود، بنابراین دوباره این
250
00:06:54,000 –> 00:06:55,840
باعث می شود فضا واقعا سریع حرکت کند،
251
00:06:55,840 –> 00:06:57,919
بنابراین کمی منسوخ شده است و اکنون بسیار
252
00:06:57,919 –> 00:07:01,520
خوب است.
253
00:07:01,520 –> 00:07:03,520
254
00:07:03,520 –> 00:07:04,720
255
00:07:04,720 –> 00:07:06,400
256
00:07:06,400 –> 00:07:09,199
257
00:07:09,199 –> 00:07:11,440
258
00:07:11,440 –> 00:07:13,680
تجزیه و تحلیل و کارهایی که
259
00:07:13,680 –> 00:07:15,039
مهندسان
260
00:07:15,039 –> 00:07:17,280
داده انجام می دهند و این قدیمی ترین ابزاری است که
261
00:07:17,280 –> 00:07:18,400
ما در
262
00:07:18,400 –> 00:07:21,440
اینجا درباره میز صحبت می کنیم
263
00:07:21,440 –> 00:07:23,919
، یک ابزار محاسباتی توزیع شده مجدد است که
264
00:07:23,919 –> 00:07:25,120
همه اینها هستند،
265
00:07:25,120 –> 00:07:27,280
اما بر اساس برنامه زمان بندی وظایف است.
266
00:07:27,280 –> 00:07:29,039
برنامهریزی زمانبندی کار در سطح پایین، بنابراین الگوی
267
00:07:29,039 –> 00:07:29,520
متفاوتی
268
00:07:29,520 –> 00:07:31,120
نسبت به کاهش
269
00:07:31,120 –> 00:07:32,479
نقشه است، جایی که شما نوعی نقشه را روی یک فهرست مینویسید و سپس بهصورت
270
00:07:32,479 –> 00:07:33,680
جداگانه کاهش میدهید،
271
00:07:33,680 –> 00:07:34,960
این در واقع موازیسازی
272
00:07:34,960 –> 00:07:37,199
واحدهای تکتک کار است
273
00:07:37,199 –> 00:07:38,880
و دلیل ایجاد آن
274
00:07:38,880 –> 00:07:40,319
بهویژه برای
275
00:07:40,319 –> 00:07:42,720
مقیاسسازی کد پایتون و پایتون بود. بسته هایی که به
276
00:07:42,720 –> 00:07:45,039
277
00:07:45,039 –> 00:07:46,960
طور خاص در آناکوندا متولد و ایجاد شده است، به طوری که شما می توانید سابق کنید تا
278
00:07:46,960 –> 00:07:48,879
مردم بتوانند بسته های پایتون را تسریع کنند
279
00:07:48,879 –> 00:07:49,440
تا
280
00:07:49,440 –> 00:07:50,960
جامعه ای که در اطراف آن ساخته شده است
281
00:07:50,960 –> 00:07:52,400
، تفاوت را در آنجا ببینید،
282
00:07:52,400 –> 00:07:53,360
283
00:07:53,360 –> 00:07:56,560
بنابراین به طور خاص برای python
284
00:07:56,560 –> 00:07:58,160
ray اینجاست که در واقع از همان نتیجه بیرون آمده است.
285
00:07:58,160 –> 00:08:00,160
آزمایشگاه تحقیقاتی که جرقه ایجاد کرد
286
00:08:00,160 –> 00:08:01,599
فکر می کنم آنها نام ها را تغییر دادند اما
287
00:08:01,599 –> 00:08:02,720
همان آزمایشگاه
288
00:08:02,720 –> 00:08:04,160
بسیاری از همان اساتید و افرادی است
289
00:08:04,160 –> 00:08:06,479
که درگیر هستند سطح پایین نوع
290
00:08:06,479 –> 00:08:09,520
پارادایم وظیفه بسیار شبیه به وظیفه است
291
00:08:09,520 –> 00:08:11,039
که مفهوم بازیگران را معرفی کرد
292
00:08:11,039 –> 00:08:12,720
که من خواهم گفت وارد شوید
293
00:08:12,720 –> 00:08:15,199
اما میز و ری، در واقع این
294
00:08:15,199 –> 00:08:16,960
تاپیک در github وجود دارد که سازندگان
295
00:08:16,960 –> 00:08:18,160
در واقع در مورد تفاوت هایی صحبت می کنند
296
00:08:18,160 –> 00:08:19,599
که چیزهای اصلی ممکن است باشد. در actor
297
00:08:19,599 –> 00:08:20,400
چیز
298
00:08:20,400 –> 00:08:22,720
و سپس فقط برخی نکات ظریف در مورد نحوه عملکرد
299
00:08:22,720 –> 00:08:24,240
زمانبندی کار برای هر یک از این
300
00:08:24,240 –> 00:08:24,800
ابزارها،
301
00:08:24,800 –> 00:08:26,879
اما من معتقدم که rey در ابتدا
302
00:08:26,879 –> 00:08:27,840
و در ابتدا برای
303
00:08:27,840 –> 00:08:30,240
توزیع برنامههای یادگیری عمیق ساخته شد
304
00:08:30,240 –> 00:08:31,759
و من آن را در علامت سوال قرار دادم فقط
305
00:08:31,759 –> 00:08:33,839
به این دلیل که کمترین آشنایی را دارم. با پرتوی
306
00:08:33,839 –> 00:08:35,679
از همه این ابزارها فقط به شما اطلاع میدهد
307
00:08:35,679 –> 00:08:37,200
زیرا فکر میکنم
308
00:08:37,200 –> 00:08:38,880
من جامعهای
309
00:08:38,880 –> 00:08:40,958
بودهام که با آن ارتباط کمتری داشتهام، در
310
00:08:40,958 –> 00:08:42,159
مقایسه با
311
00:08:42,159 –> 00:08:44,720
جرقه مهندسی داده و علم داده
312
00:08:44,720 –> 00:08:47,200
با میز و چیزهایی مانند آن،
313
00:08:47,200 –> 00:08:48,800
بسیار خوب است. در اینجا فقط یک اسلاید از همه
314
00:08:48,800 –> 00:08:50,240
آنها وجود دارد تا بتوانید نحوه
315
00:08:50,240 –> 00:08:50,959
لوگوها را
316
00:08:50,959 –> 00:08:54,240
ببینید و کل داستان را برای همه آنها ببینید.
317
00:08:54,240 –> 00:08:55,440
لازم است به یک ابزار دیگر اشاره کنم و
318
00:08:55,440 –> 00:08:56,560
آن هم سریع است
319
00:08:56,560 –> 00:08:58,800
زیرا خود رپیدز هسته اصلی آنچه
320
00:08:58,800 –> 00:09:00,320
راپیدز است،
321
00:09:00,320 –> 00:09:03,120
علم داده را تحت فشار قرار می دهد. بارهای کاری به gpu می شود،
322
00:09:03,120 –> 00:09:04,880
بنابراین بسته هایی برای آرایه
323
00:09:04,880 –> 00:09:05,360
های فریم های داده،
324
00:09:05,360 –> 00:09:07,519
یادگیری ماشینی است که در حال حاضر
325
00:09:07,519 –> 00:09:09,120
به جای اجرای بر روی cpus مانند همه
326
00:09:09,120 –> 00:09:10,399
بسته های دیگر
327
00:09:10,399 –> 00:09:12,880
، در واقع بسیار سریعتر
328
00:09:12,880 –> 00:09:14,480
در gp اجرا می شود. شما و این واقعاً هیجان انگیز است، بنابراین من
329
00:09:14,480 –> 00:09:15,920
مطمئناً Rapids را بررسی خواهم کرد،
330
00:09:15,920 –> 00:09:17,440
این یک بسته جالب است، واقعاً
331
00:09:17,440 –> 00:09:18,640
باعث
332
00:09:18,640 –> 00:09:20,080
افزایش سرعت عملکرد شما می شود.
333
00:09:20,080 –> 00:09:22,160
اوم، جدیدتر است، در nvidia ایجاد شده است.
334
00:09:22,160 –> 00:09:23,519
335
00:09:23,519 –> 00:09:25,920
nvidia
336
00:09:25,920 –> 00:09:27,279
اما نکته کلیدی در اینجا زمانی که ما در مورد محاسبات موازی صحبت می کنیم این
337
00:09:27,279 –> 00:09:29,519
است که das دارای
338
00:09:29,519 –> 00:09:30,240
یک بومی است
339
00:09:30,240 –> 00:09:32,000
متاسفم که Rapids دارای یک ادغام das بومی است
340
00:09:32,000 –> 00:09:33,680
که در واقع بر روی
341
00:09:33,680 –> 00:09:35,440
چند gpus اجرا می شود زیرا
342
00:09:35,440 –> 00:09:37,360
gpus دارای رم بسیار کمتری نسبت به
343
00:09:37,360 –> 00:09:39,279
حافظه اصلی است، بنابراین شما نیاز به مهربانی دارید.
344
00:09:39,279 –> 00:09:41,200
وقتی دادههای شما بزرگتر میشوند
345
00:09:41,200 –> 00:09:42,959
، بهخوبی با اکوسیستم پایتون ادغام میشوند
346
00:09:42,959 –> 00:09:44,640
، این یکی از
347
00:09:44,640 –> 00:09:46,240
پیامدهای
348
00:09:46,240 –> 00:09:48,720
بومی بودن پایتون و ساختهشده برای پایتون است.
349
00:09:48,720 –> 00:09:50,560
350
00:09:50,560 –> 00:09:53,040
351
00:09:53,040 –> 00:09:53,680
352
00:09:53,680 –> 00:09:55,680
در مورد رپیدها فکر کنید
353
00:09:55,680 –> 00:09:57,440
که در بسیاری از این مکانها همراه با میز هستند
354
00:09:57,440 –> 00:09:58,210
355
00:09:58,210 –> 00:09:59,440
[موسیقی]
356
00:09:59,440 –> 00:10:00,880
اگر میخواهید اطلاعات بیشتری در مورد دادههای pi دیگر داشته باشید
357
00:10:00,880 –> 00:10:02,800
کیث کراس
358
00:10:02,800 –> 00:10:04,720
یکی از نگهدارندههای رپیدز است uh
359
00:10:04,720 –> 00:10:06,079
sp. به طور خاص بسته قاب داده من
360
00:10:06,079 –> 00:10:06,880
معتقدم
361
00:10:06,880 –> 00:10:08,880
و او یک سخنرانی عالی در مورد
362
00:10:08,880 –> 00:10:10,320
همه چیزهای Rapids ارائه کرد، اگر
363
00:10:10,320 –> 00:10:11,360
چیزی در مورد آن نمی دانید
364
00:10:11,360 –> 00:10:12,880
این سخنرانی را تماشا کنید، متقاعد خواهید شد که
365
00:10:12,880 –> 00:10:14,079
gpus آینده است و شما متقاعد خواهید شد
366
00:10:14,079 –> 00:10:14,880
که
367
00:10:14,880 –> 00:10:16,720
اوه Rapids یک بسته عالی است و میز
368
00:10:16,720 –> 00:10:18,560
با آن نیز خوب است
369
00:10:18,560 –> 00:10:20,000
، اما دوباره قدیمی شده است، بنابراین
370
00:10:20,000 –> 00:10:21,040
پیشرفتهای جدید زیادی
371
00:10:21,040 –> 00:10:22,320
در سال گذشته رخ داده است، اما من
372
00:10:22,320 –> 00:10:24,000
نمیخواهم روی آن به طور خاص روی Rapids تمرکز کنم،
373
00:10:24,000 –> 00:10:26,320
374
00:10:26,320 –> 00:10:27,680
بنابراین وقتی من
375
00:10:27,680 –> 00:10:28,880
این اسکرین شات ها را مستقیماً از
376
00:10:28,880 –> 00:10:30,000
377
00:10:30,000 –> 00:10:32,560
مخزن های github همه این پروژه ها گرفتم، اما
378
00:10:32,560 –> 00:10:34,160
ایده اصلی اینجاست که spark در اسکالا ساخته شده است،
379
00:10:34,160 –> 00:10:36,480
این یک زبان jvm است، بنابراین
380
00:10:36,480 –> 00:10:39,279
این نوع لایک خودش را منعکس می کند
381
00:10:39,279 –> 00:10:40,800
و وقتی خطاهایی دریافت می کنید و این نوع خطاها را دریافت می کنید.
382
00:10:40,800 –> 00:10:42,480
از ردیابیهای عجیب و غریب پشته جاوا
383
00:10:42,480 –> 00:10:43,760
و زمانی که میخواهید آن را اشکالزدایی کنید یا
384
00:10:43,760 –> 00:10:44,480
زمانی که سعی
385
00:10:44,480 –> 00:10:45,920
میکنید در آن مشارکت کنید، باید
386
00:10:45,920 –> 00:10:48,160
در اسکالا بنویسید، بنابراین با توجه به این که این یک
387
00:10:48,160 –> 00:10:50,000
مخاطب پایتون دادههای pi است، من فرض میکنم
388
00:10:50,000 –> 00:10:51,519
که ممکن است نوعی باشد. یک مانع بزرگ برای یک
389
00:10:51,519 –> 00:10:53,120
ل برخی از افرادی که
390
00:10:53,120 –> 00:10:56,320
اینجا میپرسند میتوانید ببینید اینجا 100 است یا 99.9.
391
00:10:56,320 –> 00:10:57,839
من نمیدانم نکته دیگر چیست،
392
00:10:57,839 –> 00:10:59,440
پایتون ساخته شده در python
393
00:10:59,440 –> 00:11:02,480
api برای پایتون ری Api اصلی
394
00:11:02,480 –> 00:11:04,160
آن پایتون است و با
395
00:11:04,160 –> 00:11:05,839
بسیاری از بستههای پایتون ادغام میشود.
396
00:11:05,839 –> 00:11:07,279
برخی از کدها در c plus ساخته شده اند
397
00:11:07,279 –> 00:11:09,040
و چیزهای دیگر، بنابراین
398
00:11:09,040 –> 00:11:10,640
399
00:11:10,640 –> 00:11:13,600
اگر می خواهید محبوبیت بیشتری کسب کنید، ممکن است کمی مانع بیشتری برای کمک باشد،
400
00:11:13,600 –> 00:11:14,480
401
00:11:14,480 –> 00:11:16,320
بنابراین من نمی خواهم به ستاره های github نگاه
402
00:11:16,320 –> 00:11:17,920
کنم، اما فکر نمی کنم این باشد بهترین متریک
403
00:11:17,920 –> 00:11:20,880
um بنابراین وقتی به این فکر میکنم که
404
00:11:20,880 –> 00:11:21,600
یک شخص چقدر محبوب است
405
00:11:21,600 –> 00:11:22,959
، میروم توییتر یا اینستاگرامش را بررسی میکنم
406
00:11:22,959 –> 00:11:24,320
که چند فالوور
407
00:11:24,320 –> 00:11:26,320
دارد، بنابراین شاید همین مورد برای
408
00:11:26,320 –> 00:11:28,800
بستههای منبع باز پایتون کار کند، من خوب نمیدانم.
409
00:11:28,800 –> 00:11:29,440
410
00:11:29,440 –> 00:11:32,000
اینجا تقریبا 30000
411
00:11:32,000 –> 00:11:33,600
دنبال کننده دارد، این قدیمی ترین ابزاری است
412
00:11:33,600 –> 00:11:35,120
که می بینید این حساب چهار
413
00:11:35,120 –> 00:11:37,680
سال قبل از اینکه میز تحریر حدود 6000 فالوور داشته باشد ایجاد شده است
414
00:11:37,680 –> 00:11:39,680
و ray حدود 1400 فالوور دارد، بنابراین ممکن است
415
00:11:39,680 –> 00:11:40,160
416
00:11:40,160 –> 00:11:43,360
تصوری نسبی از محبوبیت به شما بدهد،
417
00:11:43,360 –> 00:11:45,279
اما من اطلاعات علمی بهتری دارم.
418
00:11:45,279 –> 00:11:46,640
متریک در اینجا
419
00:11:46,640 –> 00:11:48,880
که pi pi stats s است o این
420
00:11:48,880 –> 00:11:49,680
421
00:11:49,680 –> 00:11:51,519
بسته نصب پیپ است، مثلاً چند بار این
422
00:11:51,519 –> 00:11:53,440
اتفاق میافتد، بنابراین لزوماً به معنای
423
00:11:53,440 –> 00:11:56,079
یک کاربر جدید یا یک فرد خاص
424
00:11:56,079 –> 00:11:57,519
نیست، بلکه احتمالاً به معنای
425
00:11:57,519 –> 00:11:59,760
کارهای خودکاری است که نصبهای پیپ را انجام میدهند، مانند
426
00:11:59,760 –> 00:12:01,760
روزانه یا در برنامههای دیگر،
427
00:12:01,760 –> 00:12:03,200
اما همچنان یک
428
00:12:03,200 –> 00:12:04,880
مقایسه نسبی خوبی در مورد میزان محبوبیت
429
00:12:04,880 –> 00:12:07,279
این ابزار به این دلیل است که اگر ابزاری به نوعی
430
00:12:07,279 –> 00:12:08,880
روزانه برای کاری استفاده می شود که همیشه
431
00:12:08,880 –> 00:12:10,480
نصب پیپ است
432
00:12:10,480 –> 00:12:12,000
، احتمالاً از آن استفاده زیادی می شود و
433
00:12:12,000 –> 00:12:13,519
احتمالاً محبوب است، بنابراین
434
00:12:13,519 –> 00:12:15,200
اسپارک اینجا بیشترین
435
00:12:15,200 –> 00:12:16,720
میز را با هفت میلیون میز دارد. یک و نیم و سپس
436
00:12:16,720 –> 00:12:17,680
437
00:12:17,680 –> 00:12:20,160
با 200 000 افزایش دهید. بنابراین این تا
438
00:12:20,160 –> 00:12:21,760
اکتبر 2020 است، اما امیدواریم که
439
00:12:21,760 –> 00:12:22,000
440
00:12:22,000 –> 00:12:24,480
دوباره مانند یک ایده نسبی از
441
00:12:24,480 –> 00:12:25,910
محبوبیت
442
00:12:25,910 –> 00:12:27,200
[Music]
443
00:12:27,200 –> 00:12:28,560
و سپس جرقه و خط تیره به طور
444
00:12:28,560 –> 00:12:31,120
خاص بخشی از نظرسنجی توسعه دهندگان پایتون
445
00:12:31,120 –> 00:12:33,040
در 2019 که jetbrains انجام داد
446
00:12:33,040 –> 00:12:35,200
و این مربوط به همه کاربران پایتون است، بنابراین
447
00:12:35,200 –> 00:12:36,720
نه فقط علوم داده مانند توسعه وب
448
00:12:36,720 –> 00:12:39,920
مانند همه کاربران پایتون، 13 نفر از آنها
449
00:12:39,920 –> 00:12:41,040
گفتند که از اسپارک استفاده می کنند
450
00:12:41,040 –> 00:12:42,959
و سپس 5 نفر از آنها گفتند که از میز استفاده می کنند
451
00:12:42,959 –> 00:12:45,120
که نشان می دهد th مثل این است که
452
00:12:45,120 –> 00:12:47,519
گروه بزرگی از مردم واقعاً از این ابزارها استفاده میکنند،
453
00:12:47,519 –> 00:12:48,880
مانند پنج درصد از
454
00:12:48,880 –> 00:12:51,279
همه کاربران پایتون که از میز استفاده میکنند، مثل این است که
455
00:12:51,279 –> 00:12:52,000
456
00:12:52,000 –> 00:12:54,000
آرایه اعداد قابلتوجهی خوب در نظرسنجی نبوده است،
457
00:12:54,000 –> 00:12:55,279
احتمالاً دوباره چون جدیدتر است
458
00:12:55,279 –> 00:12:56,639
و شاید آنقدر محبوب
459
00:12:56,639 –> 00:13:00,160
نیست. یک آینده
460
00:13:00,240 –> 00:13:02,320
خوب است، بنابراین تا آنجا که قابلیت های بومی
461
00:13:02,320 –> 00:13:04,480
وجود دارد، چیزهای زیادی در اینجا در حال انجام است،
462
00:13:04,480 –> 00:13:05,760
اما ایده این است که شما می دانید آیا
463
00:13:05,760 –> 00:13:07,680
معنای خاصی وجود دارد که انجام می دهید و
464
00:13:07,680 –> 00:13:09,839
اینکه روی تعداد انگشت شماری از آنها تمرکز کنید یا دوست دارید،
465
00:13:09,839 –> 00:13:11,519
این لیست ممکن است به شما خوب باشد. ایده اینکه
466
00:13:11,519 –> 00:13:13,279
کدام ابزار ممکن
467
00:13:13,279 –> 00:13:14,639
است گزینه مناسبی باشد، بنابراین
468
00:13:14,639 –> 00:13:16,560
برای اسپارک میگویم محبوبترین
469
00:13:16,560 –> 00:13:18,000
قابلیتهای اسپارک
470
00:13:18,000 –> 00:13:18,959
فریمهای داده و sql هستند
471
00:13:18,959 –> 00:13:20,480
و سپس فکر میکنم برخی از افراد از
472
00:13:20,480 –> 00:13:22,079
یادگیری
473
00:13:22,079 –> 00:13:25,200
ماشینی استفاده میکنند.
474
00:13:25,200 –> 00:13:27,279
از موازی سازی وظایف در سطح پایین،
475
00:13:27,279 –> 00:13:28,880
می توانید
476
00:13:28,880 –> 00:13:30,320
مانند کدهای دلخواه
477
00:13:30,320 –> 00:13:33,360
تا آرایه های فریم های داده
478
00:13:33,360 –> 00:13:35,839
و یادگیری ماشینی موازی سازی کنید و سپس
479
00:13:35,839 –> 00:13:37,839
می توانید تفاوت را در
480
00:13:37,839 –> 00:13:40,000
انواع مختلف برنامه ها مشاهده کنید. کارهایی که rey
481
00:13:40,000 –> 00:13:42,000
روی آنها تمرکز کرده است، واقعاً
482
00:13:42,000 –> 00:13:43,279
در مورد یادگیری
483
00:13:43,279 –> 00:13:45,199
تقویتی یادگیری عمیق است، توزیع مدل
484
00:13:45,199 –> 00:13:46,959
آموزش یادگیری عمیق
485
00:13:46,959 –> 00:13:48,560
و مواردی
486
00:13:48,560 –> 00:13:50,720
از این قبیل و سپس نوع api سفارشی
487
00:13:50,720 –> 00:13:51,519
دوباره شبیه به میز است
488
00:13:51,519 –> 00:13:53,040
که می توانید وظایف فردی را انجام دهید و
489
00:13:53,040 –> 00:13:54,720
سپس این نوع را معرفی کرد.
490
00:13:54,720 –> 00:13:57,600
Actors api و بنابراین
491
00:13:57,600 –> 00:13:59,120
قابلیتهای بومی میتواند کمی مبهم باشد،
492
00:13:59,120 –> 00:14:00,639
زیرا باز هم وقتی صحبت از
493
00:14:00,639 –> 00:14:01,680
اکوسیستم میشود
494
00:14:01,680 –> 00:14:03,279
، میتوان چیزهایی را بر روی این
495
00:14:03,279 –> 00:14:05,040
ابزارها ساخت و با آنها ساخت و من فکر میکنم
496
00:14:05,040 –> 00:14:05,680
که این واقعاً
497
00:14:05,680 –> 00:14:07,839
حتی جذابتر است.
498
00:14:07,839 –> 00:14:10,320
بنابراین اینجاست که
499
00:14:10,320 –> 00:14:13,279
جرقه اکوسیستم خود عمدتاً یک
500
00:14:13,279 –> 00:14:13,920
بسته
501
00:14:13,920 –> 00:14:16,000
همهجانبه ابزار همهکاره است که بخشی از آن
502
00:14:16,000 –> 00:14:17,440
به دلیل نحوه ساخت آن
503
00:14:17,440 –> 00:14:18,399
نوعی داخلی است
504
00:14:18,399 –> 00:14:19,680
و تا حدی فقط به
505
00:14:19,680 –> 00:14:21,600
این شکل بوده
506
00:14:21,600 –> 00:14:23,440
است. انجام برخی کارها برای کشاندن
507
00:14:23,440 –> 00:14:25,040
حجم کاری بیشتر داده pi و نوعی
508
00:14:25,040 –> 00:14:26,959
پشتیبانی از پایتون به جرقه،
509
00:14:26,959 –> 00:14:29,040
اما به نظر می رسد کمی پیچ و مهره داشته باشد، مانند
510
00:14:29,040 –> 00:14:30,959
یافتن توابع آسان تر و به نوعی
511
00:14:30,959 –> 00:14:31,279
512
00:14:31,279 –> 00:14:33,440
غیر ضروری است. بستهها و من فکر میکنم حتی
513
00:14:33,440 –> 00:14:35,120
تقویت اضافی نیز باید انجام میشد تا به
514
00:14:35,120 –> 00:14:36,320
درستی کار کند،
515
00:14:36,320 –> 00:14:38,800
بنابراین واقعاً اکوسیستم زیادی ندارد
516
00:14:38,800 –> 00:14:40,959
همانطور که دادههای pi
517
00:14:40,959 –> 00:14:42,560
معمولاً با بستههای زیادی که در
518
00:14:42,560 –> 00:14:43,760
تعامل هستند،
519
00:14:43,760 –> 00:14:45,680
قطعاً بزرگترین اکوسیستم را دارد.
520
00:14:45,680 –> 00:14:46,800
در اینجا به این دلیل که به
521
00:14:46,800 –> 00:14:49,360
طور خاص برای پشتیبانی از موازی سازی
522
00:14:49,360 –> 00:14:51,199
برای بسیاری از بسته ها ساخته شده است،
523
00:14:51,199 –> 00:14:53,360
مانند Rapids و scikit-learn و مانند یکسری
524
00:14:53,360 –> 00:14:55,680
ابزارهای دیگر و و چیزهایی که
525
00:14:55,680 –> 00:14:58,320
مخصوصاً با میز است ابزارها به طور خاص ساخته شده اند
526
00:14:58,320 –> 00:14:58,959
527
00:14:58,959 –> 00:15:00,959
مانند جایی که
528
00:15:00,959 –> 00:15:02,240
عملکرد اصلی آنها با میز ساخته شده است.
529
00:15:02,240 –> 00:15:05,040
ابزارهایی مانند rapids و prefect
530
00:15:05,040 –> 00:15:05,600
um یا
531
00:15:05,600 –> 00:15:07,600
یک آرایه x یا مانند میز واقعاً
532
00:15:07,600 –> 00:15:09,519
هسته اصلی نحوه کار آن ابزار هستند و
533
00:15:09,519 –> 00:15:12,160
این اشعه موازی سازی است که در اینجا خواهید دید
534
00:15:12,160 –> 00:15:13,680
مانند pytorch tensorflow که
535
00:15:13,680 –> 00:15:15,519
به دلیل یادگیری عمیق دوباره ابزارهای بزرگی هستند
536
00:15:15,519 –> 00:15:17,199
و سپس مانند چند مورد دیگر. ابزارهای
537
00:15:17,199 –> 00:15:19,199
ادغام های آن جدیدتر هستند در واقع
538
00:15:19,199 –> 00:15:20,480
اگر روی آن کلیک کنید
539
00:15:20,480 –> 00:15:21,920
و به برخی از صفحات github برای
540
00:15:21,920 –> 00:15:23,279
آن ادغام ها نگاه کنید، تقریباً
541
00:15:23,279 –> 00:15:24,800
برخی از آنها دقیقاً شبیه هستند یک هفته یا
542
00:15:24,800 –> 00:15:27,120
چند روز گذشته است و این نشان می دهد که ری چقدر
543
00:15:27,120 –> 00:15:27,680
سریع
544
00:15:27,680 –> 00:15:29,040
حرکت می کند و مانند برخی از چیزهای جدیدی
545
00:15:29,040 –> 00:15:30,639
که در حال حاضر اتفاق می افتد،
546
00:15:30,639 –> 00:15:32,320
اما هنوز واقعاً جدید است و فکر می کنم به اندازه
547
00:15:32,320 –> 00:15:34,399
یک اکوسیستم بالغ نیست.
548
00:15:34,399 –> 00:15:36,800
و
549
00:15:36,800 –> 00:15:38,320
ادغام نوشتن به طور خاص
550
00:15:38,320 –> 00:15:40,480
برای انجام استفاده از برنامه زمانبندی افزایش برای
551
00:15:40,480 –> 00:15:41,920
برنامه ریزی وظایف وظایف است
552
00:15:41,920 –> 00:15:43,279
، البته من مطمئن نیستم
553
00:15:43,279 –> 00:15:45,519
که کسی از آن استفاده می کند و من
554
00:15:45,519 –> 00:15:46,720
از مزایای آن مطمئن
555
00:15:46,720 –> 00:15:48,000
نیستم، من خودم نتوانسته ام از آن استفاده کنم. من
556
00:15:48,000 –> 00:15:49,550
واقعاً نمی توانم با آن صحبت کنم
557
00:15:49,550 –> 00:15:50,639
[موسیقی]
558
00:15:50,639 –> 00:15:52,240
بسیار خوب، بنابراین وقتی صحبت از استقرار به میان می آید، همانطور
559
00:15:52,240 –> 00:15:54,000
که گفتم، این سخت ترین
560
00:15:54,000 –> 00:15:58,160
کار است به طور کلی با این ابزارها، امم، اما
561
00:15:58,160 –> 00:15:59,920
این گزینه ها به نوعی دوباره منعکس می شوند
562
00:15:59,920 –> 00:16:01,920
زمانی که آنها متولد شدند، مانند اسپارک
563
00:16:01,920 –> 00:16:03,120
هادوپ و نخ
564
00:16:03,120 –> 00:16:04,560
spark از هادوپ متولد شد و به همین دلیل
565
00:16:04,560 –> 00:16:05,519
یکی از گزینههای اصلی
566
00:16:05,519 –> 00:16:06,800
استقرار است،
567
00:16:06,800 –> 00:16:08,560
در حالی که با das برای پشتیبانی
568
00:16:08,560 –> 00:16:09,839
از حجمهای کاری مختلف و بسیاری
569
00:16:09,839 –> 00:16:11,839
از موارد علمی و آکادمیک ساخته شده است،
570
00:16:11,839 –> 00:16:14,079
بنابراین مانند پشتیبانی hpc در آنجا وجود دارد، اما
571
00:16:14,079 –> 00:16:14,959
پس از آن نیز مانند
572
00:16:14,959 –> 00:16:17,440
ناتی یکپارچهسازیهای ابری که در آن میتوانید
573
00:16:17,440 –> 00:16:19,120
اعتبارنامههای aws خود را قرار دهید و
574
00:16:19,120 –> 00:16:20,320
سپس مانند اجرای یک اسکریپت و سپس
575
00:16:20,320 –> 00:16:21,759
یک dash cluster راهاندازی میکند
576
00:16:21,759 –> 00:16:24,160
و سپس ray دوباره جدیدتر است و
577
00:16:24,160 –> 00:16:25,360
بیشتر روی ابر متمرکز میشود،
578
00:16:25,360 –> 00:16:26,639
اکثر گزینههای استقرار آنها
579
00:16:26,639 –> 00:16:30,240
مانند ابر کاملاً مستقیم هستند.
580
00:16:30,240 –> 00:16:31,920
پس مثل اینکه در مورد فاکتور درد
581
00:16:31,920 –> 00:16:33,199
درست است، بنابراین فقط این نیست که چگونه میتوانید به کار
582
00:16:33,199 –> 00:16:35,040
ببندید، بلکه مانند اینکه مدیریت آن چقدر سخت است
583
00:16:35,040 –> 00:16:35,440
584
00:16:35,440 –> 00:16:38,160
و همه چیزهایی که با جرقه همراه هستند، چیزهای زیادی وجود
585
00:16:38,160 –> 00:16:39,759
دارد که برای به
586
00:16:39,759 –> 00:16:40,480
کار انداختن تنظیمات بسیار بیشتری
587
00:16:40,480 –> 00:16:42,720
باید انجام دهید. خیلی
588
00:16:42,720 –> 00:16:44,079
دستگیرههای بیشتری انجام دهید، باید
589
00:16:44,079 –> 00:16:46,079
دوباره داس پایتون خالص است، به طوری که ممکن
590
00:16:46,079 –> 00:16:47,600
است کار با اوم کمی آسانتر باشد
591
00:16:47,600 –> 00:16:49,519
و بعد، من اطلاعات زیادی برای
592
00:16:49,519 –> 00:16:50,560
به اشتراک گذاشتن آن
593
00:16:50,560 –> 00:16:51,519
ندارم، زیرا مانند