در این مطلب، ویدئو #ACEU19: پرتو آپاچی: اجرای خطوط لوله داده بزرگ در پایتون و رفتن با اسپارک با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 00:46:59
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:05,190 –> 00:00:07,750
سلام به همه ممنون که
2
00:00:07,750 –> 00:00:11,200
امروز صبح اینجا هستید من کایل هستم و یک مهندس نرم افزار
3
00:00:11,200 –> 00:00:14,139
در گوگل و یک کامیتتر پرتو آپاچی
4
00:00:14,139 –> 00:00:18,340
هستم سلام من شما لبخند می زنم من یک
5
00:00:18,340 –> 00:00:21,099
مهندس نرم افزار در استعداد هستم من بخشی از
6
00:00:21,099 –> 00:00:22,240
این پروژه
7
00:00:22,240 –> 00:00:24,460
پرتو آپاچی هستم و همچنین من به
8
00:00:24,460 –> 00:00:27,250
پروژههای دیگری در فضای Big Data یک
9
00:00:27,250 –> 00:00:31,330
پچ کمک میکنم، بنابراین امروز میخواهیم در مورد
10
00:00:31,330 –> 00:00:35,140
یک پرتو تکهای و مقدمهای نه چندان کوچک
11
00:00:35,140 –> 00:00:37,870
از پرتو آپاچی صحبت کنیم،
12
00:00:37,870 –> 00:00:40,180
اما میخواهیم بیشتر روی نحوه انجام
13
00:00:40,180 –> 00:00:44,050
جادوی آن تمرکز کنیم. اجرای کد پرتو در قسمت
14
00:00:44,050 –> 00:00:46,539
اجرا یا فقط به طور مشخص
15
00:00:46,539 –> 00:00:48,760
تمرکز اصلی صحبت است و با این هدف
16
00:00:48,760 –> 00:00:51,250
که نشان دهیم چگونه از زبان هایی مانند
17
00:00:51,250 –> 00:00:53,739
پایتون و به خصوص go پشتیبانی می کنیم که ممکن است
18
00:00:53,739 –> 00:00:55,899
در سیستم هدف پشتیبانی نشود اما ما به
19
00:00:55,899 –> 00:00:59,079
آنجا می رویم اما قبل از شروع فقط یک
20
00:00:59,079 –> 00:01:01,629
سوال که می داند
21
00:01:01,629 –> 00:01:04,090
MapReduce spark چیزهای اساسی مانند
22
00:01:04,090 –> 00:01:09,060
سطح کار را می داند، خوب است، خوب است،
23
00:01:09,060 –> 00:01:11,890
کسی که می داند کمی تلخ است،
24
00:01:11,890 –> 00:01:14,799
کاری را با پرتو انجام داده است، خوب است، بنابراین کمتر
25
00:01:14,799 –> 00:01:18,310
از چیزی است که من انتظار داشتم، اما خوب است، بنابراین
26
00:01:18,310 –> 00:01:21,850
ما می خواهیم صحبت کنیم و امیدواریم
27
00:01:21,850 –> 00:01:25,150
این این مقدمه ion to be model و
28
00:01:25,150 –> 00:01:28,329
و چگونه این نشان داده می شود
29
00:01:28,329 –> 00:01:31,960
و چگونه کار می کند اما
30
00:01:31,960 –> 00:01:34,000
ناگهان به جزئیات مدل v وارد نمی شویم
31
00:01:34,000 –> 00:01:35,140
زیرا
32
00:01:35,140 –> 00:01:38,409
به خودی خود یک نمایش کامل وجود دارد بنابراین
33
00:01:38,409 –> 00:01:40,509
پرتو یک آپاچی است. پروژه منبع باز که
34
00:01:40,509 –> 00:01:44,860
از سال 2016 یک پروژه سطح بالا است
35
00:01:44,860 –> 00:01:46,990
توسط گوگل و شرکای دیگری مانند لوتور اهدا شده است
36
00:01:46,990 –> 00:01:49,000
و صنعتگران اکنون
37
00:01:49,000 –> 00:01:54,610
بارباریکا و به طور کلی
38
00:01:54,610 –> 00:01:56,649
چارچوب برنامه نویسی توزیع شده موازی را پیشنهاد می کنند که
39
00:01:56,649 –> 00:01:58,689
به این معنی است که در خانواده فرار از جرقه
40
00:01:58,689 –> 00:02:01,210
و همه این موارد است.
41
00:02:01,210 –> 00:02:04,689
این بیشتر عمدتاً دو چیز است
42
00:02:04,689 –> 00:02:06,820
که عمدتاً دو هدف دارد، یکی داشتن یک
43
00:02:06,820 –> 00:02:09,008
مدل برنامه نویسی یکپارچه، بنابراین یک API یکپارچه است
44
00:02:09,008 –> 00:02:12,280
، فرض کنید برای انجام دسته ای و پخش جریانی
45
00:02:12,280 –> 00:02:15,190
با همان کد، و دومی
46
00:02:15,190 –> 00:02:17,950
قابل حمل
47
00:02:17,950 –> 00:02:19,989
بودن و قابل حمل بودن به معنای قابل حمل بودن چیزها در آن است. این حس که
48
00:02:19,989 –> 00:02:22,000
ما کد را به پرتوی نوشتن در سیستم اجرای هدف ترجمه می کنیم، به
49
00:02:22,000 –> 00:02:24,310
50
00:02:24,310 –> 00:02:27,280
عنوان مثال spark و همچنین اینکه از چندین زبان پشتیبانی می کنیم
51
00:02:27,280 –> 00:02:29,650
تا بدین ترتیب
52
00:02:29,650 –> 00:02:34,000
رشد کلی پرتو و به برای
53
00:02:34,000 –> 00:02:36,280
دی بخشی پراکنده از داشتن یک مدل یکپارچه
54
00:02:36,280 –> 00:02:38,830
برای دستهبندی پرتوهای جریان،
55
00:02:38,830 –> 00:02:41,890
مفاهیم اضافی را به مدل برنامهنویسی معرفی میکند،
56
00:02:41,890 –> 00:02:42,300
57
00:02:42,300 –> 00:02:46,420
بهطور مشخص، هر عنصری
58
00:02:46,420 –> 00:02:48,129
که میخواهید پرتو پردازش کنید، دارای یک
59
00:02:48,129 –> 00:02:50,680
مهر زمانی مرتبط است و ایده
60
00:02:50,680 –> 00:02:52,840
این مهر زمانی این است که میتوانید از آن برای
61
00:02:52,840 –> 00:02:56,620
تعیین زمانی که انجام میدهید استفاده کنید. تجمعات یا
62
00:02:56,620 –> 00:02:59,079
عملیات پایین دستی چرا چون ما
63
00:02:59,079 –> 00:03:00,670
از استریم پشتیبانی می کنیم بنابراین نمی دانیم
64
00:03:00,670 –> 00:03:02,860
پایان جریان کیست، بنابراین
65
00:03:02,860 –> 00:03:06,269
باید راهی برای تصمیم گیری در مورد زمان انجام
66
00:03:06,269 –> 00:03:09,849
عملیات و محاسبه نتایج قرار دهیم و این
67
00:03:09,849 –> 00:03:11,709
کار را با این کار با سه
68
00:03:11,709 –> 00:03:13,540
مفهوم انجام می دهیم. خوب مفهوم win window
69
00:03:13,540 –> 00:03:15,190
زمانی تعریف می کنیم که پنجره هایی را تعریف می کنیم که می توانند
70
00:03:15,190 –> 00:03:16,690
با شرایط خاصی بسته شوند، به
71
00:03:16,690 –> 00:03:19,209
عنوان مثال یک پنجره 10 دقیقه ای و من
72
00:03:19,209 –> 00:03:22,030
نتایجی را که از 10 دقیقه دارم دریافت می
73
00:03:22,030 –> 00:03:23,859
کنم، همچنین مفهوم واترمارکی
74
00:03:23,859 –> 00:03:26,200
را داریم که تعریف می کند که ما جمع یک پیشرفت است.
75
00:03:26,200 –> 00:03:28,480
مفهومی که تعریف میکند که ما قرار نیست
76
00:03:28,480 –> 00:03:31,060
عناصر بیشتری دریافت کنیم، اما
77
00:03:31,060 –> 00:03:34,510
این یک تخمین نیست، این
78
00:03:34,510 –> 00:03:37,000
چیزی دقیقاً دقیق نیست و برای تنظیم
79
00:03:37,000 –> 00:03:38,829
این تخمین ما مفهوم
80
00:03:38,829 –> 00:03:41,530
محرکهایی را داریم که میتوانیم تعریف کنیم، بیایید
81
00:03:41,530 –> 00:03:44,380
منتظر لیموهای بیشتری باشیم یا این
82
00:03:44,380 –> 00:03:47,049
محاسبات را در نقطهای ببندیم، بنابراین
83
00:03:47,049 –> 00:03:49,090
این چیزی است که میتوانید با جزئیات بیشتری
84
00:03:49,090 –> 00:03:51,579
در ارائه پرتو بیابید، اما به طور
85
00:03:51,579 –> 00:03:53,319
کلی ایدهای که در اینجا وجود دارد این است که همه اینها
86
00:03:53,319 –> 00:03:56,819
را تبدیل میکند و عملگرها
87
00:03:56,819 –> 00:03:59,470
یاد میگیرند که با
88
00:03:59,470 –> 00:04:02,440
معاوضه تأخیر و درستی بازی کنند، بنابراین وقتی
89
00:04:02,440 –> 00:04:05,769
میخواهیم خروجی تولید کنیم، تأخیر نیز تولید میشود
90
00:04:05,769 –> 00:04:08,410
و ما چقدر دقیق نیاز داریم که این خروجی باشد
91
00:04:08,410 –> 00:04:10,840
و بنابراین مانند دستگیرههایی داریم که با
92
00:04:10,840 –> 00:04:14,919
آن بازی کنیم. بنابراین همانطور که گفتم هدف پروژه پرتو
93
00:04:14,919 –> 00:04:16,930
پشتیبانی از چندین زبان است،
94
00:04:16,930 –> 00:04:19,510
به خصوص که هر کاربری
95
00:04:19,510 –> 00:04:21,099
برنامه خود را به یکی از این زبان ها بنویسد
96
00:04:21,099 –> 00:04:23,860
و سپس این زبان ها
97
00:04:23,860 –> 00:04:26,890
توسط چیزی که ما در ناله می گوییم ترجمه می شوند شامل
98
00:04:26,890 –> 00:04:29,740
سیستم مقصد
99
00:04:29,740 –> 00:04:32,050
و این همان چیزی است که برخی از
100
00:04:32,050 –> 00:04:34,780
زبانهایی که ما امروز پشتیبانی میکنیم و آنها
101
00:04:34,780 –> 00:04:36,580
و سیستمهای هدف، همانطور که میتوانید
102
00:04:36,580 –> 00:04:39,310
اکثر فریمورکهای Apache را که محبوبترین Big Data
103
00:04:39,310 –> 00:04:41,500
104
00:04:41,500 –> 00:04:44,319
هستند، مشاهده کنید. من سامسونگ دنده پمپ
105
00:04:44,319 –> 00:04:49,780
همه مشکوک ها خوب است، پس چگونه
106
00:04:49,780 –> 00:04:52,930
انجام دهیم که این کار را با چیزی که
107
00:04:52,930 –> 00:04:55,389
مفهوم خط لوله می نامیم انجام دهیم، ایده اینجا
108
00:04:55,389 –> 00:04:57,280
این است که ما ورودی داریم که
109
00:04:57,280 –> 00:05:01,030
معمولاً پایگاه داده یا
110
00:05:01,030 –> 00:05:04,539
سیستم گزارش توزیع شده مانند کافکا و با این
111
00:05:04,539 –> 00:05:06,940
ورودی ما فقط یک سری
112
00:05:06,940 –> 00:05:09,789
تبدیل اعمال می کنیم تا بتوانیم عملیاتی مانند
113
00:05:09,789 –> 00:05:12,550
نقشه را در MapReduce انجام دهیم یا می توانیم مانند
114
00:05:12,550 –> 00:05:14,949
کاهش شناسه های گروه انجام دهیم،
115
00:05:14,949 –> 00:05:17,020
اما همچنین می توانیم برای عملیات Ian Tate
116
00:05:17,020 –> 00:05:20,380
در این جریان ها زمان انجام دهیم، اما همانطور که
117
00:05:20,380 –> 00:05:22,360
می بینید فقط یک نمودار چرخه ای حمله مستقیم است.
118
00:05:22,360 –> 00:05:28,030
بنابراین نه این چیز خاصی نیست پس
119
00:05:28,030 –> 00:05:30,099
فقط یادآوری کنید که این شمارش جهان کلاسیک است
120
00:05:30,099 –> 00:05:33,610
و آنچه ما در اینجا سعی می کنیم انجام دهیم این
121
00:05:33,610 –> 00:05:36,370
است که کلمات را در یک متن بشماریم و در
122
00:05:36,370 –> 00:05:38,289
هدوپ کلاسیک کاری که انجام می دهیم این
123
00:05:38,289 –> 00:05:40,570
سه عملیات است که فقط برای تولید یک نقشه انجام می دهیم.
124
00:05:40,570 –> 00:05:44,320
یک واژگونی کلمه و
125
00:05:44,320 –> 00:05:47,710
تعداد ارزها که یکی است، سپس
126
00:05:47,710 –> 00:05:49,840
از انجام یک مخلوط کردن استفاده می کنیم تا بتوانیم در
127
00:05:49,840 –> 00:05:52,960
ماشین های مختلف منبع یکسانی برای
128
00:05:52,960 –> 00:05:57,159
هر کلید این چیز داشته باشیم و سپس
129
00:05:57,159 –> 00:05:58,930
آن را در ماشین مقصد کاهش می
130
00:05:58,930 –> 00:06:01,270
دهیم تا این اساس باشد.
131
00:06:01,270 –> 00:06:04,949
در مورد نحوه عملکرد MapReduce در مورد پرتو، ما دو
132
00:06:04,949 –> 00:06:07,509
کلمه کلیدی برای انجام این نوع عملیات
133
00:06:07,509 –> 00:06:09,430
134
00:06:09,430 –> 00:06:12,759
135
00:06:12,759 –> 00:06:15,610
136
00:06:15,610 –> 00:06:18,610
داریم. خیلی
137
00:06:18,610 –> 00:06:22,120
متفاوت نیست، بنابراین اگر می خواهید ببینید که در
138
00:06:22,120 –> 00:06:25,810
کد چیزی که اتفاق می افتد ما در حال خواندن یک
139
00:06:25,810 –> 00:06:29,130
فایل متنی با چیزی هستیم که آن را یک پارچه پرتو i/o می
140
00:06:29,130 –> 00:06:31,900
نامیم و این فایل را می خوانیم،
141
00:06:31,900 –> 00:06:33,909
سپس هر خط از فایل را داریم و سپس آن ها را
142
00:06:33,909 –> 00:06:36,669
تقسیم می کنیم. با فاصله با یک
143
00:06:36,669 –> 00:06:38,409
تابع نقشه مسطح که برای هر خط
144
00:06:38,409 –> 00:06:41,260
چند کلمه تولید می کند، سپس مجموع را
145
00:06:41,260 –> 00:06:43,410
که یک جفت مقدار کلیدی است
146
00:06:43,410 –> 00:06:46,770
در Beemer KETV تولید می کنیم و سپس این را جمع می کنیم و
147
00:06:46,770 –> 00:06:48,810
در نهایت موارد را خروجی می گیریم همانطور که می
148
00:06:48,810 –> 00:06:50,160
بینید همه این منابع مانند
149
00:06:50,160 –> 00:06:53,100
فلش هایی که چیزهایی را به هم وصل می کنند که
150
00:06:53,100 –> 00:07:00,500
لوله ها متأسفم اما در واقعیت پرتو
151
00:07:00,500 –> 00:07:03,810
دارد مانند عملگرهای سطح پایین تر یا
152
00:07:03,810 –> 00:07:05,310
تبدیل هایی که ما آنها را تبدیل های اولیه می نامیم
153
00:07:05,310 –> 00:07:08,520
بنابراین این عناصر نقشه
154
00:07:08,520 –> 00:07:10,140
چیزی است که در پرتو آن را pardhu می نامیم
155
00:07:10,140 –> 00:07:13,290
و راه بیشتری وجود دارد که به آن
156
00:07:13,290 –> 00:07:15,990
adva می گوییم. تابع نقشه nced که شامل
157
00:07:15,990 –> 00:07:19,170
مفهوم دیگری از پرتو است، ما این گروه
158
00:07:19,170 –> 00:07:21,360
به کلید را داریم که اساساً با کلید رشد می کند
159
00:07:21,360 –> 00:07:23,790
و سپس این را نیز داریم تا
160
00:07:23,790 –> 00:07:26,760
حدی که چرا من در
161
00:07:26,760 –> 00:07:28,700
مورد این تبدیل های اولیه صحبت می کنم،
162
00:07:28,700 –> 00:07:31,560
زیرا وقتی شما کد را می نویسید که I’
163
00:07:31,560 –> 00:07:34,880
d قبل از گسترش به این نشان داده شود،
164
00:07:34,880 –> 00:07:37,850
بنابراین این چیزی است که در کاربران نهایی
165
00:07:37,850 –> 00:07:39,870
معمولاً نمی بینند، اما این یک
166
00:07:39,870 –> 00:07:41,520
بسط داخلی از تبدیل
167
00:07:41,520 –> 00:07:45,120
هایی است که همه استفاده می کنند و چرا ما این
168
00:07:45,120 –> 00:07:48,360
تبدیل اولیه را داریم زیرا برای
169
00:07:48,360 –> 00:07:50,190
کاربران نهایی شما همه اینها را در دسترس دارید.
170
00:07:50,190 –> 00:07:52,290
همه این تبدیلها و
171
00:07:52,290 –> 00:07:53,760
عناصر را که میتوانید برای پخش محاسبات خود استفاده کنید، طبقهبندی میکند
172
00:07:53,760 –> 00:07:55,890
و البته
173
00:07:55,890 –> 00:07:59,270
انتظارات کلاسیک را دارید، مانند انواع ترکیبکنندههایی
174
00:07:59,270 –> 00:08:02,190
که کاهشدهنده پرتو هستند و
175
00:08:02,190 –> 00:08:05,250
همچنین نقشههای مسطح همه این موارد را
176
00:08:05,250 –> 00:08:07,080
دارید، اما موارد جدید را نیز در سمت راست دارید.
177
00:08:07,080 –> 00:08:10,410
مواردی هستند که از پرتو برای
178
00:08:10,410 –> 00:08:12,690
تنظیم زمان عملیات نمایش
179
00:08:12,690 –> 00:08:15,000
در اسلاید دوم استفاده می کند تا برای پنجره سازی
180
00:08:15,000 –> 00:08:18,000
سه دختر را تعریف کند و اگر
181
00:08:18,000 –> 00:08:19,560
همه اینها را ببینید خیلی سخت می شود
182
00:08:19,560 –> 00:08:20,970
ترجمه اگر بخواهیم تک تک آنها را ترجمه
183
00:08:20,970 –> 00:08:22,920
کنیم مانند یک
184
00:08:22,920 –> 00:08:24,870
کار غیرممکن است، به خصوص اگر مجبور باشیم
185
00:08:24,870 –> 00:08:28,050
همه این دونده ها را هدف قرار دهیم، به همین دلیل است که
186
00:08:28,050 –> 00:08:31,680
ما تبدیل های اولیه ای داریم که در
187
00:08:31,680 –> 00:08:34,590
داخل مدل هستند، اما همچنین
188
00:08:34,590 –> 00:08:37,830
اتصال دهنده هایی به تمام سیستم هایی که داریم داریم.
189
00:08:37,830 –> 00:08:41,010
البته اکثر فروشگاههای داده آپاچی
190
00:08:41,010 –> 00:08:43,640
ما Cassandra HBase
191
00:08:43,640 –> 00:08:48,960
Casca و غیره داریم و البته برخی از فروشگاههای
192
00:08:48,960 –> 00:08:50,850
ابری مانند چرا در
193
00:08:50,850 –> 00:08:52,320
گوگل، زیرا گوگل
194
00:08:52,320 –> 00:08:53,940
مشارکتکننده اصلی در این پروژه است و ما
195
00:08:53,940 –> 00:08:56,230
بخش خوبی از چیزهای آمازون
196
00:08:56,230 –> 00:08:58,660
داریم و ما از فرم کلاسیک به عنوان
197
00:08:58,660 –> 00:09:02,770
avro park نیز چنین محصولاتی پشتیبانی می کند، بنابراین
198
00:09:02,770 –> 00:09:11,410
این عملگرها و من در پایان از آن استفاده می کنم
199
00:09:11,410 –> 00:09:17,140
، فقط پنج تبدیل اصلی اولیه
200
00:09:17,140 –> 00:09:20,140
در پرتو هستند، این پنج مورد هستند، بنابراین ما تغییر
201
00:09:20,140 –> 00:09:22,810
شکلی داریم که اساساً
202
00:09:22,810 –> 00:09:24,760
داده ها را به صورت موازی می خواند، بنابراین
203
00:09:24,760 –> 00:09:26,440
ادامه دارد. برای جستوجوی پارتیشنهای موجود
204
00:09:26,440 –> 00:09:28,200
در دادهها در ذخیرهگاههای داده و خواندن دادههای
205
00:09:28,200 –> 00:09:31,120
کاملاً ضروری، ما به دنبال آن هستیم
206
00:09:31,120 –> 00:09:33,550
که فقط نقشه هر عنصر را پردازش میکند، اما
207
00:09:33,550 –> 00:09:36,010
با برخی ترفندها داریم. گروه بندی بر اساس کلید
208
00:09:36,010 –> 00:09:38,290
که در مورد تیر دارای یک ویژگی خاص
209
00:09:38,290 –> 00:09:40,540
است این است که از آنجایی که ما این مفهوم
210
00:09:40,540 –> 00:09:43,030
از پنجره را داریم باید به
211
00:09:43,030 –> 00:09:45,550
پنجره نیز گروه بندی کنیم بنابراین در کلید و پنجره ها گروه بندی می
212
00:09:45,550 –> 00:09:46,990
کنیم تا همه نتایج را در
213
00:09:46,990 –> 00:09:50,770
جای مناسب داشته باشیم و صاف کرده ایم تنظیم اتحاد
214
00:09:50,770 –> 00:09:52,120
مجموعههایی که ما
215
00:09:52,120 –> 00:09:55,360
پنجرههایی را اختصاص دادهایم که به ما امکان میدهد
216
00:09:55,360 –> 00:09:57,610
عناصر را به پنجرههای درستی اختصاص
217
00:09:57,610 –> 00:10:00,370
218
00:10:00,370 –> 00:10:04,420
219
00:10:04,420 –> 00:10:08,230
220
00:10:08,230 –> 00:10:10,080
دهیم. خام بودن چگونه کار می کند
221
00:10:10,080 –> 00:10:12,730
اما در مورد یک جرقه به این
222
00:10:12,730 –> 00:10:15,400
صورت خواهد بود که شما فقط یک کد جاوا دریافت کرده اید
223
00:10:15,400 –> 00:10:17,560
و سپس این فرآیند ترجمه وجود دارد که
224
00:10:17,560 –> 00:10:19,690
225
00:10:19,690 –> 00:10:22,330
نقشه نقطه ای RDD کلاسیک من
226
00:10:22,330 –> 00:10:24,580
را ایجاد می کند.
227
00:10:24,580 –> 00:10:27,330
عملیات و انجام این کار نسبتاً
228
00:10:27,330 –> 00:10:30,400
ساده است زیرا ما
229
00:10:30,400 –> 00:10:33,700
کد جاوا را فراخوانی می کنیم و در حالی که همه این
230
00:10:33,700 –> 00:10:36,220
سیستم های هدف مبتنی بر جاوا هستند، بنابراین
231
00:10:36,220 –> 00:10:37,990
فقط بحث بسته بندی کردن چیزها و
232
00:10:37,990 –> 00:10:43,000
فراخوانی آن ها در خارج است تا در نهایت چه می
233
00:10:43,000 –> 00:10:45,340
خواهیم. انجام دادن چیزی شبیه به آن
234
00:10:45,340 –> 00:10:47,200
است البته در واقعیت دقیقاً اینطور نیست،
235
00:10:47,200 –> 00:10:49,540
اما فقط برای اینکه ایده ای به شما بدهم
236
00:10:49,540 –> 00:10:51,610
می توانید در قسمت پایین
237
00:10:51,610 –> 00:10:55,270
کد معادل کلمه count را که در پرتو داشتیم
238
00:10:55,270 –> 00:10:58,870
اما اکنون در جرقه و همانطور که می توانید ببینید. see
239
00:10:58,870 –> 00:11:01,780
مثل این است که بهطور مستقیم ترجمه میشود اکنون
240
00:11:01,780 –> 00:11:04,030
شما همه این عملگرها را در تمام
241
00:11:04,030 –> 00:11:06,760
این تبدیلها در پرتو دارید، متأسفم
242
00:11:06,760 –> 00:11:08,480
که این عمل
243
00:11:08,480 –> 00:11:11,570
و تبدیلها در جرقه تبدیل میشوند، بنابراین
244
00:11:11,570 –> 00:11:13,760
این ایده کلی است که دوندهها
245
00:11:13,760 –> 00:11:16,160
چه میکنند و چرا شما در مورد همه اینها صحبت میکنید،
246
00:11:16,160 –> 00:11:18,470
زیرا ما هدف ما اجرای
247
00:11:18,470 –> 00:11:22,000
Python و رفتن است، اما همانطور که می بینید ما نداریم،
248
00:11:22,000 –> 00:11:24,380
ما هنوز آنجا نیستیم، ما همه این
249
00:11:24,380 –> 00:11:28,940
موارد جاوا را داریم که Maps چنین نیست، اکنون می
250
00:11:28,940 –> 00:11:30,110
خواهم کمی در مورد این رانر کارآمد صحبت کنم،
251
00:11:30,110 –> 00:11:32,930
پس البته اکثر آنها
252
00:11:32,930 –> 00:11:35,899
مردم احتمالاً اکنون در اینجا جرقه می زنند و
253
00:11:35,899 –> 00:11:38,269
چرا اسپارک ابتدا یک سیستم مقصد برای
254
00:11:38,269 –> 00:11:40,130
خوب بودن خطوط لوله است زیرا این
255
00:11:40,130 –> 00:11:42,860
محبوب ترین چارچوب یک کلان داده است،
256
00:11:42,860 –> 00:11:45,019
بنابراین اگر جرقه ای در
257
00:11:45,019 –> 00:11:46,699
شرکت خود داشته باشید می دانید خوشه هادوپ چه جرقه ای را از
258
00:11:46,699 –> 00:11:48,769
دست می دهد.
259
00:11:48,769 –> 00:11:50,589
این سادهترین راه برای ورود به BIM
260
00:11:50,589 –> 00:11:52,699
دوم است، زیرا Spark از
261
00:11:52,699 –> 00:11:55,610
چندین مدیر منابع پشتیبانی میکند، بنابراین سیستمها را مورد هدف قرار دهید،
262
00:11:55,610 –> 00:11:57,980
بنابراین اکنون حتی Kubernetes را نیز میتوانید اجرا کنید، بنابراین
263
00:11:57,980 –> 00:11:59,149
میتوانید Hadoop و همچنین در
264
00:11:59,149 –> 00:12:00,829
kubernetes را اجرا کنید، بنابراین داشتن یک اکوسیستم غنی از ابزارها نیز بسیار عالی است.
265
00:12:00,829 –> 00:12:02,600
266
00:12:02,600 –> 00:12:04,910
یک جرقه کاری را انجام می
267
00:12:04,910 –> 00:12:07,820
دهد که بیشتر مردم به آن
268
00:12:07,820 –> 00:12:09,110
توجه نمی کنند، اما بسیار
269
00:12:09,110 –> 00:12:10,760
مهم است. ما پروژه هایی مانند
270
00:12:10,760 –> 00:12:13,130
levy را دیده ایم که می توانید از آنها برای ارسال
271
00:12:13,130 –> 00:12:16,250
خطوط لوله در REST API یا ابزارهایی برای
272
00:12:16,250 –> 00:12:21,170
نظارت مانند ترسناک ترین barbar استفاده کنید، بنابراین اسپارک
273
00:12:21,170 –> 00:12:23,839
ابزارهای خوبی نیز دارد. و
274
00:12:23,839 –> 00:12:25,490
البته به دلیل اینکه در شرکت شما در حال اجرا
275
00:12:25,490 –> 00:12:27,470
است، شما
276
00:12:27,470 –> 00:12:30,019
با یکی از این فروشندگان قرارداد فوق العاده ای دارید و به
277
00:12:30,019 –> 00:12:32,540
نوعی موظف هستید که با توجه به
278
00:12:32,540 –> 00:12:36,260
آن زندگی کنید و حتی در حال حاضر یک پیشنهاد خدماتی
279
00:12:36,260 –> 00:12:39,470
توسط داده آجر وجود دارد که ما آن را نیز با Beaman آزمایش کرده ایم
280
00:12:39,470 –> 00:12:43,880
و به درستی کار می کند، بنابراین این
281
00:12:43,880 –> 00:12:45,589
قسمت اول همانطور که در ابتدا گفتم،
282
00:12:45,589 –> 00:12:48,290
قضیه سرنخ پشتیبان اهدا شد و
283
00:12:48,290 –> 00:12:50,930
در اصل بر اساس یک RDD و
284
00:12:50,930 –> 00:12:52,910
ترجمه جریانی بود که API قدیمی تر
285
00:12:52,910 –> 00:12:56,540
برای اسپا بود. rk در حال حاضر یک
286
00:12:56,540 –> 00:12:58,790
کار مداوم برای یک رانر جدید بر اساس
287
00:12:58,790 –> 00:13:01,490
api های جدیدتر وجود دارد، اما به خاطر
288
00:13:01,490 –> 00:13:03,560
این ارائه، روی RDD تمرکز خواهد کرد در
289
00:13:03,560 –> 00:13:05,899
این جریان یکی از بالغ ترین
290
00:13:05,899 –> 00:13:07,670
دوندگان است، فرض کنید
291
00:13:07,670 –> 00:13:10,519
نبردی توسط خریداران آزمایش شده است. در همه
292
00:13:10,519 –> 00:13:14,600
این شرکت ها و و
293
00:13:14,600 –> 00:13:17,480
موارد استفاده واقعا جالبی در حال حاضر وجود دارد که
294
00:13:17,480 –> 00:13:20,110
کاربران رانر مخصوصاً منظورم
295
00:13:20,110 –> 00:13:22,339
این گروه سیستم
296
00:13:22,339 –> 00:13:25,059
از بررسی عمومی است آنها مانند یک
297
00:13:25,059 –> 00:13:27,649
ژن درج هستند و داده های زیادی را در
298
00:13:27,649 –> 00:13:29,990
آنجا نمایه می کنند.
299
00:13:29,990 –> 00:13:34,600
کسی که هم دارد، نام آن
300
00:13:34,600 –> 00:13:37,220
مشاهده زیستشناسی یک گونه است که بر
301
00:13:37,220 –> 00:13:43,730
اساس آن موارد بسیار جالب استفاده است، بنابراین من
302
00:13:43,730 –> 00:13:46,329
فقط میخواهم سریعاً به این موضوع اشاره
303
00:13:46,329 –> 00:13:48,980
کنم زیرا
304
00:13:48,980 –> 00:13:51,139
احتمالاً پس از اینکه به خوبی گفت
305
00:13:51,139 –> 00:13:53,120
اینها عملیات در یک جرقه اساساً
306
00:13:53,120 –> 00:13:55,189
اسپارک نیز نشان دهنده تاریخ است که
307
00:13:55,189 –> 00:13:57,079
مجموعه ای توزیع شده دارد که آن را
308
00:13:57,079 –> 00:14:00,470
RDD می نامند و با این عجیب و غریب که می توانید انجام دهید می
309
00:14:00,470 –> 00:14:02,480
توانید تبدیل داده هایی را که
310
00:14:02,480 –> 00:14:04,339
وجود دارد و و اقدامات t انجام دهید.
311
00:14:04,339 –> 00:14:06,980
این دادهها را محقق کنید اگر
312
00:14:06,980 –> 00:14:09,559
نقشههای مفاهیم را با مفاهیم با
313
00:14:09,559 –> 00:14:11,749
پرتو میبینید و همچنین دارای این
314
00:14:11,749 –> 00:14:14,360
مفهوم از متغیرهای پخش هستند که
315
00:14:14,360 –> 00:14:18,139
حالت فقط خواندنی وجود دارد، فرض
316
00:14:18,139 –> 00:14:20,959
کنید میتوانید وارد هر کارگر شوید و ما
317
00:14:20,959 –> 00:14:22,879
این زمینهها را داریم که اجازه میدهد برای اینکه
318
00:14:22,879 –> 00:14:26,809
همه این چیزها را به هم وصل کنید چرا من
319
00:14:26,809 –> 00:14:28,279
این را ذکر می کنم زیرا اکنون می خواهیم
320
00:14:28,279 –> 00:14:31,129
ببینیم چگونه از پرتو به جرقه
321
00:14:31,129 –> 00:14:35,029
به طور کلی ترجمه می کنیم و این مهم است
322
00:14:35,029 –> 00:14:37,100
زیرا این مانند اولین قدمی است که
323
00:14:37,100 –> 00:14:39,110
با دونده داریم و خواهیم کرد
324
00:14:39,110 –> 00:14:41,779
با ترجمه جدید پایتون ارتباط برقرار کنید
325
00:14:41,779 –> 00:14:45,170
و همانطور که قبلاً ذکر
326
00:14:45,170 –> 00:14:47,779
کردیم این پنج پارتیشن اولیه را داشتیم، بنابراین
327
00:14:47,779 –> 00:14:51,589
به سرعت وارد هر یک می شویم،
328
00:14:51,589 –> 00:14:54,949
اولین اولیه عالی است، بنابراین همانطور که گفتم
329
00:14:54,949 –> 00:14:56,420
آنچه که ما می خواستیم انجام دهیم این بود که فقط
330
00:14:56,420 –> 00:14:58,879
هر پارتیشن را بخوانیم. به طور موازی و و
331
00:14:58,879 –> 00:15:04,149
ما این محاسبات را اجرا می کنیم، منظورم
332
00:15:04,149 –> 00:15:07,790
این است که آماده محاسبه است،
333
00:15:07,790 –> 00:15:10,879
متأسفانه یک راز داخلی C پنهان پرتو وجود
334
00:15:10,879 –> 00:15:13,370
دارد این است که هر LM، هر عنصر روی
335
00:15:13,370 –> 00:15:17,089
پرتو نگاشت شده یا در یک مقدار پنجره قرار می گیرد.
336
00:15:17,089 –> 00:15:18,920
نشان دادن چرا این است زیرا من
337
00:15:18,920 –> 00:15:20,990
گفتم که ما همیشه باید یک
338
00:15:20,990 –> 00:15:23,179
مهر زمانی داشته باشیم ما ارزش اصلی را داریم
339
00:15:23,179 –> 00:15:25,160
که شما با آن بازی می کنید همه اینها
340
00:15:25,160 –> 00:15:27,259
داخلی است فقط برای این است که به شما ایده ای درباره
341
00:15:27,259 –> 00:15:29,089
نحوه عملکرد آن بدهید و همچنین می توانید همه آنها را اندازه گیری کنید.
342
00:15:29,089 –> 00:15:31,339
در بالای سر
343
00:15:31,339 –> 00:15:34,339
وجود دارد ما همچنین پنجره هایی را داریم که
344
00:15:34,339 –> 00:15:35,220
این عنصر
345
00:15:35,220 –> 00:15:38,910
به آن تعلق دارد و اطلاعات درد – برای
346
00:15:38,910 –> 00:15:43,770
مطالبی برای انگیزه و گفتن آنچه که
347
00:15:43,770 –> 00:15:45,540
در خواندن انجام می دهیم در واقع فقط ایجاد یک
348
00:15:45,540 –> 00:15:48,360
شغل یک RDD است که دقیقاً چگونه اکنون didi
349
00:15:48,360 –> 00:15:51,150
کار می کند اینها متحرک شده است پارتیشن دریافت کنید
350
00:15:51,150 –> 00:15:53,550
بنابراین ما قرار است تابع شبکه را
351
00:15:53,550 –> 00:15:56,940
از پرتو به
352
00:15:56,940 –> 00:15:58,350
روش جرقه پارتیشن های دریافتی آنها ترسیم کنیم، بنابراین بسیار
353
00:15:58,350 –> 00:16:01,200
ساده است که باید آنها را
354
00:16:01,200 –> 00:16:04,530
ترجمه کنند پوردو پوردو
355
00:16:04,530 –> 00:16:07,140
تابع پیچیده تر است پوردو در پرتو
356
00:16:07,140 –> 00:16:10,950
چرخه عمر دارد و خوب اگر
357
00:16:10,950 –> 00:16:13,380
پوردو را ترجمه کنیم باید به این شکل احترام بگذاریم.
358
00:16:13,380 –> 00:16:15,720
چرخه لیزر ما همچنین بستهها را
359
00:16:15,720 –> 00:16:18,810
تصور میکنیم و همچنین باید
360
00:16:18,810 –> 00:16:21,810
تصمیم بگیریم که چگونه عناصر را بستهبندی کنیم. یک
361
00:16:21,810 –> 00:16:23,250
بسته مانند گروه کوچکی از
362
00:16:23,250 –> 00:16:25,860
عناصر است که میتواند برای مثال کوچک باشد
363
00:16:25,860 –> 00:16:27,660
در مورد استریم، چون میخواهیم
364
00:16:27,660 –> 00:16:30,870
دادههای پاییندستی را با
365
00:16:30,870 –> 00:16:32,670
حداکثر سرعت ممکن تولید کنیم یا در
366
00:16:32,670 –> 00:16:35,280
حالت دستهای میتوانیم بزرگتر باشند، همه این موارد مانند
367
00:16:35,280 –> 00:16:37,740
تایمرهای حالت ماتریس را داریم، مانند یک
368
00:16:37,740 –> 00:16:42,300
چاقوی بزرگ سوئیسی از پرتو است، من به این بخش نیاز دارم
369
00:16:42,300 –> 00:16:45,450
. اساساً این یک
370
00:16:45,450 –> 00:16:48,900
نقشه بزرگ و مسطح است و برخی از نقشه های دیگر نقشه های
371
00:16:48,900 –> 00:16:52,440
جزئی چیزهایی را منتقل می کنند نه پارتیشن
372
00:16:52,440 –> 00:16:55,950
ها و همچنین از پخش برای
373
00:16:55,950 –> 00:16:59,160
دریافت ورودی های جانبی استفاده می کنند که می توانند مجموعه
374
00:16:59,160 –> 00:17:00,870
هایی باشند که برای محاسبه چیزهایی نیاز
375
00:17:00,870 –> 00:17:06,949
دارید مثلاً برای مفاصل که باید
376
00:17:06,949 –> 00:17:09,900
چیز را به آن منتقل کنیم. اسپارک گروه به کلید است همانطور که
377
00:17:09,900 –> 00:17:13,199
اشاره کردم ما Mikey و توسط
378
00:17:13,199 –> 00:17:17,010
پنجره را داریم، بنابراین هک cleaver در اینجا فقط
379
00:17:17,010 –> 00:17:19,829
این است که بال پنجره را به کلید اضافه می کنیم
380
00:17:19,829 –> 00:17:22,319
که نشان دهنده آن به عنوان بایت و بنابراین
381
00:17:22,319 –> 00:17:24,959
کلید جدید است و این عمدتاً کاری است که انجام می دهد
382
00:17:24,959 –> 00:17:28,230
اما گروه بندی بر اساس کلید همچنین باید
383
00:17:28,230 –> 00:17:30,870
از تمام این معناشناسی مبتنی بر مهر زمانی مراقبت کند،
384
00:17:30,870 –> 00:17:33,210
بنابراین او باید چند بار
385
00:17:33,210 –> 00:17:36,030
دادههای دراپ لای را حذف کند، زیرا ما
386
00:17:36,030 –> 00:17:37,890
نمیخواهیم بیشتر از آنچه باید دادهها را به هم بزنیم
387
00:17:37,890 –> 00:17:40,560
و شما باید تصمیم بگیرید که چگونه هستیم.
388
00:17:40,560 –> 00:17:42,230
در
389
00:17:42,230 –> 00:17:44,640
اصل همه این کارها توسط برخی از نقشه ها انجام می شود که
390
00:17:44,640 –> 00:17:51,080
یک نقشه اضافه می کنند و سپس توسط گروه
391
00:17:52,429 –> 00:17:55,139
در نهایت نه من نمی دانم یک دیگری داریم
392
00:17:55,139 –> 00:17:55,740
393
00:17:55,740 –> 00:17:59,159
این ویندوز ساده ترین است،
394
00:17:59,159 –> 00:18:01,409
فرض کنید فقط یک عنصر قرار می دهیم.
395
00:18:01,409 –> 00:18:05,159
در چندین ویندوز، بنابراین اساساً برخی از
396
00:18:05,159 –> 00:18:09,389
آنها یک نقص است که
397
00:18:09,389 –> 00:18:11,370
این امر را انجام می دهد، زیرا همانطور
398
00:18:11,370 –> 00:18:13,200
که استراتژی پنجره را تعریف کردید، چیزی است
399
00:18:13,200 –> 00:18:17,850
که ممکن است به آن نیاز داشته باشید، در نهایت
400
00:18:17,850 –> 00:18:19,320
، می گویید اتحاد مجموعه های مشخصات،
401
00:18:19,320 –> 00:18:21,600
اگرچه ترجمه آن کاملاً
402
00:18:21,600 –> 00:18:23,370
ساده است. جرقه
403
00:18:23,370 –> 00:18:25,380
زیرا ما قبلاً rddهای
404
00:18:25,380 –> 00:18:27,179
مشابه داریم و مینتزبرگ این عملیات Union وجود دارد،
405
00:18:27,179 –> 00:18:29,340
بنابراین ترجمه فقط
406
00:18:29,340 –> 00:18:34,409
یک واحد جالب است، بنابراین ما در نهایت ترجمه کامل را انجام دادیم،
407
00:18:34,409 –> 00:18:37,080
اما بخش کلیدی این است
408
00:18:37,080 –> 00:18:39,389
که ما کد جاوا را از جاوا فرا میخوانیم،
409
00:18:39,389 –> 00:18:42,029
بنابراین این کار سادهتر است. به طور دقیق تر،
410
00:18:42,029 –> 00:18:43,710
ما این توابع تعریف شده توسط کاربر را داریم،
411
00:18:43,710 –> 00:18:45,510
حیاتی ترین
412
00:18:45,510 –> 00:18:48,240
بخش کد است که ما در نهایت
413
00:18:48,240 –> 00:18:50,789
به لطف یک جرقه در ماشین های اجرایی قرار می دهیم،
414
00:18:50,789 –> 00:18:53,789
اما چه چیزی اگر اکنون نیاز داشته باشیم
415
00:18:53,789 –> 00:18:56,100
این کار را با پایتون انجام دهیم یا میخواهیم این کار را انجام دهیم،
416
00:18:56,100 –> 00:18:58,110
بنابراین حالا کایل با شما
417
00:18:58,110 –> 00:19:05,490
در مورد آن صحبت میکند، متشکرم خوب، بله، بنابراین
418
00:19:05,490 –> 00:19:08,580
این جرقه Runner بود که اساساً تا اوایل امسال وجود داشت،
419
00:19:08,580 –> 00:19:12,990
420
00:19:12,990 –> 00:19:17,970
برای همه جاوا بهخوبی کار میکرد اما و یکی
421
00:19:17,970 –> 00:19:20,580
از ایمیلهای مشابه میگوید ما این دو
422
00:19:20,580 –> 00:19:22,799
سطح از قابلیت حمل را داریم، بنابراین
423
00:19:22,799 –> 00:19:24,600
همه اینها را داشتیم،
424
00:19:24,600 –> 00:19:27,210
موتورهای اجرایی متفاوتی داشتیم
425
00:19:27,210 –> 00:19:29,130
، جرقهای داشتیم.
426
00:19:29,130 –> 00:19:31,529
427
00:19:31,529 –> 00:19:34,200
سپس SDK های اضافی را نیز اضافه می کنیم که
428
00:19:34,200 –> 00:19:37,139
پیاده سازی های متفاوتی از
429
00:19:37,139 –> 00:19:39,210
مدل پرتو در زبان های مختلف هستند، بنابراین
430
00:19:39,210 –> 00:19:44,010
Java Python و سپس go یک SDK دیگر است
431
00:19:44,010 –> 00:19:46,110
که اخیراً اضافه شده است، بنابراین سؤال این است
432
00:19:46,110 –> 00:19:49,019
که چگونه می
433
00:19:49,019 –> 00:19:51,090
خواهیم از همه این زبان های مختلف
434
00:19:51,090 –> 00:19:53,039
در همه زبان ها پشتیبانی کنیم. این دونده های مختلف،
435
00:19:53,039 –> 00:19:57,750
به طوری که این یک سوال دشوار است،
436
00:19:57,750 –> 00:19:58,260
437
00:19:58,260 –> 00:20:02,100
بنابراین با جرقه البته ممکن است بدانید
438
00:20:02,100 –> 00:20:02,520
که
439
00:20:02,520 –> 00:20:04,200
چیزی به نام جرقه PI وجود دارد که
440
00:20:04,200 –> 00:20:08,550
جرقه ادغام پایتون را می دهد، بنابراین
441
00:20:08,550 –> 00:20:11,580
اولین فکر شما هنگام ترجمه است. ng از پرتو
442
00:20:11,580 –> 00:20:13,950
به جرقه ممکن است خوب باشد چرا ما فقط
443
00:20:13,950 –> 00:20:16,490
از جرقه PI استفاده نمی کنیم و بنابراین این
444
00:20:16,490 –> 00:20:18,810
یک نمونه کوچک است که
445
00:20:18,810 –> 00:20:22,170
ممکن است شبیه آن باشد، اما
446
00:20:22,170 –> 00:20:25,190
مشکل چند مشکل وجود دارد که در ابتدا
447
00:20:25,190 –> 00:20:28,830
این کار را برای هر یک انجام دهید. زبان مقصد و
448
00:20:28,830 –> 00:20:31,920
زمان اجرا کاملاً مقیاسپذیر نیست اگر
449
00:20:31,920 –> 00:20:34,710
تعداد SDKهای ما را
450
00:20:34,710 –> 00:20:37,740
در تعداد موتورهای اجرایی که
451
00:20:37,740 –> 00:20:39,630
داریم ضرب کنید،
452
00:20:39,630 –> 00:20:42,090
ساختن و حفظ همه آنها کاملاً غیرواقعی میشود.
453
00:20:42,090 –> 00:20:45,990
دومین مورد این است که برخی از
454
00:20:45,990 –> 00:20:48,330
سیستمهای هدف حتی ندارند.
455
00:20:48,330 –> 00:20:52,470
API مورد نظر، به عنوان مثال با اسپارک،
456
00:20:52,470 –> 00:20:54,540
ما جرقه PI داریم، اما در مورد
457
00:20:54,540 –> 00:20:59,610
go، جرقه ای برای رفتن وجود ندارد، به طوری
458
00:20:59,610 –> 00:21:01,800
که غیرممکن است، هیچ راهی برای
459
00:21:01,800 –> 00:21:05,460
انجام آن وجود نداشته باشد، و پس از آن،
460
00:21:05,460 –> 00:21:07,620
برای مثال در مورد flank که
461
00:21:07,620 –> 00:21:10,470
انجام داد، چنین بود. از پایتون پشتیبانی نمیکنم، من فکر میکنم که
462
00:21:10,470 –> 00:21:13,320
آن را اضافه میکنند، اما در گذشته این
463
00:21:13,320 –> 00:21:16,380
کار را نمیکردند، بنابراین این سوال پیش میآید که چگونه این کار را
464
00:21:16,380 –> 00:21:21,930
انجام دهیم و پاسخ اساساً
465
00:21:21,930 –> 00:21:23,730
موضوع اکثر موارد دیگر این بحث است.
466
00:21:23,730 –> 00:21:28,800
API قابل حمل پرتو، بنابراین این آ
467
00:21:28,800 –> 00:21:31,500
روش آگنوستیک زبان به خوبی تعریف شده برای
468
00:21:31,500 –> 00:21:35,250
نشان دادن و اجرای خطوط لوله پرتو، بنابراین
469
00:21:35,250 –> 00:21:37,950
اساساً معنی کلمه کلیدی
470
00:21:37,950 –> 00:21:41,100
در اینجا، زبان آگنوستیک است، بنابراین این
471
00:21:41,100 –> 00:21:44,610
برای همه SDK ها کار می کند و
472
00:21:44,610 –> 00:21:51,210
مقیاس خواهد شد و سپس ما همچنین باید
473
00:21:51,210 –> 00:21:53,160
یک دسته زیرساخت مرتبط با
474
00:21:53,160 –> 00:21:55,560
این که ما می توانیم دوباره از آن استفاده کنیم و من
475
00:21:55,560 –> 00:22:00,240
در یک دقیقه در مورد آن صحبت خواهم کرد تا همه
476
00:22:00,240 –> 00:22:02,430
چیز در یک محیط خاص زبان اجرا
477
00:22:02,430 –> 00:22:04,800
شود و سپس چالش های زیادی
478
00:22:04,800 –> 00:22:08,760
با ما وجود دارد – برخی از آنها
479
00:22:08,760 –> 00:22:10,890
تقریباً حل کرده ایم و برخی دیگر
480
00:22:10,890 –> 00:22:14,740
هنوز در حال کار روی آنها هستیم. اما یک ایده اساسی این است
481
00:22:14,740 –> 00:22:17,140
که ما باید یک
482
00:22:17,140 –> 00:22:20,289
محیط اجرایی برای این چیزها داشته باشیم، اگر
483
00:22:20,289 –> 00:22:22,659
در مورد اسپارک میدانید، میدانید
484
00:22:22,659 –> 00:22:27,010
که اساساً تماماً مبتنی بر JVM است و
485
00:22:27,010 –> 00:22:29,440
حتی چیزهایی مانند PI spark
486
00:22:29,440 –> 00:22:3