در این مطلب، ویدئو آموزش PySpark | پایتون اسپارک | Intellipaat با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 2:36:26
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:00,000 –> 00:00:02,029
[موسیقی]
2
00:00:02,029 –> 00:00:04,410
سلام همه به جلسه خوش آمدید
3
00:00:04,410 –> 00:00:07,020
خرید در تله پات تمام دنیا یک
4
00:00:07,020 –> 00:00:09,599
مدیریت و مقیاس بندی مشکل داده های بزرگ
5
00:00:09,599 –> 00:00:11,820
این حجم عظیمی از دادهها را که هر کدام میبینیم
6
00:00:11,820 –> 00:00:14,250
یک روز حتی برای اکثر افراد مشکل ساز است
7
00:00:14,250 –> 00:00:16,320
معماران مشهور داده های بزرگ وجود دارد
8
00:00:16,320 –> 00:00:19,199
اما PI SPARC قصد دارد این کار را به راحتی انجام دهد
9
00:00:19,199 –> 00:00:21,119
و در این جلسه یاد میگیریم
10
00:00:21,119 –> 00:00:22,740
دقیقاً که ما سریع خواهیم داشت
11
00:00:22,740 –> 00:00:24,960
معرفی PI SPARC و یادگیری PI
12
00:00:24,960 –> 00:00:27,180
جرقه در عمق در عین حال خوب
13
00:00:27,180 –> 00:00:28,710
قبل از اینکه این جلسه را شروع کنیم
14
00:00:28,710 –> 00:00:30,300
حتما در telepaths مشترک شوید
15
00:00:30,300 –> 00:00:32,040
کانال یوتیوب را بزنید و نماد زنگ را بزنید
16
00:00:32,040 –> 00:00:33,660
به طوری که هرگز به روز رسانی ما را از دست ندهید
17
00:00:33,660 –> 00:00:35,760
بنابراین در اینجا دستور کار برای امروز است
18
00:00:35,760 –> 00:00:37,230
با چک کردن سریع شروع کنید
19
00:00:37,230 –> 00:00:39,540
مقدمه ای بر اسپارک و به دنبال آن
20
00:00:39,540 –> 00:00:41,219
این ما معماری را بررسی می کنیم
21
00:00:41,219 –> 00:00:43,590
و اجزای جرقه بعد از این
22
00:00:43,590 –> 00:00:45,239
ما می توانیم تمام روش های مختلف را بررسی کنیم
23
00:00:45,239 –> 00:00:47,820
استقرار وجود دارد و پس از آن ما می توانیم
24
00:00:47,820 –> 00:00:49,289
همه چیزهایی که باید بدانید را بررسی کنید
25
00:00:49,289 –> 00:00:51,449
در مورد Dedes ما و عملیات
26
00:00:51,449 –> 00:00:53,489
در ارتباط با آنها پس از این ما می توانیم
27
00:00:53,489 –> 00:00:55,230
نصب اسپارک و
28
00:00:55,230 –> 00:00:57,270
برخی از اصول به همراه همان
29
00:00:57,270 –> 00:00:59,579
و بعد از این می توانیم نگاهی گذرا بیندازیم
30
00:00:59,579 –> 00:01:02,010
در نسخه ی نمایشی و نسخه ی نمایشی تعاملی که در آن شما
31
00:01:02,010 –> 00:01:04,260
می توانید با کد و سپس دست خود را دریافت کنید
32
00:01:04,260 –> 00:01:06,689
همزمان یاد بگیرید و بعد از این اگر
33
00:01:06,689 –> 00:01:08,189
بچه ها هر سوالی دارید حتما
34
00:01:08,189 –> 00:01:09,479
به بخش نظرات زیر بروید
35
00:01:09,479 –> 00:01:11,610
و به ما اطلاع دهید و ما خوشحال خواهیم شد
36
00:01:11,610 –> 00:01:13,619
به شما کمک کنم و اگر هستید
37
00:01:13,619 –> 00:01:14,729
به دنبال دوره پایانی
38
00:01:14,729 –> 00:01:17,009
صدور گواهینامه در PI spark در telepath
39
00:01:17,009 –> 00:01:18,810
گواهی PI spark را ارائه می دهد
40
00:01:18,810 –> 00:01:20,670
برنامه آموزشی که در آن می توانید همه چیز را یاد بگیرید
41
00:01:20,670 –> 00:01:22,409
از این مفاهیم به طور کامل و کسب یک
42
00:01:22,409 –> 00:01:24,509
گواهی در عین حال خوب
43
00:01:24,509 –> 00:01:26,070
بدون مقدمه بیشتر بیایید شروع کنیم
44
00:01:26,070 –> 00:01:28,409
کلاس آپاچی اسپارک یکی از بهترین هاست
45
00:01:28,409 –> 00:01:30,420
فریمورک هایی که به طور گسترده مورد استفاده قرار می گیرند
46
00:01:30,420 –> 00:01:32,670
مدیریت و کار با داده های بزرگ در
47
00:01:32,670 –> 00:01:35,430
دست دیگر پایتون یکی از بهترین هاست
48
00:01:35,430 –> 00:01:37,619
زبان برنامه نویسی پرکاربرد برای
49
00:01:37,619 –> 00:01:39,960
یادگیری ماشینی تجزیه و تحلیل داده ها و موارد دیگر
50
00:01:39,960 –> 00:01:43,409
بیشتر از این، چرا آنها را با هم استفاده نکنید
51
00:01:43,409 –> 00:01:45,869
جایی است که پایتون جرقه میزند
52
00:01:45,869 –> 00:01:48,630
همانطور که پارک ادویه وارد تصویر می شود
53
00:01:48,630 –> 00:01:50,299
بیایید با موضوع اول شروع کنیم
54
00:01:50,299 –> 00:01:53,220
مقدمه ای بر PI spark می دانید چیست
55
00:01:53,220 –> 00:01:55,560
میانگین حقوق یک جرقه آپاچی
56
00:01:55,560 –> 00:01:58,799
توسعه دهنده حدود 110000 دلار برای هر است
57
00:01:58,799 –> 00:02:01,590
سالیانه پس شکی نیست که جرقه است
58
00:02:01,590 –> 00:02:05,310
در حال حاضر در صنعت بسیار مورد استفاده قرار می گیرد
59
00:02:05,310 –> 00:02:07,590
به پایتون به دلیل کتابخانه غنی آن
60
00:02:07,590 –> 00:02:09,780
تنظیم کنید که توسط اکثر داده ها استفاده می شود
61
00:02:09,780 –> 00:02:11,990
دانشمندان و کارشناسان تحلیل
62
00:02:11,990 –> 00:02:14,960
امروزه با ترکیب هر دو پایتون و
63
00:02:14,960 –> 00:02:17,500
جرقه یک هدیه بزرگ به جامعه بود
64
00:02:17,500 –> 00:02:20,180
اسپارک در زبان اسکالا توسعه داده شد
65
00:02:20,180 –> 00:02:23,780
که بسیار شبیه جاوا است که آن را کامپایل می کند
66
00:02:23,780 –> 00:02:26,120
برنامه را به کد بایت برای JVM برای
67
00:02:26,120 –> 00:02:28,790
جرقه پردازش داده های بزرگ تا پشتیبانی شود
68
00:02:28,790 –> 00:02:31,130
جرقه با پایتون جرقه آپاچی
69
00:02:31,130 –> 00:02:35,020
پارک ادویه رهاسازی جامعه
70
00:02:35,270 –> 00:02:37,040
پس بچه ها نظر شما در مورد کیک ها چیست؟
71
00:02:37,040 –> 00:02:40,550
هر کسی ایده خشن را به جیب می زند
72
00:02:40,550 –> 00:02:42,830
باشه خوب من فرض می کنم که شما بچه ها
73
00:02:42,830 –> 00:02:44,540
بدانید که این چیزی است که باید
74
00:02:44,540 –> 00:02:46,640
هم با پایتون و هم با
75
00:02:46,640 –> 00:02:49,280
جرقه درست از آنجایی که قبلاً به شما گفته بودم
76
00:02:49,280 –> 00:02:51,410
که پایتون یک منبع باز قدرتمند است
77
00:02:51,410 –> 00:02:53,270
سطح بالا و شی گرا
78
00:02:53,270 –> 00:02:55,310
زبان برنامه نویسی و بله از نظر
79
00:02:55,310 –> 00:02:57,470
نحو آن استفاده از آن بسیار ساده تر است و
80
00:02:57,470 –> 00:02:59,150
در مقایسه با برنامه نویسی های دیگر بخوانید
81
00:02:59,150 –> 00:03:01,340
زبان از سوی دیگر آپاچی
82
00:03:01,340 –> 00:03:03,560
اسپارک یک منبع باز همه منظوره است
83
00:03:03,560 –> 00:03:05,660
موتور محاسبات توزیع شده که است
84
00:03:05,660 –> 00:03:07,670
برای فشار دادن و برخورد با بزرگ استفاده می شود
85
00:03:07,670 –> 00:03:10,220
مقدار داده بنابراین اینجا نقطه PI می آید
86
00:03:10,220 –> 00:03:12,650
این یک همکاری Apache Spark و
87
00:03:12,650 –> 00:03:15,530
پایتون یک API برای اسپارک است که
88
00:03:15,530 –> 00:03:18,200
به راحتی با استفاده از RDD ادغام و کار کنید
89
00:03:18,200 –> 00:03:20,570
کتابخانه پی را برای j نامید، پس به من اجازه دهید
90
00:03:20,570 –> 00:03:23,390
به شما بگو اسپارک یک API است که در آن شما
91
00:03:23,390 –> 00:03:25,370
سادگی پایتون را با
92
00:03:25,370 –> 00:03:27,380
قدرت جرقه آپاچی برای به دست آوردن
93
00:03:27,380 –> 00:03:30,020
کلان داده برای شما که هستید
94
00:03:30,020 –> 00:03:31,910
در حال حاضر با جرقه و
95
00:03:31,910 –> 00:03:34,400
مفهوم rdd برای شما بچه ها شما می توانید
96
00:03:34,400 –> 00:03:36,920
آن را به عنوان یک API پایتون برای جرقه در نظر بگیرید
97
00:03:36,920 –> 00:03:39,860
که به راحتی ادغام می شوند و با RDD کار می کنند
98
00:03:39,860 –> 00:03:42,590
با استفاده از کتابخانه ای به نام pi forging the
99
00:03:42,590 –> 00:03:45,080
پارک ادویه یک پوسته PI Spock را ارائه می دهد
100
00:03:45,080 –> 00:03:48,200
که API پایتون را به جرقه پیوند می دهد
101
00:03:48,200 –> 00:03:51,370
هسته و زمینه جرقه I را مقداردهی اولیه می کند
102
00:03:51,370 –> 00:03:53,959
امیدوارم تا الان یک ایده مختصر داشته باشید
103
00:03:53,959 –> 00:03:56,489
جرقه پی چیست
104
00:03:56,489 –> 00:03:58,370
خیلی خوب
105
00:03:58,370 –> 00:03:59,819
شما
106
00:03:59,819 –> 00:04:02,310
پس بیایید جلو برویم و اجازه دهید به شما بگویم
107
00:04:02,310 –> 00:04:05,310
در مورد برخی از مزایای آن این خواهد شد
108
00:04:05,310 –> 00:04:06,959
به شما کمک می کند تا در مورد چرایی خود بیشتر بدانید
109
00:04:06,959 –> 00:04:10,079
باید از pi spa استفاده کنیم تا بتوانیم ببینیم چگونه
110
00:04:10,079 –> 00:04:12,180
ما ذخیره سازی سریع و قدرتمند در زمان واقعی داریم
111
00:04:12,180 –> 00:04:15,659
استقرار محاسبات و چند زبانه بنابراین
112
00:04:15,659 –> 00:04:17,880
در شماره یک ما سرعت داریم بنابراین زمانی که شما
113
00:04:17,880 –> 00:04:18,839
آن را با سنتی مقایسه کنید
114
00:04:18,839 –> 00:04:20,608
پردازش داده در مقیاس بزرگ آن است
115
00:04:20,608 –> 00:04:23,100
قطعا 100 برابر سریعتر از همه آنها
116
00:04:23,100 –> 00:04:26,759
درست از نظر حافظه کش قدرتمند
117
00:04:26,759 –> 00:04:28,050
جرقه PI به شما قدرتی می دهد
118
00:04:28,050 –> 00:04:29,729
ذخیره سازی با این ماندگاری
119
00:04:29,729 –> 00:04:32,849
قابلیت های سوم ما بلادرنگ داریم
120
00:04:32,849 –> 00:04:35,160
محاسبات به خوبی وجود دارد
121
00:04:35,160 –> 00:04:37,139
داده هایی که باید به صورت واقعی پردازش شوند
122
00:04:37,139 –> 00:04:39,720
وقتشه بذار یه واقعیت رو بهت بگم که میدونی
123
00:04:39,720 –> 00:04:42,810
چیزی که در هر دقیقه حدود 48 ساعت از
124
00:04:42,810 –> 00:04:44,520
ویدیو در حال آپلود در یوتیوب است
125
00:04:44,520 –> 00:04:47,160
توییتر حدود 98 هزار نفر از آن را دریافت می کند
126
00:04:47,160 –> 00:04:50,340
توییت و بیش از 168 میلیون مورد
127
00:04:50,340 –> 00:04:52,979
ایمیل ها هر دقیقه ارسال می شوند
128
00:04:52,979 –> 00:04:56,160
خوب این داده ها به صورت تکه تکه می آیند
129
00:04:56,160 –> 00:04:58,800
از بسیاری از منابع مختلف می تواند باشد
130
00:04:58,800 –> 00:05:00,900
به اشکال مختلف مانند تصاویر کلمات
131
00:05:00,900 –> 00:05:04,470
اعداد و غیره فقط یک اطلاعات سریع در
132
00:05:04,470 –> 00:05:05,669
مورد اگر شما بچه ها به دنبال
133
00:05:05,669 –> 00:05:07,500
صدور گواهینامه دوره پایان به پایان در bi
134
00:05:07,500 –> 00:05:09,840
نقطه در تلهپات جرقه PI را فراهم میکند
135
00:05:09,840 –> 00:05:11,820
برنامه آموزشی صدور گواهینامه که در آن شما
136
00:05:11,820 –> 00:05:13,320
می تواند همه این مفاهیم را یاد بگیرد
137
00:05:13,320 –> 00:05:15,330
به طور کامل و یا گواهی در
138
00:05:15,330 –> 00:05:17,130
در همان زمان لینک در داده شده است
139
00:05:17,130 –> 00:05:18,870
جعبه توضیحات زیر، بنابراین مطمئن شوید
140
00:05:18,870 –> 00:05:20,940
آن را بررسی کنید و در آن یادداشت بیایید دریافت کنیم
141
00:05:20,940 –> 00:05:22,860
بازگشت به کلاس بنابراین توییتر بسیار است
142
00:05:22,860 –> 00:05:24,539
مثال خوبی از آنچه در حال تولید است
143
00:05:24,539 –> 00:05:26,789
و بلادرنگ ما نیز وب سایت هایی داریم
144
00:05:26,789 –> 00:05:29,550
که در آن آمار مانند تعداد بازدیدکنندگان است
145
00:05:29,550 –> 00:05:32,220
بازدید از صفحه و غیره در حال تولید است
146
00:05:32,220 –> 00:05:34,770
در زمان واقعی داده های زیادی وجود دارد و
147
00:05:34,770 –> 00:05:37,590
آنها مفید نیستند و شکل خام آنها ما است
148
00:05:37,590 –> 00:05:39,840
باید آن را پردازش و استخراج و استناد کرد
149
00:05:39,840 –> 00:05:41,880
از آن تا مفیدتر شود
150
00:05:41,880 –> 00:05:44,849
به ما درست است، بنابراین این جایی است که نقطه
151
00:05:44,849 –> 00:05:47,250
جریان به تصویر می آید
152
00:05:47,250 –> 00:05:48,840
فوق العاده خوب در پردازش
153
00:05:48,840 –> 00:05:52,320
داده های بلادرنگ و بسیار مقیاس پذیر است
154
00:05:52,320 –> 00:05:54,570
می تواند حجم عظیمی از داده ها را در آن پردازش کند
155
00:05:54,570 –> 00:05:56,849
زمان واقعی بدون رد شدن از همه چیز
156
00:05:56,849 –> 00:05:57,320
درست
157
00:05:57,320 –> 00:05:59,789
ویژگی بعدی ما می توانیم در اینجا به عنوان مشاهده کنید
158
00:05:59,789 –> 00:06:02,370
به خوبی استقرار شما می توانید PI SPARC را مستقر کنید
159
00:06:02,370 –> 00:06:04,710
از طریق خانم Hadoop یا حتی از طریق
160
00:06:04,710 –> 00:06:08,789
خوشه منطقه جرقه همه درست بعد ما
161
00:06:08,789 –> 00:06:11,250
داشتن چند زبانی است خوب به سادگی به این معنی است
162
00:06:11,250 –> 00:06:13,830
که از چندین زبان مانند پشتیبانی می کند
163
00:06:13,830 –> 00:06:17,009
peyten جاوا و اسکالا آن اساسا
164
00:06:17,009 –> 00:06:19,110
پوسته و اسکالا را در پایتون فراهم می کند
165
00:06:19,110 –> 00:06:20,490
که می توانید از طریق بن به آن دسترسی داشته باشید
166
00:06:20,490 –> 00:06:22,530
پوشه Scala و همچنین
167
00:06:22,530 –> 00:06:25,940
پایتون باشه
168
00:06:29,469 –> 00:06:32,169
ممکن است یک سوال در ذهن شما ایجاد شود
169
00:06:32,169 –> 00:06:34,479
وضعیت آندروود باید از پایتون استفاده کنم
170
00:06:34,479 –> 00:06:37,239
یا با چه سناریویی باید بروم
171
00:06:37,239 –> 00:06:41,589
Scala یا Java یا همه چیز خوب است، اجازه دهید من
172
00:06:41,589 –> 00:06:44,229
به شما بگویم پرکاربردترین برنامه نویسی
173
00:06:44,229 –> 00:06:46,749
زبان با جرقه پایتون و اسکالا
174
00:06:46,749 –> 00:06:49,659
خیلی خوب پس اگر می خواهید همین حالا
175
00:06:49,659 –> 00:06:52,119
در این آموزش PI spark را یاد بگیرید
176
00:06:52,119 –> 00:06:54,909
مهم است که باید بدانید چرا و
177
00:06:54,909 –> 00:06:57,759
چه زمانی به جای استفاده از اسپارک با پایتون
178
00:06:57,759 –> 00:07:00,729
جرقه با اسکالا، پس اجازه دهید فقط مقایسه کنم
179
00:07:00,729 –> 00:07:02,829
پایتون و جرقه با برخی پارامترها
180
00:07:02,829 –> 00:07:04,869
این کار را برای شما روشن تر می کند
181
00:07:04,869 –> 00:07:07,169
تصميم گرفتن
182
00:07:07,500 –> 00:07:10,020
بنابراین اولین پارامترهای سرعت عملکرد
183
00:07:10,020 –> 00:07:12,660
پایتون نسبتاً کندتر از
184
00:07:12,660 –> 00:07:14,940
Scala زمانی که با spud اما استفاده می شود
185
00:07:14,940 –> 00:07:16,920
برنامه نویسان می توانند کارهای بیشتری با پایتون انجام دهند
186
00:07:16,920 –> 00:07:19,020
نسبت به اسکالا به دلیل رابط کاربری آسان آن
187
00:07:19,020 –> 00:07:22,200
که از طرف دیگر SPARC را فراهم می کند
188
00:07:22,200 –> 00:07:24,630
در اسکالا نوشته شده است بنابراین یکپارچه می شود
189
00:07:24,630 –> 00:07:27,090
بسیار خوب با اسکالا که آن را سریعتر می کند
190
00:07:27,090 –> 00:07:31,110
بهتر است از پایتون پس بعدی که داریم این است
191
00:07:31,110 –> 00:07:33,960
یادگیری Co Python به دلیل آن شناخته شده است
192
00:07:33,960 –> 00:07:35,910
نحو آسان و سطح بالا بودن
193
00:07:35,910 –> 00:07:38,070
زبان یادگیری را آسان تر می کند
194
00:07:38,070 –> 00:07:41,160
در حالی که Scala دارای یک کمان در نحو است که
195
00:07:41,160 –> 00:07:43,080
یادگیری را سخت می کند اما زمانی که به دست بیاورید
196
00:07:43,080 –> 00:07:45,300
با نگه داشتن آن خواهید دید که آن را دارد
197
00:07:45,300 –> 00:07:48,480
به نفع خود تمام حق بعدی داده است
198
00:07:48,480 –> 00:07:51,630
کتابخانه علمی پایتون از مولتی پشتیبانی می کند
199
00:07:51,630 –> 00:07:52,860
علم داده و یادگیری ماشین
200
00:07:52,860 –> 00:07:56,010
کتابخانه ها اما از سوی دیگر اسکالا
201
00:07:56,010 –> 00:07:58,200
فاقد کتابخانه علم داده مناسب و
202
00:07:58,200 –> 00:08:00,690
اسکالا دو طرفه محلی مناسب ندارد
203
00:08:00,690 –> 00:08:04,800
ابزار و تجسم در نهایت خوب است
204
00:08:04,800 –> 00:08:06,990
آخرین پارامتر پیچیدگی است بنابراین
205
00:08:06,990 –> 00:08:10,860
python api ساده و در عین حال آسان و
206
00:08:10,860 –> 00:08:13,830
رابط جامع در حالی که در
207
00:08:13,830 –> 00:08:16,140
دیگر نحو اسکالا و واقعیت
208
00:08:16,140 –> 00:08:18,180
که به صورت پرمخاطب خروجی تولید می کند
209
00:08:18,180 –> 00:08:20,430
به همین دلیل است که آن را یک مجتمع در نظر می گیرند
210
00:08:20,430 –> 00:08:23,490
زبان امیدوارم که همه چیز رو به راه باشد
211
00:08:23,490 –> 00:08:26,150
برای شما واضح تر
212
00:08:26,620 –> 00:08:28,960
بنابراین قبل از اینکه عمیق تر به PI شیرجه بزنیم
213
00:08:28,960 –> 00:08:31,120
مفهوم Spock اجازه دهید در مورد چگونگی به شما بگویم
214
00:08:31,120 –> 00:08:33,610
غول های بزرگ فناوری مانند Yahoo TripAdvisor
215
00:08:33,610 –> 00:08:36,549
علی بابا و دیگر شرکت های بزرگ چندملیتی هستند
216
00:08:36,549 –> 00:08:38,020
استفاده از اسپارک پی برای آنها
217
00:08:38,020 –> 00:08:40,870
خوب یاهو برای خود از اسپارک آپاچی استفاده می کند
218
00:08:40,870 –> 00:08:42,730
قابلیت های یادگیری ماشین به
219
00:08:42,730 –> 00:08:45,040
اخبار و صفحات وب آن را شخصی کنید و
220
00:08:45,040 –> 00:08:47,550
همچنین برای هدف گذاری تبلیغات و
221
00:08:47,550 –> 00:08:51,130
همچنین برای تبلیغات هدف استفاده می کنند
222
00:08:51,130 –> 00:08:54,190
درخشش پایتون برای پیدا کردن چه نوع
223
00:08:54,190 –> 00:08:56,610
کاربران اخبار علاقه مند به مطالعه و
224
00:08:56,610 –> 00:08:59,110
طبقه بندی اخبار برای پیدا کردن
225
00:08:59,110 –> 00:09:01,690
چه نوع کاربری علاقه مند است
226
00:09:01,690 –> 00:09:05,110
خواندن هر دسته از اخبار بعدی است
227
00:09:05,110 –> 00:09:08,290
Trip Advisor به خوبی از Trip Advisor استفاده می کند
228
00:09:08,290 –> 00:09:10,390
یک مکان مهمانی برای ارائه مشاوره
229
00:09:10,390 –> 00:09:12,490
میلیون ها مسافر با مقایسه
230
00:09:12,490 –> 00:09:14,260
صدها وب سایت برای پیدا کردن بهترین
231
00:09:14,260 –> 00:09:17,080
قیمت کل برای مشتری خود در زمان
232
00:09:17,080 –> 00:09:19,150
برای خواندن و پردازش بررسی ها گرفته شده است
233
00:09:19,150 –> 00:09:21,340
هتل در قالب خوانا انجام شده است
234
00:09:21,340 –> 00:09:23,230
با کمک اسپارک آپاچی
235
00:09:23,230 –> 00:09:26,200
خوب بیایید در مورد علی بابا بحث کنیم
236
00:09:26,200 –> 00:09:29,230
خوب علی بابا، حدس میزنم اکثر شما دارید
237
00:09:29,230 –> 00:09:31,390
شنیده در مورد آن درست یکی از
238
00:09:31,390 –> 00:09:33,490
بزرگترین پلتفرم تجارت الکترونیک جهان و
239
00:09:33,490 –> 00:09:35,800
برخی از بزرگترین جرقه های آپاچی را اجرا می کند
240
00:09:35,800 –> 00:09:37,840
مشاغل در جهان به منظور تجزیه و تحلیل
241
00:09:37,840 –> 00:09:39,760
صدها پتابایت داده روی آن است
242
00:09:39,760 –> 00:09:42,910
پلتفرم تجارت الکترونیک خوب است بنابراین حدس میزنم
243
00:09:42,910 –> 00:09:45,880
اکنون می دانید که جرقه PI چگونه است
244
00:09:45,880 –> 00:09:49,180
به درستی در صنعت استفاده می شود
245
00:09:49,180 –> 00:09:50,490
قبل از ادامه دادن
246
00:09:50,490 –> 00:09:54,130
تا اینجا کسی شک دارد اگر بله
247
00:09:54,130 –> 00:09:55,690
لطفا آن را به نظر اضافه کنید
248
00:09:55,690 –> 00:09:57,370
بخش زیر و ما سعی خواهیم کرد پاسخ دهیم
249
00:09:57,370 –> 00:10:00,210
آنها را در اولین فرصت
250
00:10:02,550 –> 00:10:05,190
سوما است اگر شما یک بیننده تلفن همراه دریافت کنید
251
00:10:05,190 –> 00:10:06,840
آماده با لپ تاپ شما به دلیل در حال حاضر ما
252
00:10:06,840 –> 00:10:09,240
قسمت نصب را ادامه دهید تا
253
00:10:09,240 –> 00:10:11,750
بیایید pi spark را در سیستم شما نصب کنیم
254
00:10:11,750 –> 00:10:14,760
فقط برای اینکه آن را واقعی نگه دارید فقط در صورت شما
255
00:10:14,760 –> 00:10:17,070
گیر کرده اند شما نصب بسیاری پیدا خواهید کرد
256
00:10:17,070 –> 00:10:18,420
به آنجا در اینترنت مراجعه کنید
257
00:10:18,420 –> 00:10:20,340
که فقط می توانید پیش بروید و به آن مراجعه کنید
258
00:10:20,340 –> 00:10:23,820
و بچه ها در این نصب کنید
259
00:10:23,820 –> 00:10:25,290
آموزش من به شما یاد خواهم داد که چگونه
260
00:10:25,290 –> 00:10:27,060
می تواند pi spark را روی ویندوز شما نصب کند
261
00:10:27,060 –> 00:10:30,240
اگر لینوکس ما هستید، ماشین خوب است
262
00:10:30,240 –> 00:10:32,640
کاربر یا آدرس ایمیل شما در زیر و من
263
00:10:32,640 –> 00:10:34,230
مرحله نصب برای هوا را برای شما ارسال می کند
264
00:10:34,230 –> 00:10:36,000
شما فقط می توانید آن را دنبال کنید و آن را نصب کنید
265
00:10:36,000 –> 00:10:37,710
ماشین شما
266
00:10:37,710 –> 00:10:40,560
درست قبل از اینکه واقعاً ادامه دهیم
267
00:10:40,560 –> 00:10:42,390
با قسمت نصب وجود دارد
268
00:10:42,390 –> 00:10:44,670
برخی از پیش نیازهای مورد نیاز برای جرقه پی
269
00:10:44,670 –> 00:10:47,430
نصبی که باید آن را بدانید تا به عنوان یک
270
00:10:47,430 –> 00:10:49,320
بخشی از پیش نیاز شما باید داشته باشید
271
00:10:49,320 –> 00:10:50,880
نوت بوک ژاپنی روی دستگاه شما نصب شده است
272
00:10:50,880 –> 00:10:54,300
و شما باید یک نسخه به روز شده داشته باشید
273
00:10:54,300 –> 00:10:58,649
جاوا خوب است پس بیایید باز کنیم
274
00:10:58,649 –> 00:11:02,640
google.com و فقط برای دانلود جستجو کنید
275
00:11:02,640 –> 00:11:05,090
آبگرم PI
276
00:11:05,090 –> 00:11:07,250
خوب من فرض می کنم که شما بچه ها دارید
277
00:11:07,250 –> 00:11:08,870
پیش نیازی برای این کار نصب کرده است
278
00:11:08,870 –> 00:11:11,870
جلسه بنابراین ادامه به جلو اجازه دهید
279
00:11:11,870 –> 00:11:14,510
جرقه را دانلود کنید
280
00:11:14,510 –> 00:11:17,480
فقط گوگل آن را دانلود کنید جرقه بسیار
281
00:11:17,480 –> 00:11:19,700
اولین پیوندی که به عنوان آپاچی دریافت می کنیم
282
00:11:19,700 –> 00:11:22,520
درخشان فقط روی آنجا کلیک کنید و آن را
283
00:11:22,520 –> 00:11:24,440
شما را به اسپارک آپاچی هدایت می کند
284
00:11:24,440 –> 00:11:26,670
سایت اینترنتی
285
00:11:26,670 –> 00:11:29,310
همانطور که در اینجا می توانید جرقه را ببینید
286
00:11:29,310 –> 00:11:32,370
نسخه 2.4 در نوامبر بسیار است
287
00:11:32,370 –> 00:11:35,370
جدید و نوع بسته ای که من هستم
288
00:11:35,370 –> 00:11:37,980
انتخاب به عنوان از پیش ساخته شده برای Apache Hadoop
289
00:11:37,980 –> 00:11:40,800
2.7 به بعد گزینه های دیگری دارید
290
00:11:40,800 –> 00:11:43,700
در اینجا موجود است
291
00:11:44,520 –> 00:11:46,620
بنابراین من از پیش ساخته شده برای آپاچی را انتخاب می کنم
292
00:11:46,620 –> 00:11:48,240
Hadoop 2.7 و بالاتر
293
00:11:48,240 –> 00:11:51,300
و در نهایت کاری که من انجام خواهم داد فقط کلیک می کنم
294
00:11:51,300 –> 00:11:54,120
از طریق لینک دانلود در اینجا انجام خواهد شد
295
00:11:54,120 –> 00:11:56,190
من را به صفحه دیگری هدایت کنید که در آن من
296
00:11:56,190 –> 00:11:58,770
می توانید اینجا را ببینید که یک پیوند آینه ای است
297
00:11:58,770 –> 00:12:00,900
برای من فقط روی آن کلیک می کنم و من
298
00:12:00,900 –> 00:12:03,270
دانلود شروع می شود فکر می کنم یک است
299
00:12:03,270 –> 00:12:07,590
فایل بسیار بزرگ است، بنابراین ممکن است آگهی بله
300
00:12:07,590 –> 00:12:09,360
این یک فایل بسیار بزرگ است فقط مطمئن شوید
301
00:12:09,360 –> 00:12:10,680
که اینترنت خیلی خوبی دارید
302
00:12:10,680 –> 00:12:12,780
اتصال اگر آن را برای دانلود می کنید
303
00:12:12,780 –> 00:12:14,670
اکنون من این را لغو می کنم همانطور که قبلاً انجام داده ام
304
00:12:14,670 –> 00:12:16,980
این فایل را دانلود کردم پس بیایید آن را لغو کنیم
305
00:12:16,980 –> 00:12:18,870
اجازه بدهید فقط به شما نشان دهم که کجا دارم
306
00:12:18,870 –> 00:12:24,320
دانلود کردم دانلودها من این فایل را دارم
307
00:12:24,320 –> 00:12:29,790
SPARC 2.4 benhaddou 2.7 من فقط یک را دوست دارم
308
00:12:29,790 –> 00:12:31,590
اطلاعات سریع در صورتی که شما بچه ها هستید
309
00:12:31,590 –> 00:12:32,700
به دنبال دوره پایانی
310
00:12:32,700 –> 00:12:35,100
گواهی خرید در تله پات
311
00:12:35,100 –> 00:12:37,020
گواهی PI spark را ارائه می دهد
312
00:12:37,020 –> 00:12:38,940
برنامه آموزشی که در آن می توانید همه چیز را یاد بگیرید
313
00:12:38,940 –> 00:12:40,950
از این مفاهیم به طور کامل و یا
314
00:12:40,950 –> 00:12:43,020
گواهی در همان زمان لینک است
315
00:12:43,020 –> 00:12:44,760
در کادر توضیحات زیر داده شده است
316
00:12:44,760 –> 00:12:46,530
مطمئن شوید که آن را بررسی کنید و در مورد آن
317
00:12:46,530 –> 00:12:48,840
توجه داشته باشید بیایید فقط به کلاس برگردیم
318
00:12:48,840 –> 00:12:53,270
فایل های استخراج آن را از حالت فشرده خارج کنید
319
00:12:54,190 –> 00:12:57,320
حالا بیایید شروع کنیم
320
00:12:57,320 –> 00:13:00,880
فقط مبارزه را شروع کن
321
00:13:01,280 –> 00:13:05,140
فایل هایی که من آلدوس استخراج کردم
322
00:13:05,140 –> 00:13:08,650
آن را در جایی ذخیره کنید، مثلاً در داخل
323
00:13:08,650 –> 00:13:10,950
د
324
00:13:12,370 –> 00:13:15,939
خوب تا زمانی که آن را ذخیره کند
325
00:13:15,939 –> 00:13:19,139
فقط CMD خود را باز کنید
326
00:13:19,139 –> 00:13:21,199
شما
327
00:13:21,980 –> 00:13:24,200
بنابراین گام بعدی ما ویرایش ما خواهد بود
328
00:13:24,200 –> 00:13:26,030
متغیر محیطی پس بیایید ایجاد کنیم
329
00:13:26,030 –> 00:13:27,770
برخی از متغیرهای محیطی با استفاده از مجموعه
330
00:13:27,770 –> 00:13:30,280
دستور X
331
00:13:36,000 –> 00:13:39,600
اولین متغیر من Underscore پارک است
332
00:13:39,600 –> 00:13:42,090
خانه
333
00:13:42,090 –> 00:13:45,060
و بعد از آن مسیر را مشخص می کنم
334
00:13:45,060 –> 00:13:48,410
فایل اسپارک من
335
00:13:49,750 –> 00:13:58,800
بنابراین بخشی وجود دارد که اجازه دهید آن را بچسبانیم
336
00:14:00,880 –> 00:14:05,170
خوب بعد من به محیط دیگری نیاز دارم
337
00:14:05,170 –> 00:14:08,579
متغیر به عنوان Hadoop تحت محدوده
338
00:14:10,430 –> 00:14:13,880
سپس دوباره مسیر فایل را مشخص کنید
339
00:14:13,880 –> 00:14:15,410
یک تونتو
340
00:14:15,410 –> 00:14:18,950
اکنون انجام شده است زیرا می خواهم PI خود را راه اندازی کنم
341
00:14:18,950 –> 00:14:20,870
پوسته اسپاک و دفترچه یادداشت مشتری بنابراین من
342
00:14:20,870 –> 00:14:23,000
باید دو پارامتر دیگر را تعریف کنیم
343
00:14:23,000 –> 00:14:25,880
در اینجا PI spark driver Python و PI Spock
344
00:14:25,880 –> 00:14:28,910
درایور پایتون OPD ها کاملاً درست است
345
00:14:28,910 –> 00:14:30,800
به من کمک کن تا پوسته پای اسپاک را باز کنم و
346
00:14:30,800 –> 00:14:35,470
تراشه در یک نوت بوک، بنابراین من می نویسم گفت X
347
00:14:35,700 –> 00:14:40,670
توسط درایور زیر خط جرقه
348
00:14:43,090 –> 00:14:49,240
زیر خط باتوم و گاز می گیرم
349
00:14:50,980 –> 00:14:56,140
Enter done را بزنید و پارامتر بعدی من است
350
00:14:56,140 –> 00:14:59,130
استاتیک
351
00:14:59,170 –> 00:15:04,790
vice Park underscore evil underscore
352
00:15:04,790 –> 00:15:13,000
Pythian بر OPD های دفترچه یادداشت ما تاکید می کند
353
00:15:14,940 –> 00:15:19,860
آنها متوقف نمی شوند، بیایید این را ببندیم
354
00:15:19,860 –> 00:15:22,860
ترمینال حالا بیایید یک دستور جدید باز کنیم
355
00:15:22,860 –> 00:15:25,560
خط اعلان اکنون اولین وظیفه من خواهد بود
356
00:15:25,560 –> 00:15:28,380
به درستی به این پوشه bin هدایت شوید
357
00:15:28,380 –> 00:15:32,340
بنابراین این مسیری است که آن را به آن کپی می کند
358
00:15:32,340 –> 00:15:36,300
فضای سی دی دایرکتوری D می خواهم به آن بپردازم
359
00:15:36,300 –> 00:15:39,400
تا زمانی که
360
00:15:39,400 –> 00:15:42,600
پس آره پس مسیر من هست هی تونتو
361
00:15:42,600 –> 00:15:46,150
الان نبودم قدم بعدی من خواهد بود
362
00:15:46,150 –> 00:15:48,700
برای اجرای pi spark با دستور PI
363
00:15:48,700 –> 00:15:51,089
جرقه
364
00:15:56,700 –> 00:16:00,580
من از یک پارامتر اصلی برای تنظیم استفاده خواهم کرد
365
00:16:00,580 –> 00:16:03,210
گره توده
366
00:16:03,830 –> 00:16:07,430
و از آنجایی که من می خواهم برای محلی دوره کنم
367
00:16:07,430 –> 00:16:10,660
تست کردن، بنابراین من مستر محلی را مشخص می کنم
368
00:16:10,660 –> 00:16:13,970
انسان به دلیل نیاز به سر و بیرون
369
00:16:13,970 –> 00:16:16,340
بنابراین آنچه را که انجام خواهد داد در اینجا باز می شود
370
00:16:16,340 –> 00:16:19,670
نوت بوک jupiter در میزبان محلی من پس بله
371
00:16:19,670 –> 00:16:21,680
ما با موفقیت pi spark را نصب کردیم
372
00:16:21,680 –> 00:16:24,140
در صورت مواجهه با دستگاه ما روی دستگاه ما
373
00:16:24,140 –> 00:16:25,850
کفش های زیر دستور خطا را صادر کرد
374
00:16:25,850 –> 00:16:28,010
پیامی که شما دریافت کردید و من سعی خواهم کرد
375
00:16:28,010 –> 00:16:31,930
آن را برای شما حل کنید خوب پس فعلا فقط
376
00:16:31,930 –> 00:16:35,420
بر روی گزینه new python 3 کلیک کنید و این کار انجام خواهد شد
377
00:16:35,420 –> 00:16:37,650
برگه ما را باز کنید
378
00:16:37,650 –> 00:16:39,540
جایی که می توانید جرقه PI خود را بنویسید یا
379
00:16:39,540 –> 00:16:43,770
هالی پس این دفترچه یادداشت جپتو است
380
00:16:43,770 –> 00:16:46,170
با پایتون 3 که در آن من خواهم نوشت
381
00:16:46,170 –> 00:16:47,430
میزبان جرقه PI
382
00:16:47,430 –> 00:16:49,920
بسیار خوب پس اکنون زمانی است که ما
383
00:16:49,920 –> 00:16:51,810
با اصول اولیه شروع کنید و یاد بگیرید
384
00:16:51,810 –> 00:16:54,360
نقطه PI بنابراین اکنون نصب است
385
00:16:54,360 –> 00:16:56,130
کامل است، بنابراین فکر می کنم باید ادامه دهیم
386
00:16:56,130 –> 00:16:59,690
با اصول آبگرم PI
387
00:17:00,460 –> 00:17:03,310
بنابراین به عنوان بخشی از اصول پی جرقه است
388
00:17:03,310 –> 00:17:06,400
ما فضای پارک را روی فایل اسپارک داریم
389
00:17:06,400 –> 00:17:10,510
چارچوب داده rdd و MLM بنابراین ما شروع می کنیم
390
00:17:10,510 –> 00:17:13,569
با بافت آبگرم خوب، یک دروازه ورودی است
391
00:17:13,569 –> 00:17:15,809
برای هر کاربرد مشتق جرقه یا
392
00:17:15,809 –> 00:17:19,420
عملکرد جزئیات صحنه دقیقاً چیست
393
00:17:19,420 –> 00:17:21,630
این
394
00:17:22,180 –> 00:17:25,060
بنابراین هنگامی که ما هر برنامه spark را اجرا می کنیم a
395
00:17:25,060 –> 00:17:27,700
برنامه درایور شروع می شود که دارای اصلی است
396
00:17:27,700 –> 00:17:29,740
تابع و زمینه آبگرم شما می شود
397
00:17:29,740 –> 00:17:32,860
سپس برنامه تایر را در اینجا آغاز کرد
398
00:17:32,860 –> 00:17:35,050
عملیات را در داخل مجری ها اجرا می کند
399
00:17:35,050 –> 00:17:37,420
روی گره های کارگر
400
00:17:37,420 –> 00:17:41,020
حالا ادویه پارک که از pi 4j این استفاده می کند
401
00:17:41,020 –> 00:17:44,080
pi 4j اجرای برنامه پایتون را فعال می کند
402
00:17:44,080 –> 00:17:46,570
در یک مفسر پایتون به صورت پویا
403
00:17:46,570 –> 00:17:49,120
دسترسی به شی جاوا در یک جاوا مجازی
404
00:17:49,120 –> 00:17:52,810
ماشین و ایجاد زمینه جرقه جاوا توسط
405
00:17:52,810 –> 00:17:55,270
جرقه پیش فرض PI دارای زمینه جرقه است
406
00:17:55,270 –> 00:17:58,570
در دسترس به عنوان SC بنابراین ایجاد یک جرقه جدید
407
00:17:58,570 –> 00:18:03,110
زمینه در اینجا به خوبی کار نخواهد کرد
408
00:18:03,110 –> 00:18:06,249
بیایید به جلو حرکت کنیم
409
00:18:07,990 –> 00:18:09,520
بنابراین در اینجا برخی از پارامترها وجود دارد
410
00:18:09,520 –> 00:18:13,120
مربوط به زمینه جرقه ما استاد داریم
411
00:18:13,120 –> 00:18:15,340
اپلیکیشنی به نام Spock homes here eliezer
412
00:18:15,340 –> 00:18:18,880
محیط فایل های گیت وی Corn Pie JSC
413
00:18:18,880 –> 00:18:23,170
اندازه خفاش پروفایلر CLS در میان همه اینها
414
00:18:23,170 –> 00:18:25,690
تنها نام یک برنامه استاد است
415
00:18:25,690 –> 00:18:28,480
که من اغلب برای این کار استفاده کردم
416
00:18:28,480 –> 00:18:30,820
آموزش ما فقط بر روی دو مورد از آنها تمرکز خواهیم کرد
417
00:18:30,820 –> 00:18:33,160
Master نشان دهنده URL از
418
00:18:33,160 –> 00:18:35,320
خوشه آن را به جایی که به عنوان برنامه متصل می شود
419
00:18:35,320 –> 00:18:37,270
نام چیزی نیست جز نام شغل شما
420
00:18:37,270 –> 00:18:40,530
اجازه دهید این را با یک مثال به شما نشان دهم
421
00:18:40,530 –> 00:18:44,370
بیایید تراشه خود را در یک نوت بوک باز کنیم
422
00:18:44,370 –> 00:18:48,150
بنابراین بیایید یک کد PI Spock بسیار سریع بنویسیم
423
00:18:48,150 –> 00:18:54,090
از PI آبگرم مهم است
424
00:18:55,320 –> 00:18:59,690
من زمینه را تشخیص می دهم
425
00:18:59,730 –> 00:19:05,240
بسیار خوب و بعد ما یک SC را به عنوان تعریف می کنیم
426
00:19:05,240 –> 00:19:08,750
زمینه آبگرم
427
00:19:08,750 –> 00:19:11,780
و در داخل این اولین پارامتر من خواهد بود
428
00:19:11,780 –> 00:19:17,870
آدرس اینترنتی من محلی و بعدی من باشد
429
00:19:17,870 –> 00:19:20,410
پارامتر است
430
00:19:20,470 –> 00:19:24,450
نام درخواست من
431
00:19:24,690 –> 00:19:30,869
هر چیزی شبیه من را محدود می کند
432
00:19:32,830 –> 00:19:34,780
بنابراین من حدس می زنم که ما یک خطای مشابه دریافت می کنیم
433
00:19:34,780 –> 00:19:37,710
نمی تواند زمینه آبگرم چندگانه پیشرفته را اجرا کند
434
00:19:37,710 –> 00:19:40,420
بسیار خوب، بنابراین شما می توانید آن را حل کنید
435
00:19:40,420 –> 00:19:45,000
نوشتن نقطه SC خوب است
436
00:19:45,000 –> 00:19:49,290
اینتر را بزنید و دوباره آن را بارگذاری کنیم
437
00:19:49,290 –> 00:19:51,430
یک بار دیگر اعدام شد بله
438
00:19:51,430 –> 00:19:54,190
بنابراین همانطور که در اینجا می بینید خطای من از بین رفته است
439
00:19:54,190 –> 00:19:58,360
و دستور به خوبی اجرا می شود
440
00:19:58,360 –> 00:20:00,790
کاری که من در اینجا انجام دادم، URL را تعریف کردم
441
00:20:00,790 –> 00:20:01,840
و نام برنامه
442
00:20:01,840 –> 00:20:04,570
اکنون این پارامتر قابل تغییر نیست
443
00:20:04,570 –> 00:20:08,170
در طول برنامه بسیار خوب است
444
00:20:08,170 –> 00:20:10,750
خوب این همه چیز در مورد جرقه بود
445
00:20:10,750 –> 00:20:11,559
متن نوشته
446
00:20:11,559 –> 00:20:14,740
بنابراین در حال حرکت به جلو بیایید یک PI دیگر را ببینیم
447
00:20:14,740 –> 00:20:17,700
جرقه اساسی
448
00:20:18,210 –> 00:20:20,909
سونا پی جرقه اصولگرای بعدی ما
449
00:20:20,909 –> 00:20:23,909
این پاپ کورن به خوبی به آن عادت کرده است
450
00:20:23,909 –> 00:20:25,769
یک پیکربندی برای اجرای اسپارک ارائه دهید
451
00:20:25,769 –> 00:20:29,980
کاربرد در ماشین یا خوشه محلی
452
00:20:29,980 –> 00:20:34,500
بنابراین جرقه دقیقا در چه چیزی است
453
00:20:34,600 –> 00:20:36,850
خوب برای اجرای یک برنامه spark بر روی a
454
00:20:36,850 –> 00:20:39,700
محلی یا خوشه ای که باید تنظیم کنید
455
00:20:39,700 –> 00:20:41,909
چند پیکربندی و پارامتر و
456
00:20:41,909 –> 00:20:44,649
اینجاست که اسپارکین به تصویر کشیده می شود
457
00:20:44,649 –> 00:20:46,929
پیکربندی برای اجرای a را فراهم می کند
458
00:20:46,929 –> 00:20:49,899
نرم افزار جرقه در ابتدا آنچه ما انجام می دهیم
459
00:20:49,899 –> 00:20:53,380
ما یک جرقه روی جسم با جرقه ایجاد می کنیم
460
00:20:53,380 –> 00:20:56,470
تابع conf که مقادیر را بارگذاری می کند
461
00:20:56,470 –> 00:20:58,720
از جرقه اکنون می توانید متفاوت تنظیم کنید
462
00:20:58,720 –> 00:21:01,269
پارامترها با استفاده از جرقه روی جسم و
463
00:21:01,269 –> 00:21:04,649
هنگامی که پارامتر را تنظیم کردید
464
00:21:06,950 –> 00:21:11,049
سی دقیقه نیم قوس
465
00:21:14,910 –> 00:21:17,880
در ابتدا یک جرقه روی شی ایجاد می کنیم
466
00:21:17,880 –> 00:21:20,820
با جرقه conf که بارگذاری می شود
467
00:21:20,820 –> 00:21:24,690
مقادیر اولیه از جرقه و پس از تنظیم
468
00:21:24,690 –> 00:21:26,970
پارامترهای آنها را در اولویت قرار خواهیم داد
469
00:21:26,970 –> 00:21:31,510
بیش از خواص سیستم oli
470
00:21:31,510 –> 00:21:34,340
به یاد داشته باشید یک بار از جرقه عبور کردیم
471
00:21:34,340 –> 00:21:36,529
شی پیکربندی به یک حزب اسپا آن
472
00:21:36,529 –> 00:21:39,440
توسط هیچ کاربری نمی توان آن را تغییر داد بنابراین آن را نمی توان تغییر داد
473
00:21:39,440 –> 00:21:42,669
تغییرناپذیر می شود
474
00:21:43,460 –> 00:21:47,270
بنابراین ما مجموعه استاد راه اندازی را به نام تنظیم کرده ایم
475
00:21:47,270 –> 00:21:51,290
Set spark home را به خوبی دریافت کنید
476
00:21:51,290 –> 00:21:53,690
بنابراین set از آن برای تنظیم استفاده می شود
477
00:21:53,690 –> 00:21:56,420
ویژگی پیکربندی که دو مورد را مشخص می کنید
478
00:21:56,420 –> 00:21:58,480
پارامترها در اینجا کلید و یک مقدار
479
00:21:58,480 –> 00:22:02,120
خوب در set master شما را مشخص کنید
480
00:22:02,120 –> 00:22:05,420
URL اصلی و نام راه اندازی که شما تنظیم کرده اید
481
00:22:05,420 –> 00:22:08,210
نام برنامه در نهایت وجود دارد I get
482
00:22:08,210 –> 00:22:10,130
get برای دریافت پیکربندی استفاده می شود
483
00:22:10,130 –> 00:22:12,560
ارزش کلید و پیدا کردن شما وجود دارد
484
00:22:12,560 –> 00:22:14,780
خانه اسپارک را تنظیم کنید که برای تنظیم آن استفاده می شود
485
00:22:14,780 –> 00:22:17,780
مسیر نصب spark اجازه بدهید به شما نشان دهم
486
00:22:17,780 –> 00:22:19,340
این با مثالی که این باید بسازد
487
00:22:19,340 –> 00:22:21,950
درک همه چیز برای شما آسان تر است
488
00:22:21,950 –> 00:22:26,300
درست است پس بیایید جلو برویم خیلی خوب پس
489
00:22:26,300 –> 00:22:30,670
بیایید به تراشه خود در یک نوت بوک بپریم
490
00:22:31,419 –> 00:22:34,599
پس بیایید فایل پیکربندی خود را تعریف کنیم
491
00:22:34,599 –> 00:22:39,119
برای این من از PI Spock استفاده خواهم کرد
492
00:22:40,850 –> 00:22:45,510
تابلوی دات کانف
493
00:22:45,510 –> 00:22:49,220
پیکربندی جرقه
494
00:22:50,050 –> 00:22:54,430
منظورم بعدی است
495
00:22:54,430 –> 00:22:58,150
از جرقه واردات زمینه جرقه PI
496
00:22:58,150 –> 00:23:00,720
متن نوشته
497
00:23:05,299 –> 00:23:07,360
شما
498
00:23:10,100 –> 00:23:12,890
بعد از آن چه خواهم کرد انجام خواهم داد
499
00:23:12,890 –> 00:23:17,690
یک متغیر conf تعریف کنید و در آن خواهم کرد
500
00:23:17,690 –> 00:23:21,970
تابع پیکربندی من را تعریف کنید
501
00:23:25,640 –> 00:23:32,390
. من نام برنامه را به عنوان تنظیم شده تنظیم می کنم
502
00:23:32,390 –> 00:23:35,670
نام من را بریزید
503
00:23:35,670 –> 00:23:40,160
من آن را به عنوان ادویه پشتیبان آنها نام بردم
504
00:23:44,630 –> 00:23:46,600
شما
505
00:23:46,600 –> 00:23:51,029
و من استاد را تنظیم می کنم
506
00:23:55,850 –> 00:24:04,230
به عنوان محلی به خوب
507
00:24:04,230 –> 00:24:06,090
حالا اجازه دهید به شما نشان دهم که چگونه این دروازه
508
00:24:06,090 –> 00:24:09,990
تابع از زمانی که من تعریف کردم کار می کند
509
00:24:09,990 –> 00:24:13,350
متغییر conf بنابراین من دقیقاً از قبل
510
00:24:13,350 –> 00:24:16,680
نقطه conf داخل آن مقدار my است
511
00:24:16,680 –> 00:24:22,610
ارزش چیزی است که استاد نقطه
512
00:24:25,750 –> 00:24:30,040
استاد جرقه پس آنچه که آن را انجام خواهد داد
513
00:24:30,040 –> 00:24:31,630
URL اصلی را که دارم به من بدهید
514
00:24:31,630 –> 00:24:33,520
قبلا گفته شده است
515
00:24:33,520 –> 00:24:37,830
خوب بیایید وارد شوید
516
00:24:39,090 –> 00:24:42,090
همانطور که می بینید ما URL را به عنوان محلی دریافت کردیم
517
00:24:42,090 –> 00:24:44,639
خوب از آنجایی که من قبلا تنظیم کرده ام
518
00:24:44,639 –> 00:24:49,590
URL عضله به عنوان محلی – حالا اگر بخواهم چه می شود
519
00:24:49,590 –> 00:24:52,710
برای بررسی نام برنامه من بنابراین پیکربندی
520
00:24:52,710 –> 00:24:55,850
نقطه دریافت کنید
521
00:24:58,940 –> 00:25:04,490
زانو نقطه به بالا
522
00:25:04,490 –> 00:25:08,660
و اینتر را بزنید تا برنامه اسپارک من
523
00:25:08,660 –> 00:25:12,050
هدف توسط جرقه من فقط یک اطلاعات سریع بود
524
00:25:12,050 –> 00:25:13,520
در صورتی که شما بچه ها به دنبال
525
00:25:13,520 –> 00:25:15,350
گواهینامه دوره پایان به پایان در خرید
526
00:25:15,350 –> 00:25:17,690
نقطه در تلهپات جرقه PI را فراهم میکند
527
00:25:17,690 –> 00:25:19,670
برنامه آموزشی صدور گواهینامه که در آن شما
528
00:25:19,670 –> 00:25:21,170
می تواند همه این مفاهیم را یاد بگیرد
529
00:25:21,170 –> 00:25:23,180
به طور کامل و یا گواهی در
530
00:25:23,180 –> 00:25:24,980
در همان زمان لینک در داده شده است
531
00:25:24,980 –> 00:25:26,630
جعبه توضیحات زیر، بنابراین مطمئن شوید
532
00:25:26,630 –> 00:25:28,790
آن را بررسی کنید و در آن یادداشت بیایید دریافت کنیم
533
00:25:28,790 –> 00:25:31,580
به کلاس برمی گردم خیلی خب پس من
534
00:25:31,580 –> 00:25:35,030
حدس می زنم ما می توانیم به جلو حرکت کنیم تا در مرحله بعدی
535
00:25:35,030 –> 00:25:36,680
جرقه PI اساسی ما این است
536
00:25:36,680 –> 00:25:40,010
فایل spark فایل spark که در آن کمک می کند
537
00:25:40,010 –> 00:25:42,020
انحلال مسیر فایل ها به
538
00:25:42,020 –> 00:25:44,350
جرقه
539
00:25:45,590 –> 00:25:48,500
خوب پس این جرقه دقیقا چیست
540
00:25:48,500 –> 00:25:50,240
بجنگ اول اجازه بده بهت بگم چیه
541
00:25:50,240 –> 00:25:53,300
بنابراین هر زمان که مجبور شدید فایل خود را آپلود کنید
542
00:25:53,300 –> 00:25:55,400
در اسپارک آپاچی می توانید با استفاده از آن آپلود کنید
543
00:25:55,400 –> 00:25:58,670
نقطه SE فایل را اضافه کنید که در آن s شماست
544
00:25:58,670 –> 00:26:01,970
زمینه پیشفرض جرقه را به خوبی به خاطر بسپارید
545
00:26:01,970 –> 00:26:05,210
و هر زمان که بخواهید آن را بازیابی کنید
546
00:26:05,210 –> 00:26:07,880
مسیر روی یک کارگر که می توانید با استفاده از آن دریافت کنید
547
00:26:07,880 –> 00:26:10,880
این فایل جرقه شروع به دریافت جرقه
548
00:26:10,880 –> 00:26:13,130
فایل ها برای حل کردن مسیر استفاده می شود
549
00:26:13,130 –> 00:26:15,680
فایل از طریق شروع زمینه جرقه اضافه شد
550
00:26:15,680 –> 00:26:18,010
اضافه کردن فایل باشه
551
00:26:18,010 –> 00:26:20,860
حالا بیایید در مورد روش کلاس آن صحبت کنیم
552
00:26:20,860 –> 00:26:23,690
فایل spark شامل دو نوع کلاس است
553
00:26:23,690 –> 00:26:27,440
روش get و get root directory get است
554
00:26:27,440 –> 00:26:29,420
برای بدست آوردن مسیر آن فایل که
555
00:26:29,420 –> 00:26:31,460
از طریق نقطه زمینه جرقه اضافه می شود
556
00:26:31,460 –> 00:26:33,950
فایل را اضافه کنید و مستقیماً تابع رشد کنید
557
00:26:33,950 –> 00:26:35,780
برای بدست آوردن مسیر ریشه استفاده می شود
558
00:26:35,780 –> 00:26:38,350
دایرکتوری اضافه شده از طریق فایل افزودن نقطه SC
559
00:26:38,350 –> 00:26:42,530
خوب اجازه دهید همه چیز را روشن تر کنم
560
00:26:42,530 –> 00:26:45,800
نسخه ی نمایشی بسیار خوب است، پس بیایید آن را بررسی کنیم
561
00:26:45,800 –> 00:26:49,879
نسخه ی نمایشی برای فایل های Spock از PI spark
562
00:26:49,879 –> 00:26:56,759
فایل های spark را به خوبی از PI وارد کنید
563
00:26:56,759 –> 00:26:59,179
جرقه
564
00:26:59,370 –> 00:27:02,840
میخوام وارد کنم
565
00:27:03,090 –> 00:27:07,020
زمینه جرقه
566
00:27:07,020 –> 00:27:11,659
بعد کاری که انجام خواهم داد مسیرم را مشخص می کنم اما
567
00:27:11,659 –> 00:27:17,610
برابر با s dot v dot join و کنار آن
568
00:27:17,610 –> 00:27:20,760
من مسیر و فایل را تعریف می کنم
569
00:27:20,760 –> 00:27:28,070
مسیر است بنابراین مسیر این تی جرقه زمانی است
570
00:27:28,070 –> 00:27:31,409
پس این راه من و نام من است
571
00:27:31,409 –> 00:27:34,070
فایل است
572
00:27:35,560 –> 00:27:39,220
هنوز و نام فایل است
573
00:27:39,220 –> 00:27:41,350
ثروت پنج دو برابر صفر دو صفر یک
574
00:27:41,350 –> 00:27:44,410
هفت تا زنگ می زنند از آنجایی که من باید خودم را پیدا کنم
575
00:27:44,410 –> 00:27:47,230
مسیر، بنابراین قدم بعدی من اضافه کردن آن خواهد بود
576
00:27:47,230 –> 00:27:53,050
مبارزه کنید تا نقطه SC فایل را از کجا اضافه کنید
577
00:27:53,050 –> 00:27:54,760
این مسیری که قبلا ذکر کردم
578
00:27:54,760 –> 00:27:58,800
همیشه حالا اجازه دهید اینتر را بزنید
579
00:28:06,179 –> 00:28:08,240
شما
580
00:28:10,250 –> 00:28:16,640
خوب پس بله الان خوب اجرا شد
581
00:28:16,640 –> 00:28:21,309
بیایید دایرکتوری ریشه آن را بررسی کنیم
582
00:28:22,820 –> 00:28:25,669
این یکی دیگر از ماست بیایید بررسی کنیم
583
00:28:25,669 –> 00:28:32,510
به طور مستقیم فایل ها را نقطه دریافت کنید
584
00:28:32,510 –> 00:28:34,950
فهرست فلش
585
00:28:34,950 –> 00:28:39,190
متناهی ببینیم
586
00:28:39,190 –> 00:28:42,480
بنابراین دایرکتوری ریشه من کاملاً درست است
587
00:28:42,480 –> 00:28:45,340
بنابراین در حال حرکت به جلو و ادویه پارک
588
00:28:45,340 –> 00:28:47,650
اصول ما باید DS خود را به خوبی
589
00:28:47,650 –> 00:28:49,270
یک مفهوم بسیار مهم وجود دارد که
590
00:28:49,270 –> 00:28:51,190
شما باید یاد بگیرید یا دوست داشته باشید مخفف آن است
591
00:28:51,190 –> 00:28:54,010
مجموعه داده های توزیع شده انعطاف پذیر و به عنوان یک
592
00:28:54,010 –> 00:28:55,810
سنگ بنای هر جرقه
593
00:28:55,810 –> 00:28:58,530
کاربرد
594
00:28:59,340 –> 00:29:02,460
بنابراین DD r D D ما مخفف چیست
595
00:29:02,460 –> 00:29:05,220
انعطاف پذیر مجموعه داده های توزیع شده انعطاف پذیر
596
00:29:05,220 –> 00:29:07,620
گویی اطلاعات موجود در حافظه از بین رفته است
597
00:29:07,620 –> 00:29:10,320
نمی توان آن را بازیابی کرد که تقصیر آن است
598
00:29:10,320 –> 00:29:13,320
رفتار متحمل بعدی توزیع می شود
599
00:29:13,320 –> 00:29:15,960
داده ها cheong به پارتیشن و
600
00:29:15,960 –> 00:29:18,620
ذخیره شده در حافظه در سراسر خوشه و
601
00:29:18,620 –> 00:29:21,389
در نهایت آن مجموعه داده است که به عنوان
602
00:29:21,389 –> 00:29:23,549
داده های اولیه می تواند از یک فایل یا آن باشد
603
00:29:23,549 –> 00:29:28,820
می توان با استفاده از برنامه خوب ایجاد کرد
604
00:29:31,000 –> 00:29:33,520
بنابراین در مرحله بعدی انواع عملیات را داریم
605
00:29:33,520 –> 00:29:35,409
چاه روزانه ما دو نوع داریم
606
00:29:35,409 –> 00:29:37,990
عملیات و RDD یکی تبدیل است
607
00:29:37,990 –> 00:29:40,270
و دیگر عمل است بیایید در مورد آنها را ببینید
608
00:29:40,270 –> 00:29:42,720
در جزئیات
609
00:29:42,880 –> 00:29:45,610
پس تبدیل یک چاه RDD چیست
610
00:29:45,610 –> 00:29:47,860
این Spock تبدیل DD هستند
611
00:29:47,860 –> 00:29:50,260
تابعی که DD ما را به عنوان ورودی گرفته است
612
00:29:50,260 –> 00:29:52,600
و یکی از بسیاری از موارد عجیب و غریب را ایجاد می کند
613
00:29:52,600 –> 00:29:55,900
آلفا که ورودی ما را تغییر نمی دهند
614
00:29:55,900 –> 00:29:58,510
DD از آنجایی که قبلاً به شما گفته بودم که ما
615
00:29:58,510 –> 00:30:00,730
ددها تغییر ناپذیرند و از این رو شما نمی توانید
616
00:30:00,730 –> 00:30:03,760
آن را تغییر دهند تا کاری که انجام می دهند همیشه باشند
617
00:30:03,760 –> 00:30:06,340
با اعمال یک یا چند rdd تولید کنید
618
00:30:06,340 –> 00:30:08,380
محاسباتی که برای آن نشان می دهند
619
00:30:08,380 –> 00:30:10,870
به عنوان مثال فیلتر خرابی با کی کاهش می یابد
620
00:30:10,870 –> 00:30:13,930
و غیره این تحولات تنبل هستند
621
00:30:13,930 –> 00:30:17,200
عملیات بر روی RDD در اسپای آپاچی آن
622
00:30:17,200 –> 00:30:19,570
یکی از بسیاری از rdd های جدید را ایجاد می کند که
623
00:30:19,570 –> 00:30:21,490
زمانی که عملی رخ می دهد اجرا می شود
624
00:30:21,490 –> 00:30:24,430
بنابراین تبدیل یک داده جدید ایجاد می کند
625
00:30:24,430 –> 00:30:27,230
مجموعه از یک موجود
626
00:30:27,230 –> 00:30:29,750
تحولات خاص می تواند خط لوله باشد
627
00:30:29,750 –> 00:30:32,210
که یک روش بهینه سازی است که
628
00:30:32,210 –> 00:30:34,399
استفاده از جرقه برای بهبود عملکرد
629
00:30:34,399 –> 00:30:36,650
محاسبه
630
00:30:36,650 –> 00:30:41,200
بعد عملیات عمل می آید
631
00:30:41,360 –> 00:30:43,850
یک اکشن و نقطه فینال را برمی گرداند
632
00:30:43,850 –> 00:30:46,250
نتیجه محاسبات DD ما آن است
633
00:30:46,250 –> 00:30:48,620
اجرا را با استفاده از lineage آغاز می کند
634
00:30:48,620 –> 00:30:51,080
پیش نویس برای بارگیری داده ها در ما اصلی
635
00:30:51,080 –> 00:30:53,900
DD اگر من تمام متوسط را انجام دهم
636
00:30:53,900 –> 00:30:56,360
تبدیل و بازگشت نتیجه نهایی
637
00:30:56,360 –> 00:30:58,670
به برنامه درایور یا نوشتن آن در
638
00:30:58,670 –> 00:31:01,640
سیستم فایل نمودار اصل و نسب است
639
00:31:01,640 –> 00:31:03,920
وابستگی همه rddهای موازی
640
00:31:03,920 –> 00:31:07,730
اقدام روزانه ما عملیات DD ما
641
00:31:07,730 –> 00:31:10,160
که تولید غیر ما DD ارزش آنها
642
00:31:10,160 –> 00:31:12,590
یک مقدار را در یک برنامه اسپارک محقق کنید
643
00:31:12,590 –> 00:31:15,350
اقدام یکی از راه های ارسال است
644
00:31:15,350 –> 00:31:19,130
نتیجه از مجریان به رانندگان اگر
645
00:31:19,130 –> 00:31:20,840
تو عملکردی که بخشی از آن است
646
00:31:20,840 –> 00:31:24,040
مانند اولین برداشت کاهش جمع و غیره
647
00:31:24,040 –> 00:31:27,919
بسیار خوب پس با استفاده از تبدیل حتی
648
00:31:27,919 –> 00:31:30,020
DD خود را از یک موجود اما ایجاد کنید
649
00:31:30,020 –> 00:31:32,150
زمانی که باید با واقعی کار کنید
650
00:31:32,150 –> 00:31:34,370
مجموعه داده در آن نقطه شما باید استفاده کنید
651
00:31:34,370 –> 00:31:38,030
عمل به یاد داشته باشید زمانی که عمل رخ می دهد
652
00:31:38,030 –> 00:31:39,740
جدید یا DD like ایجاد نمی کند
653
00:31:39,740 –> 00:31:42,530
دگرگونی بنابراین عمل DD ما
654
00:31:42,530 –> 00:31:44,799
عملیاتی که مقادیر DD ما را میداند
655
00:31:44,799 –> 00:31:48,200
اما به نوبه خود آنچه را انجام می دهد ذخیره می کند
656
00:31:48,200 –> 00:31:50,570
ارزش درایور یا خارجی
657
00:31:50,570 –> 00:31:52,669
سیستم منبع در نتیجه تنبلی را به همراه دارد
658
00:31:52,669 –> 00:31:56,169
از DD ما به حرکت است
659
00:31:56,299 –> 00:31:58,489
خوب اینجا یک تصویر خلاصه برای شماست
660
00:31:58,489 –> 00:32:00,229
همانطور که هنگام درخواست می بینید
661
00:32:00,229 –> 00:32:02,209
عملیات تبدیل مانند ریاضی
662
00:32:02,209 –> 00:32:04,879
فیلتر مرتب سازی بر اساس و یا هر چیزی که آن را
663
00:32:04,879 –> 00:32:07,999
آیا یک RTD جدید ایجاد می کند در حالی که در
664
00:32:07,999 –> 00:32:09,469
از طرف دیگر زمانی که باید اجرا کنید
665
00:32:09,469 –> 00:32:13,309
اقداماتی مانند استفاده از First Take و غیره سپس
666
00:32:13,309 –> 00:32:15,609
RTD موجود شما به عنوان یک فایل ذخیره می شود
667
00:32:15,609 –> 00:32:19,249
خوب پس من فکر می کنم شما بچه ها ممکن است یک
668
00:32:19,249 –> 00:32:21,289
سوال در ذهن مانند آه وقتی شما بچه ها
669
00:32:21,289 –> 00:32:25,999
باید از DD ما به خوبی در اینجا استفاده کنید
670
00:32:25,999 –> 00:32:28,039
برخی از سناریوهایی که تحت آن قرار داریم
671
00:32:28,039 –> 00:32:31,719
rdd ترجیحاً استفاده می شود
672
00:32:31,920 –> 00:32:34,799
اول داده های بدون ساختار است که شما
673
00:32:34,799 –> 00:32:36,840
داده ها بدون ساختار هستند به عنوان مثال در مورد
674
00:32:36,840 –> 00:32:39,600
یک جریان رسانه ای یا جریانی از متن شما
675
00:32:39,600 –> 00:32:43,559
می توانید از RDP استفاده کنید دوم طرحواره خوبی نیست
676
00:32:43,559 –> 00:32:44,970
این موردی است که شما اهمیتی نمی دهید
677
00:32:44,970 –> 00:32:46,799
در مورد تحمیل طرحواره مانند الف
678
00:32:46,799 –> 00:32:48,750
ستون در قالب یا در حین پردازش
679
00:32:48,750 –> 00:32:51,540
یا دسترسی به ویژگی های داده با نام
680
00:32:51,540 –> 00:32:55,049
ستون خوب بعدی داده است
681
00:32:55,049 –> 00:32:57,540
دستکاری که شما می خواهید
682
00:32:57,540 –> 00:32:59,160
داده های خود را با عملکردی دستکاری کنید
683
00:32:59,160 –> 00:33:00,390
ساخت برنامه نویسی که
684
00:33:00,390 –> 00:33:03,690
عبارات خاص دامنه و در نهایت
685
00:33:03,690 –> 00:33:05,400
ما تحول سطح پایین را داریم
686
00:33:05,400 –> 00:33:07,770
که همانطور که می خواهید سطح پایین
687
00:33:07,770 –> 00:33:09,419
تحول و عمل و کنترل
688
00:33:09,419 –> 00:33:12,120
مجموعه داده های شما خوب است پس اینها هستند
689
00:33:12,120 –> 00:33:14,100
سناریوهایی که تحت آنها می توانید از ما استفاده کنید
690
00:33:14,100 –> 00:33:16,429
معاملات
691
00:33:16,790 –> 00:33:19,190
بنابراین بعد در جرقه PI اساسا ما
692
00:33:19,190 –> 00:33:21,440
دارای چارچوب داده است، بنابراین همه چیز در مورد این بود
693
00:33:21,440 –> 00:33:24,530
RTD اگر شک دارید دریغ نکنید
694
00:33:24,530 –> 00:33:26,630
و آنها را در بخش نظرات اضافه کنید
695
00:33:26,630 –> 00:33:28,400
زیر آن برای شما مفید خواهد بود
696
00:33:28,400 –> 00:33:31,270
و همچنین برای سایر زبان آموزان بسیار خوب است
697
00:33:31,270 –> 00:33:33,740
بنابراین در بسته ادویه بعدی اساسا
698
00:33:33,740 –> 00:33:36,410
ما باید قاب داده قاب داده است
699
00:33:36,410 –> 00:33:38,720
کلمه رایج در صنعت امروزه مردم
700
00:33:38,720 –> 00:33:40,430
تمایل به استفاده از آن با بسیاری از محبوب است
701
00:33:40,430 –> 00:33:42,470
زبان های مورد استفاده برای تجزیه و تحلیل داده ها مانند
702
00:33:42,470 –> 00:33:45,740
Python Scala و R پس چرا اینطور است
703
00:33:45,740 –> 00:33:47,330
همه از آن بسیار استفاده می کنند
704
00:33:47,330 –> 00:33:50,180
چارچوب داده چاه عموماً به a اشاره دارد
705
00:33:50,180 –> 00:33:52,070
ساختار داده که به صورت جدولی است
706
00:33:52,070 –> 00:33:54,980
طبیعت آن ردیف هایی را نشان می دهد که هر کدام از آنها
707
00:33:54,980 –> 00:33:56,830
شامل تعدادی مشاهدات است
708
00:33:56,830 –> 00:33:59,810
سطرها می توانند فرمت داده های مختلفی داشته باشند
709
00:33:59,810 –> 00:34:01,940
که می تواند ناهمگن باشد در حالی که a
710
00:34:01,940 –> 00:34:04,070
ستون می تواند همان نوع داده را داشته باشد
711
00:34:04,070 –> 00:34:07,520
نوع که قاب داده همگن است
712
00:34:07,520 –> 00:34:09,649
معمولا حاوی برخی فراداده است
713
00:34:09,649 –> 00:34:11,929
علاوه بر داده ها به عنوان مثال
714
00:34:11,929 –> 00:34:14,870
ستون و نام ردیف خوب است شما می توانید بگویید
715
00:34:14,870 –> 00:34:16,760
که فریم های داده چیزی جز
716
00:34:16,760 –> 00:34:18,739
ساختار داده های دو بعدی مشابه است
717
00:34:18,739 –> 00:34:22,070
به یک جدول SQL یا به یک صفحه گسترده جریمه
718
00:34:22,070 –> 00:34:24,739
امیدوارم چارچوب داده برای شما واضح باشد
719
00:34:24,739 –> 00:34:27,739
بچه ها خیلی جلو می رویم و ما به پایان می رسیم
720
00:34:27,739 –> 00:34:30,729
MLM داشته باشید
721
00:34:30,840 –> 00:34:33,449
MLM یک API یادگیری ماشینی اسپارک است
722
00:34:33,449 –> 00:34:35,280
که به نوبه خود از ماشین های مختلف پشتیبانی می کند
723
00:34:35,280 –> 00:34:38,150
الگوریتم یادگیری
724
00:34:38,659 –> 00:34:41,179
این یک کتابخانه یادگیری ماشینی است
725
00:34:41,179 –> 00:34:43,070
ارائه شده توسط یک قطعه خرید برای ساخت
726
00:34:43,070 –> 00:34:46,449
یادگیری ماشین مقیاس پذیر و آسان است
727
00:34:46,449 –> 00:34:48,399
آن را فراهم می کند stewey های مختلف برای یک ماشین
728
00:34:48,399 –> 00:34:50,139
ایجاد ویژگی الگوریتم یادگیری
729
00:34:50,139 –> 00:34:53,679
دوام خطوط لوله در برخی از خدمات شهری
730
00:34:53,679 –> 00:34:55,059
الگوریتم یادگیری ماشین که عبارتند از a
731
00:34:55,059 –> 00:34:57,510
بخشی از رگرسیون طبقه بندی
732
00:34:57,510 –> 00:34:59,849
خوشه بندی فیلتر مشارکتی
733
00:34:59,849 –> 00:35:02,440
کاهش ابعاد و دیگران
734
00:35:02,440 –> 00:35:05,680
به طور مشابه به عنوان بخشی از ویژگی سازی
735
00:35:05,680 –> 00:35:07,420
استخراج ویژگی دارند
736
00:35:07,420 –> 00:35:09,510
تبدیل و انتخاب و
737
00:35:09,510 –> 00:35:12,220
خط لوله آنها ابزاری برای آن دارند
738
00:35:12,220 –> 00:35:14,440
ساخت ارزیابی و تنظیم
739
00:35:14,440 –> 00:35:17,680
خطوط لوله یادگیری ماشین مانند جرقه
740
00:35:17,680 –> 00:35:20,559
هسته جزء حیاتی جرقه را تشکیل می دهد
741
00:35:20,559 –> 00:35:22,240
جایی که با بقیه صحبت می کند
742
00:35:22,240 –> 00:35:24,369
ماژول ها را برای ما در چک نگه می دارد
743
00:35:24,369 –> 00:35:26,079
ماژول های فرعی دیگری که می دانید دارید
744
00:35:26,079 –> 00:35:28,240
جرقه SQL جریان جرقه خود را دارید
745
00:35:28,240 –> 00:35:30,010
MLM fit کتابخانه یادگیری ماشین است
746
00:35:30,010 –> 00:35:32,020
سپس گرافیکی دارید که برای آن استفاده می شود
747
00:35:32,020 –> 00:35:33,790
پردازش گراف و شما دوباره می دانید
748
00:35:33,790 –> 00:35:36,160
استریم برای پخش زنده و SQL است
749
00:35:36,160 –> 00:35:38,680
اجرای مامان بدون ساختار است
750
00:35:38,680 –> 00:35:41,140
دسترسی به داده و داده پردازش داده
751
00:35:41,140 –> 00:35:43,569
دستکاری و همچنین به طوری که همه از
752
00:35:43,569 –> 00:35:46,059
این زیر یک چتر خاص
753
00:35:46,059 –> 00:35:48,010
ما هسته جرقه داریم همانطور که قبلا داشتم
754
00:35:48,010 –> 00:35:49,720
ذکر این اشکال شما می دانید
755
00:35:49,720 –> 00:35:52,059
پایه موتور جرقه بچه ها پس ما
756
00:35:52,059 –> 00:35:53,500
هسته جرقه همانطور که قبلاً آن را می شناسیم
757
00:35:53,500 –> 00:35:55,240
شامل تمام موارد اولیه است
758
00:35:55,240 –> 00:35:57,250
قابلیت های جرقه درست بنابراین ما
759
00:35:57,250 –> 00:35:58,960
چیزهای زیادی داریم که داریم
760
00:35:58,960 –> 00:36:01,000
نیاز به بررسی بازیابی خطا دارد
761
00:36:01,000 –> 00:36:03,400
مدیریت حافظه شما نیاز به کار دارید
762
00:36:03,400 –> 00:36:04,750
برنامه ریزی و سپس شما نیاز دارید
763
00:36:04,750 –> 00:36:07,660
الگوریتم هایی که می دانید وظایف زیادی وجود دارد
764
00:36:07,660 –> 00:36:09,339
الگوریتم های زمان بندی که اول و
765
00:36:09,339 –> 00:36:11,829
اول از همه دور رابین هستند
766
00:36:11,829 –> 00:36:13,450
الگوریتم های زیادی درست است، بنابراین شما نیاز دارید
767
00:36:13,450 –> 00:36:15,010
چیزی که باید دائماً با آن در ارتباط بود
768
00:36:15,010 –> 00:36:16,960
و شما می دانید که آن را خوانا کنید
769
00:36:16,960 –> 00:36:19,150
هم برای برنامه و هم برای کاربر به عنوان
770
00:36:19,150 –> 00:36:21,910
خوب دوباره همانطور که قبلاً وارد شده اید
771
00:36:21,910 –> 00:36:24,069
مفاهیم حلقه انتزاع اشکال a
772
00:36:24,069 –> 00:36:26,290
بخش عمده ای از یادگیری ما درست است
773
00:36:26,290 –> 00:36:28,540
دوباره مفهوم اصلی انتزاع در اینجا
774
00:36:28,540 –> 00:36:31,059
زیرا هسته جرقه چیزی به نام است
775
00:36:31,059 –> 00:36:33,490
بچه های rdd من مطمئن نیستم که آیا شما بچه ها هستید
776
00:36:33,490 –> 00:36:35,440
آشنا با ددهای ما اگر هستند
777
00:36:35,440 –> 00:36:37,000
شما نگران نباشید من پیاده روی خواهم کرد
778
00:36:37,000 –> 00:36:39,760
شما بچه ها با جزئیات در مورد آن و
779
00:36:39,760 –> 00:36:42,099
همان ماژول و در اصل یک داده است
780
00:36:42,099 –> 00:36:44,410
واحد اما به هر حال آن را بررسی خواهد کرد
781
00:36:44,410 –> 00:36:46,059
ماشین بعدی چند اسلاید تا
782
00:36:46,059 –> 00:36:48,700
دوباره بله جرقه هسته فراهم می کند آه من می دانم
783
00:36:48,700 –> 00:36:50,200
بسیاری از API ها برنامه هستند
784
00:36:50,200 –> 00:36:52,960
رابط های برنامه نویسی پردازش یا
785
00:36:52,960 –> 00:36:54,910
پردازش داده های ساخت یافته بسیار زیبا است
786
00:36:54,910 –> 00:36:56,980
بسیار آسان است اما در مورد کار کردن با
787
00:36:56,980 –> 00:36:59,260
داده های بدون ساختار غیرممکن نیست
788
00:36:59,260 –> 00:37:00,049
شخص
789
00:37:00,049 –> 00:37:01,429
اما پس از آن در پایان روز اگر آن را
790
00:37:01,429 –> 00:37:02,959
بدون ساختار در مورد آن درست فکر کنید
791
00:37:02,959 –> 00:37:04,400
ساختاریافته بود بدون ساختار است
792
00:37:04,400 –> 00:37:06,140
به عنوان مثال بیایید همین الان بالای سرم باشم
793
00:37:06,140 –> 00:37:08,989
تمام شده است شما می دانید که یک اتاق خواب تمیز خوب دارید
794
00:37:08,989 –> 00:37:10,819
و اتاق نشیمن در مقابل یک اتاق بسیار کهنه
795
00:37:10,819 –> 00:37:12,170
اتاقی که همه چیز خود را در آن انداخته اید
796
00:37:12,170 –> 00:37:13,699
لباس می پوشد و سپس شما در یک
797
00:37:13,699 –> 00:37:15,289
عجله کن لباست را بردارید
798
00:37:15,289 –> 00:37:17,539
نمی دانم کجا به آن نگاه می کنی
799
00:37:17,539 –> 00:37:19,849
به طور مشابه، این دوباره داده های بدون ساختار است
800
00:37:19,849 –> 00:37:21,410
اکنون جزء بعدی شما خواهد بود
801
00:37:21,410 –> 00:37:24,650
مشاوره جرقه SQL دوباره جرقه ما است
802
00:37:24,650 –> 00:37:27,410
SQL در حال حاضر api و ما را در اختیار ما قرار می دهد
803
00:37:27,410 –> 00:37:28,880
از قبل می دانیم که می توانیم با ساختار یافته کار کنیم
804
00:37:28,880 –> 00:37:31,969
داده ها با استفاده از SQL و دوباره افرادی که دارند
805
00:37:31,969 –> 00:37:34,189
یک پسزمینه معتبر SQL و افرادی که
806
00:37:34,189 –> 00:37:35,859
برای مدت طولانی روی آن کار کرده اند
807
00:37:35,859 –> 00:37:38,359
سپس تقریباً می توان از SQL استفاده کرد
808
00:37:38,359 –> 00:37:40,670
دستورات با شما می دانید که با آنها صحبت کنید
809
00:37:40,670 –> 00:37:42,949
SPARC و در مورد پرس و جو در آنها
810
00:37:42,949 –> 00:37:45,289
زبان و جمع آوری داده ها را بلد هستید
811
00:37:45,289 –> 00:37:48,140
دستکاری و ذخیره سازی داده ها نیز همینطور
812
00:37:48,140 –> 00:37:51,049
دوباره با SPARC SQL بچه ها بسیاری وجود دارد
813
00:37:51,049 –> 00:37:53,179
منابع داده ای که می توانید به درستی یا
814
00:37:53,179 –> 00:37:55,219
معمولا در اکثر مواقع تمام داده ها
815
00:37:55,219 –> 00:37:57,709
مجموعه ها تقریباً فایل های CSV و دوباره هستند
816
00:37:57,709 –> 00:37:59,660
ما جستارهای JSON داریم که می توانیم آن ها را مطرح کنیم
817
00:37:59,660 –> 00:38:02,150
و ما می توانیم درخواست داشته باشیم و اکنون می توانیم
818
00:38:02,150 –> 00:38:04,279
می دانید با استفاده از داده های زیادی جمع آوری کنید
819
00:38:04,279 –> 00:38:06,920
که همچنین پس از آن اگر پرک بخور یا v5 با
820
00:38:06,920 –> 00:38:09,589
کاساندرا و بچه ها داده های زیادی وجود دارد
821
00:38:09,589 –> 00:38:11,959
منابع بسیاری از شما انتزاع را می شناسید
822
00:38:11,959 –> 00:38:13,729
ابزارهایی که می توانیم به جمع آوری داده ها ادامه دهیم
823
00:38:13,729 –> 00:38:16,219
در آن است آن را به خواسته ما درست است
824
00:38:16,219 –> 00:38:17,539
تقریباً این چیزی است که من می خواستم
825
00:38:17,539 –> 00:38:20,479
انتقال شما و با SQL آن را واقعا می سازد
826
00:38:20,479 –> 00:38:22,249
آن را آسان و سپس اگر شما در حال حاضر می دانید چگونه
827
00:38:22,249 –> 00:38:24,559
می توانید با SQL برنامه نویسی کنید
828
00:38:24,559 –> 00:38:26,089
زندگی شما را آسان تر می کند زیرا
829
00:38:26,089 –> 00:38:28,579
همه شما را برای استفاده از API آماده می کند
830
00:38:28,579 –> 00:38:30,799
با جرقه کار کنید و در مرحله بعدی ما آن را داریم
831
00:38:30,799 –> 00:38:32,660
تست موتور جریان سازی هزینه جرقه
832
00:38:32,660 –> 00:38:34,939
بنابراین این اساساً برای ما فراهم می کند
833
00:38:34,939 –> 00:38:38,150
تأخیر واقعاً کم است و می دانید بالا
834
00:38:38,150 –> 00:38:40,849
جریان با کیفیت بنابراین اساسا ما نیاز داریم
835
00:38:40,849 –> 00:38:42,380
ابزارهای پردازش را می خواهید
836
00:38:42,380 –> 00:38:44,599
به ما این نتیجه را درست می دهد، بنابراین جرقه
837
00:38:44,599 –> 00:38:46,640
جریان دوباره EPS دارد که بسیار زیباست
838
00:38:46,640 –> 00:38:48,949
دسترسی سریع به ما بسیار امکان پذیر است
839
00:38:48,949 –> 00:38:51,859
و بیشتر از همه دوباره پوشش خواهیم داد
840
00:38:51,859 –> 00:38:53,569
یک ماژول کامل در مورد جریان
841
00:38:53,569 –> 00:38:55,759
در مورد عمق ما نگران نباشید، اما بله
842
00:38:55,759 –> 00:38:57,140
در این لحظه من از تو چه می خواهم
843
00:38:57,140 –> 00:38:59,420
بچه ها برای دانستن این است که به شما سریع است
844
00:38:59,420 –> 00:39:01,489
ایده ای از نحوه عملکرد آن اساساً
845
00:39:01,489 –> 00:39:03,589
تمام جریان های داده ورودی زنده را دریافت می کند
846
00:39:03,589 –> 00:39:05,299
جریان پیوسته داده نیز درست است
847
00:39:05,299 –> 00:39:07,429
برای رسیدگی به این داده های خاص
848
00:39:07,429 –> 00:39:09,349
جریان جرقه معمولا در مورد چه چیزی است
849
00:39:09,349 –> 00:39:11,390
انجام این کار تقریباً همه را تقسیم می کند
850
00:39:11,390 –> 00:39:12,080
این داده ها
851
00:39:12,080 –> 00:39:15,020
به برخی از قطعات کوچک و یا یا ما
852
00:39:15,020 –> 00:39:16,790
اساساً آن را دسته ها بنامید
853
00:39:16,790 –> 00:39:19,250
در مورد تقسیم داده ها به دسته ها انجام می شود
854
00:39:19,250 –> 00:39:21,410
برای مثالی که می دانید در نظر بگیرید
855
00:39:21,410 –> 00:39:24,080
یا توییتر درست است بنابراین توییتر آن را دارد
856
00:39:24,080 –> 00:39:26,780
معمولا من نمی گویم هرزنامه اما
857
00:39:26,780 –> 00:39:29,630
توییتر با مقادیر زیادی بمباران شده است
858
00:39:29,630 –> 00:39:31,700
توییت های همه در سراسر جهان
859
00:39:31,700 –> 00:39:33,950
درست است پس تصور کنید همه داده ها وجود دارند
860
00:39:33,950 –> 00:39:35,690
در توییتر تولید شده است، بنابراین اگر مجبور باشید
861
00:39:35,690 –> 00:39:38,630
این کار را در زمان واقعی پردازش کنید
862
00:39:38,630 –> 00:39:40,220
کمی سخت است اما پس از آن می توانیم ادامه دهیم
863
00:39:40,220 –> 00:39:42,320
تقریباً برای زمان واقعی فشار می آورد
864
00:39:42,320 –> 00:39:44,660
الزامات چیزی است که ما از نزدیک می گوییم
865
00:39:44,660 –> 00:39:47,270
زمان واقعی و این را می توان انجام داد شما می توانید
866
00:39:47,270 –> 00:39:49,370
لاگ های ایجاد شده است که می توانید روی آنها کار کنید
867
00:39:49,370 –> 00:39:50,600
سیاهههای مربوط و شما می دانید که می توانید انجام دهید
868
00:39:50,600 –> 00:39:52,400
تجزیه و تحلیل بر روی داده ها نیز تا شما بدانید
869
00:39:52,400 –> 00:39:54,260
شما می توانید تجزیه و تحلیل احساسات و
870
00:39:54,260 –> 00:39:57,170
چه استفاده از MLM و همچنین بنابراین برای رفتن
871
00:39:57,170 –> 00:39:59,030
در مورد انجام این کار و دسترسی به آن نزدیک
872
00:39:59,030 –> 00:40:00,680
داده های زمان واقعی درست است، بنابراین ما زیبا هستیم
873
00:40:00,680 –> 00:40:02,540
بسیار مورد نیاز است یا جرقه جریان
874
00:40:02,540 –> 00:40:05,450
بچه ها و بعدی که به EM Lib می آیند
875
00:40:05,450 –> 00:40:08,390
حدس بزنید آه این تقریباً هسته اصلی است
876
00:40:08,390 –> 00:40:10,820
برای جرقه های یادگیری ماشینی و
877
00:40:10,820 –> 00:40:12,950
مفاهیم هوش مصنوعی ما هستیم
878
00:40:12,950 –> 00:40:15,200
در حال حاضر با اعتیاد به مواد مخدره که
879
00:40:15,200 –> 00:40:17,180
در مورد یادگیری ماشینی و
880
00:40:17,180 –> 00:40:19,370
هوش مصنوعی درسته پس شما
881
00:40:19,370 –> 00:40:21,230
دانستن یا فقط یا یک مسیر انحرافی سریع
882
00:40:21,230 –> 00:40:24,350
یا اگر آن روز را به خاطر دارید
883
00:40:24,350 –> 00:40:26,720
فکر می کنم به ما می گفتند که می دانی
884
00:40:26,720 –> 00:40:28,010
یادگیری ماشینی و مصنوعی
885
00:40:28,010 –> 00:40:29,990
هوش روزی انقلاب خواهد کرد
886
00:40:29,990 –> 00:40:32,360
دنیا بله تقریباً همین الان است
887
00:40:32,360 –> 00:40:34,190
منظورم درست انقلاب کردن جهان است
888
00:40:34,190 –> 00:40:36,260
بسیار ظریف در آن ادغام شده است
889
00:40:36,260 –> 00:40:37,850
دنیای ما که ما حتی متوجه آن نیستیم
890
00:40:37,850 –> 00:40:38,870
دیگر آنجاست
891
00:40:38,870 –> 00:40:40,880
به اطراف خود نگاه کنید احتمالا می شناسید یا شما
892
00:40:40,880 –> 00:40:43,160
می تواند بگوید که آیا شما یک دستگاه iOS دارید
893
00:40:43,160 –> 00:40:44,930
تقریباً می توان گفت سلام سیری
894
00:40:44,930 –> 00:40:46,760
و می دانید که این مصنوعی است
895
00:40:46,760 –> 00:40:48,230
هوش برای شما کار می کند
896
00:40:48,230 –> 00:40:49,850
همه چیز از تقریبا خاموش شدن
897
00:40:49,850 –> 00:40:52,160
چراغ های خانه را روشن کنید
898
00:40:52,160 –> 00:40:54,290
کولر گازی میدونی گذاشتن
899
00:40:54,290 –> 00:40:57,410
موشک به ماه و مریخ و همچنین ما
900
00:40:57,410 –> 00:40:59,270
یادگیری ماشین در همه جا و
901
00:40:59,270 –> 00:41:02,150
آن را تا کنون بسیار ظریف اجرا شده است
902
00:41:02,150 –> 00:41:04,040
که به صورت ما فشار نیاورده است
903
00:41:04,040 –> 00:41:05,570
مفهوم به صورت ما رانده نمی شود و
904
00:41:05,570 –> 00:41:06,830
کار کردن با آن واقعا سرگرم کننده است
905
00:41:06,830 –> 00:41:09,260
اوه پس به هر حال برمی گردم آه بله این
906
00:41:09,260 –> 00:41:11,150
کتابخانه خاص درست است بنابراین ماشین
907
00:41:11,150 –> 00:41:13,270
کتابخانه یادگیری جرقه خواهد زد
908
00:41:13,270 –> 00:41:15,760
دارای بسیاری از کتابخانه های داخلی است که
909
00:41:15,760 –> 00:41:17,530
تقریباً به شما دسترسی می دهد
910
00:41:17,530 –> 00:41:20,140
انبوهی از الگوریتم های یادگیری ماشین
911
00:41:20,140 –> 00:41:22,210
که با هر چند من نیز حضور دارند
912
00:41:22,210 –> 00:41:23,830
معنی در مورد یادگیری ماشین و
913
00:41:23,830 –> 00:41:27,040
این مفاهیم است و بله به شما یک
914
00:41:27,040 –> 00:41:28,390
چند نام یادگیری ماشینی
915
00:41:28,390 –> 00:41:30,040
بچه ها الگوریتم ها ما طبقه بندی داریم
916
00:41:30,040 –> 00:41:31,540
می دانید که ما قهقرایی داریم
917
00:41:31,540 –> 00:41:32,890
خوشه بندی ما مشارکتی داریم
918
00:41:32,890 –> 00:41:34,870
درست فیلتر کردن، بنابراین ما خطی داریم
919
00:41:34,870 –> 00:41:37,030
رگرسیون الگوریتم های زیادی وجود دارد
920
00:41:37,030 –> 00:41:39,610
که باید بشناسید و با آن کار کنید یا
921
00:41:39,610 –> 00:41:41,680
هنگامی که صحبت از یادگیری ماشینی می شود
922
00:41:41,680 –> 00:41:44,200
آن مورد خاص MLM تقریبا دارد
923
00:41:44,200 –> 00:41:46,180
بچه ها اینجا هم همینطور کاوش شده است
924
00:41:46,180 –> 00:41:48,280
کتابخانه یادگیری ماشین درست است
925
00:41:48,280 –> 00:41:50,050
تکنیک های مختلفی را نیز ارائه می دهد
926
00:41:50,050 –> 00:41:51,580
نه تنها چیزی که در آن ارائه می کند
927
00:41:51,580 –> 00:41:53,470
چند کتابخانه برای ما و سپس شما
928
00:41:53,470 –> 00:41:55,630
بدانید که ما به تنهایی این کار را انجام می دهیم
929
00:41:55,630 –> 00:41:58,300
بدون هیچ راهنمایی نه بنابراین ارائه می کند
930
00:41:58,300 –> 00:42:00,640
چند تکنیک برای اینکه چگونه می توانیم پیش برویم
931
00:42:00,640 –> 00:42:02,950
در مورد پیش پردازش داده های ما زیرا در
932
00:42:02,950 –> 00:42:04,180
ممکن است داده های پایان روز باشد
933
00:42:04,180 –> 00:42:06,490
درست بدون ساختار، بنابراین ما
934
00:42:06,490 –> 00:42:09,250
تبدیل این داده خاص به
935
00:42:09,250 –> 00:42:11,440
چیزی قابل استفاده درست به طوری که قابل استفاده
936
00:42:11,440 –> 00:42:13,870
بخشی آن چیزی است که ما اطلاعات را داده می نامیم
937
00:42:13,870 –> 00:42:17,290
همانطور که هست منظورم همان طور که ایستاده یا اسپارتی است
938
00:42:17,290 –> 00:42:18,880
میدونی که تقریبا هیچی نداری
939
00:42:18,880 –> 00:42:22,000
می تواند در مورد آن انجام دهد بنابراین خوشه ای است
940
00:42:22,000 –> 00:42:24,070
شما در ساختار و در پایان می دانید
941
00:42:24,070 –> 00:42:25,600
روزی که ممکن است آن چیزی که هستی نباشد
942
00:42:25,600 –> 00:42:28,210
به دنبال بنابراین در نظر بگیرید که دادهها را میدانید اگر
943
00:42:28,210 –> 00:42:30,820
شما مثل یک فنجان قهوه بچه ها می خواهید پس اگر
944
00:42:30,820 –> 00:42:34,240
من پودر قهوه ای را که به شما می دهم به شما می دهم
945
00:42:34,240 –> 00:42:37,150
یک فنجان شیر به شما شکر می دهم
946
00:42:37,150 –> 00:42:39,430
جدا و سه ظرف خوب است
947
00:42:39,430 –> 00:42:40,840
هنوز قهوه اما غیر از هر روز شما
948
00:42:40,840 –> 00:42:43,480
نمی توان از هر یک بنوشد و انتظار داشته باشد
949
00:42:43,480 –> 00:42:45,130
همان طعم قهوه درست است به طوری که داده است
950
00:42:45,130 –> 00:42:47,920
و بیایید بگوییم که شما تنها خوبی ما را ایجاد کردید
951
00:42:47,920 –> 00:42:50,410
یک فنجان قهوه به محض اینکه همه را مخلوط کردید
952
00:42:50,410 –> 00:42:52,330
از آن و شما تمام مراحل را انجام نمی دهید
953
00:42:52,330 –> 00:42:54,190
و سپس آن اطلاعات درست می شود
954
00:42:54,190 –> 00:42:57,130
بنابراین این تقریبا دوباره برای قهوه به
955
00:42:57,130 –> 00:42:59,440
تقریباً آن را از گیاه بگیرید
956
00:42:59,440 –> 00:43:01,570
گیاه قهوه و سپس شما می دانید که آن را دریافت کنید
957
00:43:01,570 –> 00:43:04,390
برشته شده و آماده آسیاب کردن این می تواند باشد
958
00:43:04,390 –> 00:43:07,330
یکی دیگر از قیاس سگ خوب برای داده ها
959
00:43:07,330 –> 00:43:09,430
پیش پردازش و همچنین بچه ها و بعدی
960
00:43:09,430 –> 00:43:11,800
ما خیلی گرافیک داریم شاو
961
00:43:11,800 –> 00:43:15,100
به عنوان مبتدی فکر می کنم شما را می شناسید
962
00:43:15,100 –> 00:43:17,620
بچه ها ممکن است به غیر نمودار علاقه مند باشند
963
00:43:17,620 –> 00:43:20,080
ترسیم چند داده نیز
964
00:43:20,080 –> 00:43:22,060
و اساساً این یک حدس تجسم است
965
00:43:22,060 –> 00:43:23,770
بنابراین هر زمان که من تمام آنچه را که می دانید بیان کنید
966
00:43:23,770 –> 00:43:25,070
به آنهایی که می شناسید
967
00:43:25,070 –> 00:43:27,830
آن شخص را به عنوان یک یادگیرنده ترجیح می دهد
968
00:43:27,830 –> 00:43:31,010
در مورد یک زبان بیشتر بدانید
969
00:43:31,010 –> 00:43:33,560
در مورد یک کد اگر واقعاً خوب به نظر می رسد
970
00:43:33,560 –> 00:43:35,570
گرافیک دوباره تقریباً می توانید
971
00:43:35,570 –> 00:43:37,670
هر چیزی را که می خواهید ترسیم کنید و
972
00:43:37,670 –> 00:43:39,110
اساساً در نمودارهای پایانی روز
973
00:43:39,110 –> 00:43:40,970
نگاه کن واقعاً خوب است که به آن نگاه کنی و
974
00:43:40,970 –> 00:43:41,720
با حق کار کن
975
00:43:41,720 –> 00:43:43,220
شما می دانید که بیشتر از همه آن را واقعا فراهم می کند
976
00:43:43,220 –> 00:43:45,800
تجزیه و تحلیل خوب و محاسبات فرضی
977
00:43:45,800 –> 00:43:48,380
برای حجم زیادی از داده ها درست است
978
00:43:48,380 –> 00:43:49,850
من به شما تشبیه کرده ام
979
00:43:49,850 –> 00:43:52,190
اصطلاحات ساده برای قرار دادن مفهوم
980
00:43:52,190 –> 00:43:54,230
سر شما اما در پایان روز شما
981
00:43:54,230 –> 00:43:56,450
نیاز به درک این است که داده هایی که شما
982
00:43:56,450 –> 00:43:59,000
بدانید که در پایان با آن کار خواهید کرد
983
00:43:59,000 –> 00:44:02,420
از روز بزرگ است بنابراین بله و در
984
00:44:02,420 –> 00:44:04,250
پایان روز به جای نگاه کردن به یک
985
00:44:04,250 –> 00:44:05,930
میلیون عدد واقعا خوب خواهد بود
986
00:44:05,930 –> 00:44:07,730
احتمالاً 10 نمودار را درست نگاه کنید
987
00:44:07,730 –> 00:44:10,790
در مورد آن فکر کنید و بله آنها تقریباً
988
00:44:10,790 –> 00:44:13,130
با انواع مختلفی از نمودارها آشنا شوید
989
00:44:13,130 –> 00:44:15,590
الگوریتم ها و محاسبات زیاد
990
00:44:15,590 –> 00:44:18,110
تکنیک ها نیز و اینها عمدتا هستند
991
00:44:18,110 –> 00:44:20,690
برای شما می دانید که بازیابی فاجعه استفاده می شود
992
00:44:20,690 –> 00:44:23,930
سیستم ها و چیزی شبیه به عبارت بعد از a
993
00:44:23,930 –> 00:44:25,850
طوفان می آید و شما باید آن را پیدا کنید
994
00:44:25,850 –> 00:44:27,260
چه خبر است در چه سطحی است
995
00:44:27,260 –> 00:44:29,630
آسیب به شما می شناسید جمعیت که
996
00:44:29,630 –> 00:44:31,700
تحت تأثیر آن قرار گرفتند و غیره و الف
997
00:44:31,700 –> 00:44:34,370
چند الگوریتم رتبه بندی صفحه دارند
998
00:44:34,370 –> 00:44:36,770
از نمودارها استفاده کردم و همچنین من چیزهای زیادی دیده ام
999
00:44:36,770 –> 00:44:38,900
سیستم های کشف تقلب مالی و
1000
00:44:38,900 –> 00:44:41,210
بیشتر از همه فکر می کنم اولین نمودار را ترسیم کنید
1001
00:44:41,210 –> 00:44:42,800
مهم ترین چیزی که
1002
00:44:42,800 –> 00:44:44,900
وارد نقشه من می شود سرم تقریباً زیاد است
1003
00:44:44,900 –> 00:44:46,640
بچه ها در مورد آن فکر کنید بازار سهام درست است
1004
00:44:46,640 –> 00:44:49,280
بنابراین اگر همچنان به اعداد نگاه می کنید، پس
1005
00:44:49,280 –> 00:44:52,610
مطمئن شوید یا سپس راه بروید اما دوباره به دنبال
1006
00:44:52,610 –> 00:44:54,410
در نمودارها اگر معامله گر هستید این کار را خواهید کرد
1007
00:44:54,410 –> 00:44:56,450
تا حد زیادی بفهمید چقدر مهم است
1008
00:44:56,450 –> 00:44:58,280
نمودارها درست هستند پس گرافیک زیباست
1009
00:44:58,280 –> 00:45:01,010
معادل SPARC برای شما
1010
00:45:01,010 –> 00:45:02,480
بدانید در اینجا یک نمای سریع انتزاعی از
1011
00:45:02,480 –> 00:45:04,280
همه چیز به نظر می رسد
1012
00:45:04,280 –> 00:45:06,530
بنابراین اجزای SPARC دوباره ما در حال حاضر
1013
00:45:06,530 –> 00:45:08,120
بدانید که زبان برنامه نویسی است
1014
00:45:08,120 –> 00:45:10,190
پشتیبانی شده توسط SPARC تقریباً Scala هستند
1015
00:45:10,190 –> 00:45:12,440
جاوا و پایتون هستند
1016
00:45:12,440 –> 00:45:15,440
ما چند نفر ترجیح می دهیم یا پایتون
1017
00:45:15,440 –> 00:45:17,030
بیش از Scala فقط برای خوانایی خوب
1018
00:45:17,030 –> 00:45:20,030
یادگیری آسان بسیاری از برنامه های کاربردی به عنوان
1019
00:45:20,030 –> 00:45:20,360
خوب
1020
00:45:20,360 –> 00:45:22,370
آه با شرایط کتابخانه که ما دیده ایم
1021
00:45:22,370 –> 00:45:24,920
گرافیک SQL Laemmle و پخش به عنوان
1022
00:45:24,920 –> 00:45:27,020
خوب و با همه اینها صحبت کنیم
1023
00:45:27,020 –> 00:45:29,150
اجزا با هم و برای نگه داشتن یکی
1024
00:45:29,150 –> 00:45:31,460
موتور مدیریت داریم یا جرقه
1025
00:45:31,460 –> 00:45:33,050
هسته و سپس چیزی به نام داریم
1026
00:45:33,050 –> 00:45:34,760
ابزارهای مدیریت خوشه نیز ما داریم
1027
00:45:34,760 –> 00:45:36,440
قبلا بررسی شده است که چه مهار است
1028
00:45:36,440 –> 00:45:38,070
نخ در اصل است
1029
00:45:38,070 –> 00:45:41,670
مذاکره کننده منابع و به همین ترتیب به شما
1030
00:45:41,670 –> 00:45:43,710
داده ها و خوشه ها برای دسترسی به داده ها
1031
00:45:43,710 –> 00:45:46,350
از این خوشه ها و شما برای کار با آنها
1032
00:45:46,350 –> 00:45:48,900
تقریباً شما به نخ یا نخ نیاز دارید
1033
00:45:48,900 –> 00:45:51,270
با اسپارک نیز صحبت کنید و سپس یک
1034
00:45:51,270 –> 00:45:53,490
پچ من یک منبع دوباره ممکن است بسیار مشابه
1035
00:45:53,490 –> 00:45:55,860
به نخ اما تقریبا به شما می دهد
1036
00:45:55,860 –> 00:45:58,260
عملکرد بسیار خوب و همچنین فکر می کنم
1037
00:45:58,260 –> 00:45:59,790
ما جرقه ریخته ایم دوباره می دانی فیض
1038
00:45:59,790 –> 00:46:01,440
این یکی دیگر از ابزارهای مدیریت خوشه است
1039
00:46:01,440 –> 00:46:04,500
که من فکر می کنم اکثر کاربران آن هستند
1040
00:46:04,500 –> 00:46:07,230
کسانی که وابستگی های بلادرنگ دارند از بین می روند
1041
00:46:07,230 –> 00:46:09,150
با استفاده از آن یا پس از آن برای ذخیره سازی شما هستید
1042
00:46:09,150 –> 00:46:11,040
قبلاً با فایل HDFS Hadoop آشنا هستید
1043
00:46:11,040 –> 00:46:13,020
پس از آن ما شما را بررسی خواهیم کرد
1044
00:46:13,020 –> 00:46:14,940
می دانیم که ما از قبل می دانیم که شما می توانید زیبا باشید
1045
00:46:14,940 –> 00:46:17,280
بسیار این تبدیل تمام داده های ما
1046
00:46:17,280 –> 00:46:19,620
به نیازهای سیستم فایل Hadoop
1047
00:46:19,620 –> 00:46:21,570
و آن را از هر فردی دریافت کنید
1048
00:46:21,570 –> 00:46:24,420
گره ها در شبکه اما آپاچا خواهد بود
1049
00:46:24,420 –> 00:46:26,310
همچنین از سفارشات مستقل ما پشتیبانی خواهد کرد
1050
00:46:26,310 –> 00:46:27,840
بنابراین فرض کنید در حال آزمایش هستید و
1051
00:46:27,840 –> 00:46:30,300
شما می دانید که شما هیچ نمونه ای ندارید
1052
00:46:30,300 –> 00:46:32,400
جایی که به چندین گره متصل می شوید
1053
00:46:32,400 –> 00:46:33,900
نیازهای خوشه بندی خود را می توانید
1054
00:46:33,900 –> 00:46:35,580
تقریباً در مورد انجام آن در ما ادامه دهید
1055
00:46:35,580 –> 00:46:38,490
گره مستقل نیز و بله برای حرکت
1056
00:46:38,490 –> 00:46:40,500
آن را به ابر من فکر می کنم آمازون ec2 انجام می دهد
1057
00:46:40,500 –> 00:46:43,440
کار خوب – تا حد زیادی به شما در ذخیره سازی کمک می کند
1058
00:46:43,440 –> 00:46:45,210
با ذخیره سازی و انتقال همه چیز به
1059
00:46:45,210 –> 00:46:48,300
ابر و همچنین پشتیبانی از ما
1060
00:46:48,300 –> 00:46:50,010
مدیریت رابطه ای یا پایگاه داده
1061
00:46:50,010 –> 00:46:53,940
سیستم ها و یا بدون SQL از هیچ کس نیست
1062
00:46:53,940 –> 00:46:55,710
در اینجا نیز ذکر شده است، بنابراین من
1063
00:46:55,710 –> 00:46:58,440
به شما توصیه می کنم سریع بدانید یا
1064
00:46:58,440 –> 00:47:00,180
احتمالاً صفحه نمایش را متوقف کنید یا چیزی دیگر
1065
00:47:00,180 –> 00:47:02,430
و فقط به همه اینها نگاه کنید
1066
00:47:02,430 –> 00:47:04,830
مفاهیم زیرا اینها می توانند ER را تشکیل دهند
1067
00:47:04,830 –> 00:47:07,350
از پایه اصلی برای رفتن در مورد
1068
00:47:07,350 –> 00:47:09,900
یادگیری SPARC و شما می دانید به بعد یا
1069
00:47:09,900 –> 00:47:12,270
در روز از زمانی که در حال رفتن هستید
1070
00:47:12,270 –> 00:47:14,070
تسلط بر این همه چیز ممکن است
1071
00:47:14,070 –> 00:47:16,530
نیازی به بازگشت به این موضوع نیست
1072
00:47:16,530 –> 00:47:19,170
نمودار اما در این نقطه از زمان I
1073
00:47:19,170 –> 00:47:21,750
به شما توصیه می کنم که آگاه باشید
1074
00:47:21,750 –> 00:47:23,850
از این مفاهیم بچه ها بنابراین بدون
1075
00:47:23,850 –> 00:47:25,830
بیایید به سرعت بررسی کنیم
1076
00:47:25,830 –> 00:47:28,620
دوستان معماری SPARC پس من تقریبا
1077
00:47:28,620 –> 00:47:30,630
یک نمودار بسیار ساده در اینجا داشته باشید
1078
00:47:30,630 –> 00:47:32,520
نشان می دهد که چه اتفاقی می افتد بنابراین ما چیزی داریم
1079
00:47:32,520 –> 00:47:34,710
به عنوان برنامه درایور و SPARC نامیده می شود
1080
00:47:34,710 –> 00:47:38,600
بنابراین برنامه درایور رابط بین است
1081
00:47:38,600 –> 00:47:42,210
شما به عنوان یک برنامه نویس و برنامه Sparks
1082
00:47:42,210 –> 00:47:44,850
بنابراین تمام داده هایی که شما وارد می کنید همه
1083
00:47:44,850 –> 00:47:46,880
داده هایی که نیاز دارید دستکاری شوند
1084
00:47:46,880 –> 00:47:49,280
شما می دانید که با آن کار کنید یا
1085
00:47:49,280 –> 00:47:51,230
برای درک اطلاعات خود به جرقه نیاز دارید
1086
00:47:51,230 –> 00:47:54,050
درست است پس دوباره برنامه درایور ما که
1087
00:47:54,050 –> 00:47:55,550
متشکل از این مفهوم به نام a
1088
00:47:55,550 –> 00:47:58,250
زمینه جرقه تقریباً کاربرد زیادی دارد
1089
00:47:58,250 –> 00:48:01,700
این پس دوباره به فکر رانندگان است
1090
00:48:01,700 –> 00:48:03,890
درست است پس در مورد آن فکر کنید به یاد بیاورید اگر هستید
1091
00:48:03,890 –> 00:48:05,960
آشنا، بنابراین اگر یک نام تجاری جدید دارید
1092
00:48:05,960 –> 00:48:08,390
سخت افزاری که شما نیاز دارید که آن سخت افزار را انجام دهید
1093
00:48:08,390 –> 00:48:10,760
شما با ماشین خام خود صحبت نمی کنید
1094
00:48:10,760 –> 00:48:12,290
بدانید که برای صحبت کردن به سخت افزار نیاز دارید
1095
00:48:12,290 –> 00:48:13,490
نرم افزار و در پایان روز شما
1096
00:48:13,490 –> 00:48:15,980
نیاز به استفاده از آن است که اساسا شما خواهید بود
1097
00:48:15,980 –> 00:48:17,810
با استفاده از درایور در آنجا نیز درست است
1098
00:48:17,810 –> 00:48:20,150
دوباره این مفهوم دوباره خیر است
1099
00:48:20,150 –> 00:48:21,920
اینجا بسیار شبیه و ساده است
1100
00:48:21,920 –> 00:48:24,230
همچنین به جرقه زمینه جرقه می آیند
1101
00:48:24,230 –> 00:48:26,210
زمینه تقریباً فرم هایی که شما آنها را می شناسید
1102
00:48:26,210 –> 00:48:28,940
نقطه ورود اصلی برای هر عملکرد
1103
00:48:28,940 –> 00:48:31,820
که می دانید در مورد آن انجام می دهید
1104
00:48:31,820 –> 00:48:35,030
در جرقه بنابراین اساسا در پایان
1105
00:48:35,030 –> 00:48:37,330
روزی که زمینه جرقه ما برای ایجاد استفاده می شود
1106
00:48:37,330 –> 00:48:39,770
چیزی که ما به آن rdds می گوییم دوباره شما را راه می اندازم
1107
00:48:39,770 –> 00:48:40,790
از طریق آن می دانید که ایجاد کنید
1108
00:48:40,790 –> 00:48:43,580
انباشته هایی که از آنها پخش می کردیم
1109
00:48:43,580 –> 00:48:46,310
چند متغیر و همه آن اما
1110
00:48:46,310 –> 00:48:48,620
یک چیز که در این برهه از زمان در
1111
00:48:48,620 –> 00:48:49,790
مقدمه ای که دوست دارم
1112
00:48:49,790 –> 00:48:51,590
به شما بچه ها باز هم باید بدانید
1113
00:48:51,590 –> 00:48:54,170
که برای هر نمونه از جرقه
1114
00:48:54,170 –> 00:48:56,780
دویدن یا جرقه یا دویدن لازم است
1115
00:48:56,780 –> 00:48:59,450
فقط یک زمینه جرقه داشته باشید پس اگر شما
1116
00:48:59,450 –> 00:49:01,490
بیش از یک بار دیگر نمی توانید اجرا کنید
1117
00:49:01,490 –> 00:49:03,440
آن را در کنار هم و شما ما را دریافت خواهید کرد
1118
00:49:03,440 –> 00:49:05,930
مورد خطا بنابراین یک زمینه جرقه برای
1119
00:49:05,930 –> 00:49:08,210
هر برنامه و شما خوب خواهید بود
1120
00:49:08,210 –> 00:49:09,890
تمام داده هایی که دارم را دوباره تکرار کنم
1121
00:49:09,890 –> 00:49:11,660
inputted تقریباً به ما می رود
1122
00:49:11,660 –> 00:49:13,010
مدیر خوشه جایی که ما یک زوج داریم
1123
00:49:13,010 –> 00:49:15,020
ابزارهای مدیریتی که در آن بررسی کردیم
1124
00:49:15,020 –> 00:49:17,210
اسلاید قبلی که دوباره این
1125
00:49:17,210 –> 00:49:18,860
به شما بستگی دارد اگر شما خود را بکشید
1126
00:49:18,860 –> 00:49:20,480
داده های ابری که در حال کشیدن آن هستید
1127
00:49:20,480 –> 00:49:22,160
از چند گره مختلف یا
1128
00:49:22,160 –> 00:49:23,660
تو داری ازش میکشی میدونی یه بار
1129
00:49:23,660 –> 00:49:25,070
ایستادن من نمی دانم این همه چیست
1130
00:49:25,070 –> 00:49:26,840
درست است بنابراین مدیریت خوشه
1131
00:49:26,840 –> 00:49:29,840
من فکر می کنم بخش بسیار حیاتی را تشکیل می دهد زیرا
1132
00:49:29,840 –> 00:49:31,100
در مورد آن درست فکر کنید پس اگر هستید
1133
00:49:31,100 –> 00:49:34,520
مجبور کردن کسی برای استفاده همیشه آفلاین
1134
00:49:34,520 –> 00:49:36,890
داده یا بگویید فقط از داده های یک ماشین استفاده کنید
1135
00:49:36,890 –> 00:49:39,110
پس واقعاً معنی ندارد اما
1136
00:49:39,110 –> 00:49:41,270
سپس اگر به آنها آزادی بکشید
1137
00:49:41,270 –> 00:49:42,890
داده ها از ابر داده ها را می کشند
1138
00:49:42,890 –> 00:49:44,750
از گره دیگری آن را از گره دیگری بکشید
1139
00:49:44,750 –> 00:49:46,820
خوشه شما می دانید خوشه اساسا
1140
00:49:46,820 –> 00:49:49,280
گروه چهار گره و داده تا زمانی که شما
1141
00:49:49,280 –> 00:49:51,290
پس این مقدار آزادی را به آنها بدهید
1142
00:49:51,290 –> 00:49:54,590
آنها واقعاً به مقیاس پذیری کمک می کند
1143
00:49:54,590 –> 00:49:57,010
کمک به بسیاری از کاربران بسیاری از توسعه دهندگان
1144
00:49:57,010 –> 00:49:58,600
در پایان روز درست لباس
1145
00:49:58,600 –> 00:50:00,190
مدیریت دوباره برای شما سفارشی شده است
1146
00:50:00,190 –> 00:50:02,470
الزامی که در آن داده ها را بیرون می آورید
1147
00:50:02,470 –> 00:50:04,420
بر اساس نیازهای شما و همه اینها و
1148
00:50:04,420 –> 00:50:05,950
بعد ما مورد یادداشت های کارگر را داریم
1149
00:50:05,950 –> 00:50:07,660
گره های کارگر در پایان روز هستند
1150
00:50:07,660 –> 00:50:09,820
این نقطه پایانی پارک راس ما است
1151
00:50:09,820 –> 00:50:12,250
معماری که در آن داده ها را می دانید
1152
00:50:12,250 –> 00:50:14,320
در جایی که ما به اطلاعات تبدیل می شود
1153
00:50:14,320 –> 00:50:16,750
انجام کار همانطور که می بینید
1154
00:50:16,750 –> 00:50:17,710
صفحه نمایش شما چیزی به نام داریم
1155
00:50:17,710 –> 00:50:20,050
نرخ اجرا کننده به طوری که همه چیز است
1156
00:50:20,050 –> 00:50:22,390
به معنای واقعی کلمه به این معنی است که دوباره کارگر گره می زند
1157
00:50:22,390 –> 00:50:25,150
نقاط پایانی شما از سیستم هستند که در آن
1158
00:50:25,150 –> 00:50:27,160
شما به کار با آن ادامه خواهید داد
1159
00:50:27,160 –> 00:50:29,350
برو در مورد بالا می دانی که می خواهی بپرسی
1160
00:50:29,350 –> 00:50:31,270
گره های کارگر خود را تا حد زیادی استفاده کنید
1161
00:50:31,270 –> 00:50:33,100
الگوریتم هایی برای یادگیری چیزی و گفتن
1162
00:50:33,100 –> 00:50:35,350
شما می دانید که به شما یک خروجی معتبر می دهد
1163
00:50:35,350 –> 00:50:37,780
همه آن بخش ادامه دارد و همه آنها
1164
00:50:37,780 –> 00:50:39,880
بچه ها روی ODE ها کار کنید پس دوباره در پایان
1165
00:50:39,880 –> 00:50:42,340
گره های کارگر روزانه C باید داشته باشند
1166
00:50:42,340 –> 00:50:44,110
چهار گره باید با آن در تماس باشد
1167
00:50:44,110 –> 00:50:46,270
زمینه جرقه به دلایل مختلف یا
1168
00:50:46,270 –> 00:50:47,290
نگران نباش من شما را راه می اندازم
1169
00:50:47,290 –> 00:50:49,480
که در دو اسلاید اما این است
1170
00:50:49,480 –> 00:50:50,980
چرا فلش های بزرگ را بالا و پایین می بینید
1171
00:50:50,980 –> 00:50:52,660
جایی که با هر یک از آنها صحبت می کند
1172
00:50:52,660 –> 00:50:55,300
بنابراین مهم است که صحبت کنید
1173
00:50:55,300 –> 00:50:56,830
به هر گره ای که هستید
1174
00:50:56,830 –> 00:50:58,840
به طور فعال استفاده از حق بنابراین اگر
1175
00:50:58,840 –> 00:51:00,610
شما از ده گره استفاده می کنید اما بعد
1176
00:51:00,610 –> 00:51:02,200
شما فقط برنامه خود را می گویید
1177
00:51:02,200 –> 00:51:03,850
که داده ها را از یکی می گیرید
1178
00:51:03,850 –> 00:51:06,310
تنها گره شما می دانید که ده وجود دارد
1179
00:51:06,310 –> 00:51:08,560
اما برنامه شما فقط یکی را می بیند که
1180
00:51:08,560 –> 00:51:10,630
واقعا منطقی به نظر نمی رسد
1181
00:51:10,630 –> 00:51:12,820
برنامه خود را می دانید تا خود را متقاعد کنید
1182
00:51:12,820 –> 00:51:15,730
برنامه دیدن ده خروجی و دیدن
1183
00:51:15,730 –> 00:51:17,980
متاسفم برای دیدن ده ورودی که آن
1184
00:51:17,980 –> 00:51:20,680
بر روی یک بخش حیاتی شکل می گیرد، بنابراین دوباره همانطور که ما داریم
1185
00:51:20,680 –> 00:51:22,480
در حال حاضر شما می دانید جرقه فراهم می کند بسیار
1186
00:51:22,480 –> 00:51:24,160
معماری لایه به خوبی تعریف شده که
1187
00:51:24,160 –> 00:51:26,140
این کار را برای مبتدیان واقعا آسان می کند
1188
00:51:26,140 –> 00:51:27,760
یاد بگیرید و همه اینها را می دانید
1189
00:51:27,760 –> 00:51:30,760
مولفه ها و همه لایه ها هستند
1190
00:51:30,760 –> 00:51:32,740
امروز به طور آزاد به هم پیوسته و دوباره به عنوان من
1191
00:51:32,740 –> 00:51:35,110
ذکر در مورد آزادی شما می دانید
1192
00:51:35,110 –> 00:51:36,610
در مورد دستکاری برای شما
1193
00:51:36,610 –> 00:51:39,940
الزاماتی که از شما خواسته نشده است
1194
00:51:39,940 –> 00:51:42,310
دانستن یادگیری در یک بسیار محکم و
1195
00:51:42,310 –> 00:51:43,510
زینتی که می دانی نمی توانی
1196
00:51:43,510 –> 00:51:45,550
بچرخید یا کاری از خودتان انجام دهید
1197
00:51:45,550 –> 00:51:45,760
خود
1198
00:51:45,760 –> 00:51:47,740
و من فکر می کنم این که می دانید باعث ایجاد جرقه a می شود
1199
00:51:47,740 –> 00:51:50,380
کمی آسان است بنابراین دوباره برنامه درایور اجرا می شود
1200
00:51:50,380 –> 00:51:52,390
تقریبا بر روی گره استاد آنچه ما
1201
00:51:52,390 –> 00:51:54,130
فراخوانی خوشه جرقه که دوباره است
1202
00:51:54,130 –> 00:51:57,460
بردگان ارباب یا سازمانی که در آن
1203
00:51:57,460 –> 00:51:59,080
در این مرحله باید بدانید که
1204
00:51:59,080 –> 00:52:01,030
هر برنامه درایوری که دوباره دارید
1205
00:52:01,030 –> 00:52:02,920
تقریباً روی Master یا اجرا می شود
1206
00:52:02,920 –> 00:52:05,110
گره ورچستر و
1207
00:52:05,110 –> 00:52:07,510
بنابراین اساساً می دانید سالانه آن است
1208
00:52:07,510 –> 00:52:10,060
همه کارها را اجرا می کنم و مذاکره می کنم همانطور که من انجام داده ام
1209
00:52:10,060 –> 00:52:11,170
قبلاً با خوشه ذکر شد
1210
00:52:11,170 –> 00:52:13,750
مدیر و من از آن استفاده می کنم یا ترجمه می کنم
1211
00:52:13,750 –> 00:52:16,480
rdd در نمودارهای اجرایی نیز وجود دارد
1212
00:52:16,480 –> 00:52:19,120
rdd را به عنوان یک آرایه ساده در این مورد در نظر بگیرید
1213
00:52:19,120 –> 00:52:21,040
نقطه زمانی و شما داده های زیادی را می دانید
1214
00:52:21,040 –> 00:52:23,440
تعداد زیادی اعداد معمولا و شما می دانید
1215
00:52:23,440 –> 00:52:23,860
تمام آن
1216
00:52:23,860 –> 00:52:27,490
بنابراین ما یا شما کل را می دانید
1217
00:52:27,490 –> 00:52:29,800
معماری در اینجا آن را آسان تر می کند
1218
00:52:29,800 –> 00:52:32,530
تقریباً کل این RTD ها را ترجمه کنید
1219
00:52:32,530 –> 00:52:35,230
و اعداد را در گراف ها مورد
1220
00:52:35,230 –> 00:52:36,760
برنامه درایور دوباره تقریبا می تواند
1221
00:52:36,760 –> 00:52:39,370
جدا کردن نمودارها به خوبی به شما آن را می دانید
1222
00:52:39,370 –> 00:52:41,560
می تواند نمودارها را به چند قسمت تقسیم کند
1223
00:52:41,560 –> 00:52:43,540
مراحل و همچنین بنابراین این ساده خواهد شد
1224
00:52:43,540 –> 00:52:46,000
مورد استفاده شما زمانی که می خواهید
1225
00:52:46,000 –> 00:52:47,770
کد نویسی و شما می دانید کار بر روی بسیار
1226
00:52:47,770 –> 00:52:49,720
مورد پروژه بزرگ پس دوباره به عنوان من
1227
00:52:49,720 –> 00:52:51,040
ذکر شده نقش مجری است
1228
00:52:51,040 –> 00:52:52,810
تا حد زیادی برای مراقبت از همه
1229
00:52:52,810 –> 00:52:54,580
اجرای وظایفی که ارائه می کنید
1230
00:52:54,580 –> 00:52:57,580
و بله، هر برنامه ای باید داشته باشد
1231
00:52:57,580 –> 00:53:00,010
مجری خودش الان چون دوباره هست
1232
00:53:00,010 –> 00:53:01,960
بومی کاری که شما انجام می دهید نیست و
1233
00:53:01,960 –> 00:53:04,420
تقریبا اکثر وظایف هستند
1234
00:53:04,420 –> 00:53:06,430
متفاوت از یکدیگر درست است
1235
00:53:06,430 –> 00:53:08,140
مجری همانطور که اشاره کردم نیز
1236
00:53:08,140 –> 00:53:09,940
تمام پردازش داده ها را انجام می دهد
1237
00:53:09,940 –> 00:53:12,220
نیاز دارد که بتواند داده ها را بخواند یا بنویسد
1238
00:53:12,220 –> 00:53:14,890
می تواند داده ها را به منابع خارجی سوق دهد
1239
00:53:14,890 –> 00:53:16,510
آنها می توانند داده ها را از بیرون بکشند
1240
00:53:16,510 –> 00:53:19,360
منابع نیز و شما می توانید ببینید
1241
00:53:19,360 –> 00:53:21,100
فلش های کوچک در سمت چپ شما یا زمانی که آن
1242
00:53:21,100 –> 00:53:22,690
با مدیر خوشه نیز صحبت می کند
1243
00:53:22,690 –> 00:53:25,360
با انواع فضای ذخیره سازی تعامل دارد
1244
00:53:25,360 –> 00:53:27,850
سیستم ها و این دوباره کار را آسان تر می کند
1245
00:53:27,850 –> 00:53:30,160
برای رفتن در مورد این مشتری راجر
1246
00:53:30,160 –> 00:53:31,840
بله، دوباره این خدمات را انجام می دهد
1247
00:53:31,840 –> 00:53:33,730
تا حد زیادی مسئول جمع آوری است
1248
00:53:33,730 –> 00:53:35,800
همه چیز از سفر حسابرسی شما
1249
00:53:35,800 –> 00:53:37,480
برنامه ای برای جمع آوری تمام داده های موجود
1250
00:53:37,480 –> 00:53:40,720
برای کار مجریان مورد نیاز است
1251
00:53:40,720 –> 00:53:42,790
و اکنون می دانید که می توانید آن را داشته باشید
1252
00:53:42,790 –> 00:53:44,710
مدیر خوشه مستقل نیز همینطور
1253
00:53:44,710 –> 00:53:46,630
تقریباً یک موجودیت واحد است و
1254
00:53:46,630 –> 00:53:49,210
شما به استفاده از مستقل ادامه خواهید داد
1255
00:53:49,210 –> 00:53:51,550
مدیر سفارشی برای سفر یادگیری شما
1256
00:53:51,550 –> 00:53:54,580
چون فکر نمی کنم شما معتبر باشید
1257
00:53:54,580 –> 00:53:56,740
برای بمباران شما با چند مولتی
1258
00:53:56,740 –> 00:53:59,530
شبکه های گره و برای رفتن در مورد آن راه
1259
00:53:59,530 –> 00:54:01,780
درست است پس مشتری دوباره همانطور که قبلاً داشته ایم
1260
00:54:01,780 –> 00:54:04,450
شما را از طریق آن راه اندازی دوباره آن اساسا
1261
00:54:04,450 –> 00:54:06,310
بستگی به کاری دارد که شما انجام می دهید، بنابراین می تواند
1262
00:54:06,310 –> 00:54:08,590
یک اپلیکیشن اسپارک بسیار ساده باشد و
1263
00:54:08,590 –> 00:54:09,970
میدانی که میتواند به تمام راهها منجر شود
1264
00:54:09,970 –> 00:54:13,720
چیزی واقعاً فانتزی درست است، بنابراین بله همینطور است
1265
00:54:13,720 –> 00:54:16,030
بعدی بررسی اسپارک خواهد بود
1266
00:54:16,030 –> 00:54:16,829
گسترش
1267
00:54:16,829 –> 00:54:19,799
کیس دارای انواع استقرار جرقه است
1268
00:54:19,799 –> 00:54:21,349
حالت هایی که قبلاً در مورد آنها صحبت کرده ایم
1269
00:54:21,349 –> 00:54:23,579
اولین مهم ترین چیزی که نیاز دارید
1270
00:54:23,579 –> 00:54:25,410
دانستن این است که جرقه کار می کند
1271
00:54:25,410 –> 00:54:27,589
حالت مستقل درست است تا بتوانیم ادامه دهیم
1272
00:54:27,589 –> 00:54:30,420
راه اندازی این خوشه قدرت شما نمی کنید
1273
00:54:30,420 –> 00:54:32,700
شما نیازی به خوشه شخص ثالث ندارید
1274
00:54:32,700 –> 00:54:35,190
مدیر برای کار با جرقه می دانید
1275
00:54:35,190 –> 00:54:37,259
جرقه دوباره است منظورم این خوشه است
1276
00:54:37,259 –> 00:54:39,059
اساسا دوباره برای استقرار جرقه استفاده می شود
1277
00:54:39,059 –> 00:54:40,709
برنامه های کاربردی نیز و بعدی ما داریم
1278
00:54:40,709 –> 00:54:43,650
مارپیچ های Emmaus دوباره مهم ترین
1279
00:54:43,650 –> 00:54:45,839
چیزی که mesas می تواند برای جرقه انجام دهد این است
1280
00:54:45,839 –> 00:54:48,779
معمولا جایگزین مدیر خوشه ما و
1281
00:54:48,779 –> 00:54:51,779
جرقه مدیر خوشه بومی و آن
1282
00:54:51,779 –> 00:54:54,299
به ارائه یک خوشه خصوصی می پردازد
1283
00:54:54,299 –> 00:54:56,579
داده برای شما و سپس آن را در اختیار شما قرار می دهد
1284
00:54:56,579 –> 00:54:59,009
برای ابزارها نیز سفارش دهید یا بعد از شما
1285
00:54:59,009 –> 00:55:01,259
می تواند جرقه ای روی نخ داشته باشد بنابراین شما می توانید زیبا باشید
1286
00:55:01,259 –> 00:55:03,479
بسیار آن را در بالای نخ و شما مستقر کنید
1287
00:55:03,479 –> 00:55:06,539
می دانم معمولا یک جرقه با هادوپ می تواند
1288
00:55:06,539 –> 00:55:10,829
افزایش قابلیت جرقه یا به مقدار زیاد
1289
00:55:10,829 –> 00:55:13,559
مثل این ماسالای اضافی است که ما روی آن گذاشتیم
1290
00:55:13,559 –> 00:55:16,440
ظرف درست است بنابراین آن نوع قیاس را قرار دهید
1291
00:55:16,440 –> 00:55:20,759
در ذهن شما جرقه با Hadoop است
1292
00:55:20,759 –> 00:55:23,459
نقش عمده ای در opping ایفا می کند، بنابراین شما بدانید
1293
00:55:23,459 –> 00:55:25,739
بچه ها بازی upping sparks پس من همینم
1294
00:55:25,739 –> 00:55:28,619
می خواهم اوه را منتقل کنم و ما آمازون ec2 را داریم
1295
00:55:28,619 –> 00:55:30,660
همچنین می دانید که آمازون بوده است
1296
00:55:30,660 –> 00:55:32,489
ابر خوب زیادی برای ما فراهم می کند
1297
00:55:32,489 –> 00:55:34,979
خدمات این روزها و من مطمئن هستم که شما
1298
00:55:34,979 –> 00:55:37,469
بچه ها قبلاً می دانند آمازون ec2 چیست
1299
00:55:37,469 –> 00:55:39,449
درست است، بنابراین اگر شما خوب نمی دانید
1300
00:55:39,449 –> 00:55:42,180
اساسا آمازون ec2 آن مخفف آن است
1301
00:55:42,180 –> 00:55:45,660
محاسبات ابری الاستیک و اساساً
1302
00:55:45,660 –> 00:55:48,359
ما می دانیم که مخفف چیست، بنابراین یک است
1303
00:55:48,359 –> 00:55:50,400
وب سرویسی که به شما ارائه می دهد
1304
00:55:50,400 –> 00:55:53,670
ظرفیت محاسباتی قابل تغییر اندازه و
1305
00:55:53,670 –> 00:55:56,069
این کار را انجام می دهد منظورم این است که این کار را نمی کند
1306
00:55:56,069 –> 00:55:58,049
در پایان روز آن را در ابر درست است
1307
00:55:58,049 –> 00:56:00,329
این است که برای مقیاس پذیری و
1308
00:56:00,329 –> 00:56:05,039
این است که چگونه آسان به کار و به
1309
00:56:05,039 –> 00:56:07,769
کل برنامه خود را به عنوان ابری فشار دهید
1310
00:56:07,769 –> 00:56:09,930
یه چیز خیلی خوب بچه ها من
1311
00:56:09,930 –> 00:56:11,459
یعنی من شخصا روی چند مورد کار کردم
1312
00:56:11,459 –> 00:56:13,319
پروژه ها و در حال حاضر با آسان به جایی که من هستم
1313
00:56:13,319 –> 00:56:15,809
چند چیز را به آنجا منتقل کرد و آن را
1314
00:56:15,809 –> 00:56:18,059
زندگی شما را در ابر بسیار آسان تر می کند
1315
00:56:18,059 –> 00:56:19,949
پایان روز درست است، بنابراین ما داریم
1316
00:56:19,949 –> 00:56:23,219
جوامع بچه ها جوامع دوباره آن است
1317
00:56:23,219 –> 00:56:25,589
این یک زنجیره منبع باز است بنابراین اساسا
1318
00:56:25,589 –> 00:56:27,809
با توجه به DS توسط گوگل تاسیس شد
1319
00:56:27,809 –> 00:56:28,530
اختراع شده توسط
1320
00:56:28,530 –> 00:56:31,380
توسعه دهندگان در گوگل اما در حال حاضر ما
1321
00:56:31,380 –> 00:56:33,300
توسط انجمن جداگانه نگهداری می شود
1322
00:56:33,300 –> 00:56:35,040
در حال حاضر انجمن به عنوان بومی ابر نامیده می شود
1323
00:56:35,040 –> 00:56:37,650
پایه محاسباتی و کوتاه
1324
00:56:37,650 –> 00:56:39,840
کار کردن با جوامع نیز سرگرم کننده است
1325
00:56:39,840 –> 00:56:41,670
بنابراین آنچه می خواهم با این اسلاید منتقل کنم
1326
00:56:41,670 –> 00:56:43,920
این است که شما از نظر جرقه و
1327
00:56:43,920 –> 00:56:46,170
استقرار آن شما می توانید در مورد کار
1328
00:56:46,170 –> 00:56:46,830
با آن
1329
00:56:46,830 –> 00:56:49,320
به تنهایی با نئوس با نخ با
1330
00:56:49,320 –> 00:56:51,900
آسان به و یا با جوامع به عنوان
1331
00:56:51,900 –> 00:56:54,480
خوب پس بیایید سریعاً وارد شویم
1332
00:56:54,480 –> 00:56:56,280
مقدمه ای از اینکه چگونه می توانیم بشناسیم یا اجرا کنیم
1333
00:56:56,280 –> 00:56:58,650
برنامه های کاربردی یا بچه های سخت تا یکی
1334
00:56:58,650 –> 00:57:00,120
چیزی که من می خواهم شما بچه ها به آن توجه داشته باشید
1335
00:57:00,120 –> 00:57:01,710
این نقطه از زمان است که جرقه است
1336
00:57:01,710 –> 00:57:04,140
در حال حاضر از پیش پیکربندی 4 یاردی بنابراین شما انجام دهید
1337
00:57:04,140 –> 00:57:05,990
نیاز به هیچ اضافی دیگری ندارد
1338
00:57:05,990 –> 00:57:08,730
پیکربندی برای اطلاع از اجرا در حال حاضر در یک
1339
00:57:08,730 –> 00:57:11,220
جرقه در نخ و من فکر می کنم این کلمه درب
1340
00:57:11,220 –> 00:57:13,170
این یک مزیت بزرگ برای زبان آموزان است
1341
00:57:13,170 –> 00:57:14,640
درست است، بنابراین فرض کنید باید الف بنویسید
1342
00:57:14,640 –> 00:57:16,500
کد hello world خیلی ساده اما بعد
1343
00:57:16,500 –> 00:57:17,880
شما باید بدانید که باید خرج کنید
1344
00:57:17,880 –> 00:57:20,310
سه ساعت برای تنظیم زمان اجرا
1345
00:57:20,310 –> 00:57:22,410
واقعا منطقی نیست و
1346
00:57:22,410 –> 00:57:24,180
احتمالاً بله، در پایان این کار را انجام خواهید داد
1347
00:57:24,180 –> 00:57:25,980
روز اما به عنوان یک مبتدی این کار را می کند
1348
00:57:25,980 –> 00:57:27,810
نمی شود حق به هر بدن حق بنابراین
1349
00:57:27,810 –> 00:57:29,520
افرادی که شما از طراحی جرقه زیبا هستند
1350
00:57:29,520 –> 00:57:31,530
قبلاً در مورد این موضوع بسیار فکر شده و
1351
00:57:31,530 –> 00:57:33,240
آنها از قبل برای مهار شما پیکربندی کرده اند
1352
00:57:33,240 –> 00:57:35,430
بنابراین ما قبلاً می دانیم یا اکنون زیبا هستیم
1353
00:57:35,430 –> 00:57:37,320
به اندازه ای که برای کنترل منابع استفاده می شود
1354
00:57:37,320 –> 00:57:39,030
مدیریت برای مراقبت از همه ما
1355
00:57:39,030 –> 00:57:40,830
برنامه ریزی وظایف برای ما و حتی آن
1356
00:57:40,830 –> 00:57:42,270
چند ویژگی امنیتی را ارائه می دهد
1357
00:57:42,270 –> 00:57:45,270
و همچنین باز هم امنیت یک امر اولیه است
1358
00:57:45,270 –> 00:57:46,890
جنبه برای بسیاری از برنامه های کاربردی که
1359
00:57:46,890 –> 00:57:49,230
ما می نویسیم و توسعه دهندگان در SPARC
1360
00:57:49,230 –> 00:57:51,450
ما را دوباره با منبع پوشش داده اند
1361
00:57:51,450 –> 00:57:53,760
پارک در حیاط دوباره امکان اجرا وجود دارد
1362
00:57:53,760 –> 00:57:56,190
هر برنامه ای در هر حالتی درست است بنابراین ما
1363
00:57:56,190 –> 00:57:57,780
دارای دو حالت خاص است که ما آن را می نامیم
1364
00:57:57,780 –> 00:57:59,580
حالت کلاس 2 و حالت مشتری بنابراین
1365
00:57:59,580 –> 00:58:01,200
حالت خوشه ای زمانی است که شما نیاز دارید
1366
00:58:01,200 –> 00:58:03,630
برنامه ای برای صحبت با چند گره
1367
00:58:03,630 –> 00:58:05,160
و می دانید که داده ها را از a
1368
00:58:05,160 –> 00:58:07,200
چند گره و به شما می دانید که بروید
1369
00:58:07,200 –> 00:58:10,050
در مورد بررسی شما برای رفتن به راه اندازی
1370
00:58:10,050 –> 00:58:12,720
برنامه شما اساساً در این مورد است
1371
00:58:12,720 –> 00:58:14,940
بچه های نمونه خاص با مشتری
1372
00:58:14,940 –> 00:58:16,770
حالت دوباره اکثر اوقات شما فقط
1373
00:58:16,770 –> 00:58:18,570
یک موجودیت واحد داشته باشید که باید داشته باشید
1374
00:58:18,570 –> 00:58:19,770
با آن کنار بیایید و باید ادامه دهید
1375
00:58:19,770 –> 00:58:21,930
راه رفتن با آن موجودیت پردازش با
1376
00:58:21,930 –> 00:58:23,730
منظورم این است که گره اصلی خواهد گفت
1377
00:58:23,730 –> 00:58:25,440
در نهایت آنچه آن برنامه به آن نیاز دارد
1378
00:58:25,440 –> 00:58:27,570
برای انجام اما سپس پردازش واقعی
1379
00:58:27,570 –> 00:58:30,210
استفاده از داده ها از داده ها و سپس شما
1380
00:58:30,210 –> 00:58:33,570
می دانی تا حدود زیادی در مورد شما می دانید
1381
00:58:33,570 –> 00:58:35,880
با هدف درخواست شما و به
1382
00:58:35,880 –> 00:58:37,440
اطمینان حاصل کنید که هدف به درستی برآورده شده است
1383
00:58:37,440 –> 00:58:38,940
دوباره مشتری بیشتر از حالت کلاستر
1384
00:58:38,940 –> 00:58:40,590
اساساً دو راه وجود دارد که می توانید
1385
00:58:40,590 –> 00:58:42,299
تقریباً برنامه spark را راه اندازی کنید
1386
00:58:42,299 –> 00:58:45,089
بچه ها تعطیلات پس این راننده پارک درسته
1387
00:58:45,089 –> 00:58:46,619
بنابراین ما چیزی به نام جرقه داریم
1388
00:58:46,619 –> 00:58:47,369
بچه های راننده
1389
00:58:47,369 –> 00:58:50,160
بنابراین این درایور شمع تقریباً کار می کند
1390
00:58:50,160 –> 00:58:53,099
ما به عنوان بخشی از برنامه کاربردی ما
1391
00:58:53,099 –> 00:58:55,289
آن را هستم اما این برنامه بله است
1392
00:58:55,289 –> 00:58:58,140
استاد و مدیریت این است
1393
00:58:58,140 –> 00:59:00,809
محرک جرقه خاص مدیریت
1394
00:59:00,809 –> 00:59:03,959
از برنامه مشتری ما از نظر
1395
00:59:03,959 –> 00:59:07,049
جرقه اساسا توسط نخ انجام می شود
1396
00:59:07,049 –> 00:59:09,390
مشتری را به محض شروع می شناسید
1397
00:59:09,390 –> 00:59:11,039
درخواست خود را به محض قرار دادن خود
1398
00:59:11,039 –> 00:59:13,259
برنامه در استقرار شما نیست
1399
00:59:13,259 –> 00:59:15,179
باید در مورد هر چیز دیگری نگران باشید
1400
00:59:15,179 –> 00:59:17,489
این نقطه به دلیل همانطور که ما داریم
1401
00:59:17,489 –> 00:59:20,279
ظرف نخ در برابر مذاکرات رقیب پرد
1402
00:59:20,279 –> 00:59:22,259
به طور مستقیم به ظرف، بنابراین شما فقط
1403
00:59:22,259 –> 00:59:24,209
نیاز به یک فرآیند واحد در
1404
00:59:24,209 –> 00:59:26,219
ظرف نخی که از آن مراقبت خواهد کرد
1405
00:59:26,219 –> 00:59:28,259
کل برنامه شما که چه خواهد شد
1406
00:59:28,259 –> 00:59:29,759
فرآیند همان چیزی است که ما به آن می گویند
1407
00:59:29,759 –> 00:59:31,469
برنامه خود را هدایت کنید تا بتواند اجرا شود
1408
00:59:31,469 –> 00:59:33,479
در مورد رانندگی برنامه شما می تواند
1409
00:59:33,479 –> 00:59:36,150
درخواست منابع از نخ یا می دانید
1410
00:59:36,150 –> 00:59:37,890
می تواند دستورات را صادر کند
1411
00:59:37,890 –> 00:59:40,229
چیزی به نام مدیر گره شما می توانید
1412
00:59:40,229 –> 00:59:43,170
از مجری جرقه خود بخواهید این کار را انجام دهد
1413
00:59:43,170 –> 00:59:44,910
کاری که قرار است آن را نیز انجام دهد
1414
00:59:44,910 –> 00:59:47,429
درست است بنابراین مدیر گره دوباره
1415
00:59:47,429 –> 00:59:49,019
ما قبلا دیده ایم و/یا موفق شده ایم
1416
00:59:49,019 –> 00:59:50,489
تقریباً با همه مجرد ما صحبت می کند
1417
00:59:50,489 –> 00:59:52,829
رویدادهای خوشه ای و من می دانم با همه صحبت می کند
1418
00:59:52,829 –> 00:59:55,469
از مجریان ما نیز تا تخصیص دهیم
1419
00:59:55,469 –> 00:59:57,329
منابع و انجام کار
1420
00:59:57,329 –> 00:59:59,789
و تمام داده ها را از یک واحد جمع آوری کنید
1421
00:59:59,789 –> 01:00:02,009
نقطه ورود ما ظرف نخ را داریم
1422
01:00:02,009 –> 01:00:04,199
بچه ها پس دوباره مدیر منابع بله
1423
01:00:04,199 –> 01:00:06,479
بنابراین راننده تقریباً با ما صحبت می کند
1424
01:00:06,479 –> 01:00:08,219
مدیران منابع و همچنین جایی که می رسد
1425
01:00:08,219 –> 01:00:09,989
تمام منابع را تخصیص می دهد
1426
01:00:09,989 –> 01:00:12,029
منابعی که شما تقریباً می شناسید
1427
01:00:12,029 –> 01:00:13,859
لازم است که این کار را نیز انجام دهند
1428
01:00:13,859 –> 01:00:15,630
بنابراین در پایان روز پس از
1429
01:00:15,630 –> 01:00:18,029
مجری یا می دانید آن وقت وظیفه شما را اجرا می کند
1430
01:00:18,029 –> 01:00:19,259
شما اشتباه می کنید، می دانید که وظیفه این است
1431
01:00:19,259 –> 01:00:21,390
کامل است یا بسیار ساده است
1432
01:00:21,390 –> 01:00:23,069
تمام چیزی که شما فقط باید بدانید که در چه چیزی هستید
1433
01:00:23,069 –> 01:00:24,900
Container همان کاری را انجام می دهد که مدیر گره انجام می دهد
1434
01:00:24,900 –> 01:00:26,789
و می دانید منابع چگونه پیش می روند
1435
01:00:26,789 –> 01:00:28,859
در حال تخصیص و یک زن و شوهر از چهار
1436
01:00:28,859 –> 01:00:31,890
فرآیندهای ساده مهمان پس دوباره زمانی که شما
1437
01:00:31,890 –> 01:00:33,569
در مورد آن درست فکر کنید تا در
1438
01:00:33,569 –> 01:00:35,219
حالت استقرار در این خاص
1439
01:00:35,219 –> 01:00:37,829
حالت استقرار درایور دوباره روی آن اجرا می شود
1440
01:00:37,829 –> 01:00:40,529
میزبانی که در آن ارائه می کردید
1441
01:00:40,529 –> 01:00:42,749
با کار درست، پس اگر در آن نشسته باشم
1442
01:00:42,749 –> 01:00:45,390
من و خانه ام کار را از آنجا می خواهیم
1443
01:00:45,390 –> 01:00:47,910
من فشار می دهم اصطلاحی که ما استفاده می کنیم تحت فشار قرار می گیرد
1444
01:00:47,910 –> 01:00:50,099
بنابراین به محض اینکه کار را از آنجا فشار می دهم
1445
01:00:50,099 –> 01:00:52,499
و اساسا در پایان روز آن را
1446
01:00:52,499 –> 01:00:54,530
نیاز به راننده باید اجرا شود
1447
01:00:54,530 –> 01:00:57,560
شما می دانید که کار خود را از آن سو فشار می دهید
1448
01:00:57,560 –> 01:00:59,570
مجری به همه داده ها نیاز دارد
1449
01:00:59,570 –> 01:01:01,520
سفارش انجام می دهد تقریباً ادامه دارد و نه
1450
01:01:01,520 –> 01:01:04,520
درخواست از حیاط و حیاط صحبت خواهد کرد
1451
01:01:04,520 –> 01:01:06,770
به برنامه ما استاد یک برنامه
1452
01:01:06,770 –> 01:01:08,330
استاد در نهایت تمام آن را خواهد داد
1453
01:01:08,330 –> 01:01:10,430
داده هایی که به آن نیاز دارد، سپس با نخ صحبت کنید
1454
01:01:10,430 –> 01:01:12,230
مدیر منابع یا چنین مدیری خواهد بود
1455
01:01:12,230 –> 01:01:14,180
دست خوب دستورات منابع هستند
1456
01:01:14,180 –> 01:01:16,520
ارسال به مجری و در پایان از
1457
01:01:16,520 –> 01:01:18,800
روزی که اجرا کرد بله پس آه
1458
01:01:18,800 –> 01:01:21,140
به سرعت به مفهوم بعدی می پرید
1459
01:01:21,140 –> 01:01:23,660
که یک پوسته جرقه ای است پس بچه ها جرقه می زنند
1460
01:01:23,660 –> 01:01:25,820
پوسته تقریباً یک چیزی است که شما آن را می شناسید
1461
01:01:25,820 –> 01:01:28,340
ساده ترین راه را ارائه می دهد
1462
01:01:28,340 –> 01:01:31,580
یاد بگیرید که جرقه در واقع چیست اما انجام دهید
1463
01:01:31,580 –> 01:01:33,380
فریب سادگی پوسته را نخورید
1464
01:01:33,380 –> 01:01:35,210
زیرا برنامه نویسی پوسته دوباره یک است
1465
01:01:35,210 –> 01:01:37,400
دارایی بزرگ برای هر برنامه نویس یا به دلیل
1466
01:01:37,400 –> 01:01:38,960
در پایان روز دوباره بسیار است
1467
01:01:38,960 –> 01:01:41,000
ابزار قدرتمندی که برای اجرا استفاده می شود
1468
01:01:41,000 –> 01:01:43,700
تجزیه و تحلیل عمیق و همچنین نوشتن
1469
01:01:43,700 –> 01:01:45,470
دستور shell من شخصا آن را ترجیح می دهم
1470
01:01:45,470 –> 01:01:47,240
سرگرم کننده باشید زیرا می دانید که می توانید
1471
01:01:47,240 –> 01:01:49,130
به تعامل با پوسته بروید
1472
01:01:49,130 –> 01:01:52,190
به طور مستقیم و شما می دانید که به آن عادت کنید
1473
01:01:52,190 –> 01:01:54,230
برای دیدن کدهای زیادی که برای خودم فکر می کنم
1474
01:01:54,230 –> 01:01:57,530
کاردک ها فقط بچه ها سرگرم کننده هستند راس هم همینطور
1475
01:01:57,530 –> 01:02:00,170
پارک شما پوسته را تقریباً می شناسید
1476
01:02:00,170 –> 01:02:02,480
دوباره آن را سه نوع فرض شده است
1477
01:02:02,480 –> 01:02:04,190
مورد پوسته های تعاملی بنابراین ما یک
1478
01:02:04,190 –> 01:02:07,070
پوسته جرقه ای با فرمت های فیلم اسکالا
1479
01:02:07,070 –> 01:02:09,380
PI تا 9 با آریس خوب است تا ما را بشناسید
1480
01:02:09,380 –> 01:02:11,330
می تواند در مورد تمرکز و یا چگونه آن
1481
01:02:11,330 –> 01:02:14,030
با Tov Python کار می کند بیایید سریع شیرجه بزنیم
1482
01:02:14,030 –> 01:02:16,880
به چه چیزی یک Spark Web UI است
1483
01:02:16,880 –> 01:02:18,560
فکر کن در مورد چی فکر میکنی
1484
01:02:18,560 –> 01:02:21,920
da spark web UI که در آن می توانید از شما استفاده کنید
1485
01:02:21,920 –> 01:02:23,840
Spark web UI و آنچه می توانید انجام دهید را بدانید
1486
01:02:23,840 –> 01:02:25,610
در مورد انجام صحیح آن به سرعت یک
1487
01:02:25,610 –> 01:02:27,320
دقیقه تا ببینم میدانی آیا چیزی میآید
1488
01:02:27,320 –> 01:02:29,330
در ذهن شما یا یا احتمالاً اگر دارید
1489
01:02:29,330 –> 01:02:31,280
این را در جای دیگری دیده یا خوانده اید
1490
01:02:31,280 –> 01:02:34,070
قبلاً نیز بنابراین امیدوارم شما بچه ها
1491
01:02:34,070 –> 01:02:37,040
نمی توانستم چیزی را بفهمم که در راه است
1492
01:02:37,040 –> 01:02:39,020
به ساعت مفهوم و رابط کاربری وب است
1493
01:02:39,020 –> 01:02:41,780
باز هم تقریباً رابط وب a
1494
01:02:41,780 –> 01:02:44,210
بچه های برنامه اسپارک پس چرا این کار را می کنید
1495
01:02:44,210 –> 01:02:46,490
در پایان دوباره به یک برنامه وب نیاز دارید
1496
01:02:46,490 –> 01:02:48,980
از روز UI واقعا خوب است و شما
1497
01:02:48,980 –> 01:02:50,870
ترجیح می دهم یک نگاهی به آن داشته باشید
1498
01:02:50,870 –> 01:02:52,910
در رابط کاربری سریع و شما می دانید چیزهای شکل
1499
01:02:52,910 –> 01:02:54,680
خیلی سریع به جای خروج
1500
01:02:54,680 –> 01:02:56,810
کثیف درست به خوبی عمدتا برای آن استفاده می شود
1501
01:02:56,810 –> 01:02:58,730
بازرسی برای دیدن چه جرقه ای است
1502
01:02:58,730 –> 01:03:00,620
مشاغل آنچه را که در حال وقوع است انجام می دهند
1503
01:03:00,620 –> 01:03:02,870
زیر لیوانی های خاص شما و همه اینها
1504
01:03:02,870 –> 01:03:05,780
مورد پس در نظر بگیرید که در آن هر بار
1505
01:03:05,780 –> 01:03:07,180
می دانید که یک قدرت خبری ایجاد می کنید
1506
01:03:07,180 –> 01:03:09,160
زمینه این اساسا به شما خواهد گفت
1507
01:03:09,160 –> 01:03:11,020
برنامه برای راه اندازی شما یکی را می شناسید
1508
01:03:11,020 –> 01:03:13,329
نمونه ای از رابط کاربری وب شما Oh your review I
1509
01:03:13,329 –> 01:03:16,390
می تواند تا حد زیادی در آن به عنوان آن را در
1510
01:03:16,390 –> 01:03:17,950
دستگاه میزبان محلی درست است بنابراین وجود دارد
1511
01:03:17,950 –> 01:03:20,109
این شناسه خاص که می توانید از آن استفاده کنید
1512
01:03:20,109 –> 01:03:22,510
و بله شما می توانید خیلی کارها را با آن انجام دهید
1513
01:03:22,510 –> 01:03:24,730
که بتوانید با شغل پیاده روی کنید
1514
01:03:24,730 –> 01:03:26,920
می توانید وضعیت را بررسی کنید
1515
01:03:26,920 –> 01:03:29,500
درخواست شما این است که می توانید بررسی کنید
1516
01:03:29,500 –> 01:03:30,940
فضای ذخیره سازی که می دانید چیست
1517
01:03:30,940 –> 01:03:34,150
مشکل با فضای ذخیره سازی یا آنچه که در حال وقوع است
1518
01:03:34,150 –> 01:03:35,859
به این معناست که چه مقدار داده یا هر کدام
1519
01:03:35,859 –> 01:03:37,510
برنامه نیاز دارد تا بتوانید به آن بروید
1520
01:03:37,510 –> 01:03:39,160
می دانید که تخصیص دهنده منابع خود را دارید
1521
01:03:39,160 –> 01:03:41,950
بنابراین اختصاص دهید که بتوانید آن را بررسی کنید
1522
01:03:41,950 –> 01:03:43,960
محیطی که در آن کار می شود
1523
01:03:43,960 –> 01:03:46,210
در حق خیلی چیزها که شما می توانید
1524
01:03:46,210 –> 01:03:47,890
انجام دهید و با خودتان صحبت خواهید کرد
1525
01:03:47,890 –> 01:03:49,510
مجریان در پایان روز نیز
1526
01:03:49,510 –> 01:03:51,790
بنابراین یک B Y واقعاً شما یک راه سرگرم کننده را می شناسید
1527
01:03:51,790 –> 01:03:54,550
به آن نگاه کنید تا کار متوقف شود
1528
01:03:54,550 –> 01:03:56,829
دوباره بله معمولاً به آن عادت می شود
1529
01:03:56,829 –> 01:03:58,809
تمام وضعیت هر چیزی که هست را نشان دهد
1530
01:03:58,809 –> 01:04:01,270
با مشاغل فعلی SPARC شما اتفاق می افتد
1531
01:04:01,270 –> 01:04:03,460
در آن برنامه خاص بچه ها بنابراین
1532
01:04:03,460 –> 01:04:05,230
همانطور که قبلاً به SPARC اشاره کردم
1533
01:04:05,230 –> 01:04:07,150
شما به زمینه نگاه خواهید کرد
1534
01:04:07,150 –> 01:04:09,579
در برگه کار اساسا دوباره این
1535
01:04:09,579 –> 01:04:12,220
محتوای برگه خاص یا مشاغل شامل
1536
01:04:12,220 –> 01:04:13,780
معمولاً از دو صفحه تشکیل شده است
1537
01:04:13,780 –> 01:04:15,880
همه مشاغلی که به شما داده می شود را می دانید
1538
01:04:15,880 –> 01:04:18,339
شما با ما خوب به ارائه شده است
1539
01:04:18,339 –> 01:04:20,589
به لیست تمام مشاغل نگاه کنید و سپس
1540
01:04:20,589 –> 01:04:22,359
حالا میتوانید همه چیز را پیدا کنید
1541
01:04:22,359 –> 01:04:24,700
جزئیات برای هر شغل فردی نیز هست
1542
01:04:24,700 –> 01:04:27,730
و بعداً اساساً برگه ای که شما
1543
01:04:27,730 –> 01:04:29,890
بدانید چه کاری انجام می دهد باید نمایش دهید
1544
01:04:29,890 –> 01:04:32,770
مراحل خود را در هر ایالت فرض کنید که دارید
1545
01:04:32,770 –> 01:04:34,630
حالت شما باشد و منظور من شماست
1546
01:04:34,630 –> 01:04:36,250
برنامه در حالت فعال است
1547
01:04:36,250 –> 01:04:38,380
کار می کند برنامه شما در انتظار است
1548
01:04:38,380 –> 01:04:40,869
اجرای برنامه شما تکمیل شده است
1549
01:04:40,869 –> 01:04:43,270
اجرای آن نادیده گرفته شده یا شده است
1550
01:04:43,270 –> 01:04:44,950
شکست خورد و خراب شد شما چیزی می دانید
1551
01:04:44,950 –> 01:04:47,020
آن را دوست دارم تا همه اینها را بفهمم
1552
01:04:47,020 –> 01:04:49,930
فکر کنید رابط کاربری وب واقعاً مفید است
1553
01:04:49,930 –> 01:04:53,339
و برگه مراحل دوباره به شما می گوید
1554
01:04:53,339 –> 01:04:55,869
اساسا زمانی که برنامه جرقه شما
1555
01:04:55,869 –> 01:04:58,210
اساسا مورد مقداردهی اولیه شد بنابراین
1556
01:04:58,210 –> 01:05:01,270
زبانه مراحلی که در حال بررسی آن هستیم
1557
01:05:01,270 –> 01:05:03,849
اساسا برای نشان دادن آن جریان استفاده می شود
1558
01:05:03,849 –> 01:05:06,339
نمونه ای از آنچه اتفاق می افتد دوباره به عنوان
1559
01:05:06,339 –> 01:05:07,630
قبلاً از طریق آن به شما گفته ام
1560
01:05:07,630 –> 01:05:08,980
به عنوان مثال می توان آن را متوقف کرد، می توان آن را متوقف کرد
1561
01:05:08,980 –> 01:05:10,340
اعدام میدونی
1562
01:05:10,340 –> 01:05:12,440
و من هم می تواند مراحل زیادی داشته باشد
1563
01:05:12,440 –> 01:05:14,450
اساساً می توانید به سفارشی سازی بروید
1564
01:05:14,450 –> 01:05:16,880
اما اجازه دهید وارد آن نشویم
1565
01:05:16,880 –> 01:05:19,640
عمق در حال حاضر دوباره برگه مراحل
1566
01:05:19,640 –> 01:05:21,230
شما می دانید که شامل تمام مراحل صفحه است
1567
01:05:21,230 –> 01:05:22,850
جایی که فضا مراحل را به شما می گوید
1568
01:05:22,850 –> 01:05:24,530
از همه برنامه های خود را پس می توانید
1569
01:05:24,530 –> 01:05:26,450
تا حد زیادی به صفحه یک مرحله ای حرکت کنید و
1570
01:05:26,450 –> 01:05:27,650
بعداً چیزی به نام قرقره دارید
1571
01:05:27,650 –> 01:05:30,200
سرعت و همچنین این و یا آمدن به ذخیره سازی
1572
01:05:30,200 –> 01:05:32,720
خوب بله یا برگه ذخیره سازی دوباره می رود
1573
01:05:32,720 –> 01:05:34,520
در مورد نمایش اطلاعات در مورد
1574
01:05:34,520 –> 01:05:37,070
rdd دوباره یا اگر نمی دانید چیست
1575
01:05:37,070 –> 01:05:40,520
rdd’s امیدوارم کنجکاوی شما را زیر نظر گرفته باشم
1576
01:05:40,520 –> 01:05:43,280
در مورد آنچه هستند و کل این ماژول
1577
01:05:43,280 –> 01:05:45,290
تقریباً در مورد RDD است بنابراین ما خواهیم بود
1578
01:05:45,290 –> 01:05:47,150
چک کردن آن در دو بعدی
1579
01:05:47,150 –> 01:05:49,640
دوباره در ستاره ذخیره سازی ما اسلاید می شود
1580
01:05:49,640 –> 01:05:51,290
چیزی به نام صفحه کسی که در آن
1581
01:05:51,290 –> 01:05:54,200
صفحه خلاصه اساسا به ما نشان می دهد
1582
01:05:54,200 –> 01:05:57,170
سطوح ذخیره سازی و پارتیشن های همه
1583
01:05:57,170 –> 01:06:00,440
اینها بنابراین دنیز ما و اندازه آن را نشان می دهد
1584
01:06:00,440 –> 01:06:02,720
و مجری هایی که برای
1585
01:06:02,720 –> 01:06:05,090
این استفاده از پارتیشن بندی فردی ما
1586
01:06:05,090 –> 01:06:07,310
داده ها داده ها را در یک ساختار سازماندهی می کند
1587
01:06:07,310 –> 01:06:08,990
راه احتمالا و بچه ها
1588
01:06:08,990 –> 01:06:10,640
حقوق برگه سورج ما صحبت می کنیم
1589
01:06:10,640 –> 01:06:12,680
در مورد آن و شامل دو صفحه است
1590
01:06:12,680 –> 01:06:14,330
یک صفحه ذخیره سازی نامیده می شود و دیگری
1591
01:06:14,330 –> 01:06:16,310
به عنوان فضای ذخیره سازی صفحه BD ما نامیده می شود
1592
01:06:16,310 –> 01:06:17,840
فضا با همه از شما استقبال خواهد کرد
1593
01:06:17,840 –> 01:06:19,520
داده های برنامه شما چیست
1594
01:06:19,520 –> 01:06:21,740
مصرف کننده و صفحه DD ما خواهد گفت
1595
01:06:21,740 –> 01:06:23,660
شما از آنچه شما اشتباه داده های انعطاف پذیر
1596
01:06:23,660 –> 01:06:26,180
ست ها خام هستند که می دانید حمل می کنید
1597
01:06:26,180 –> 01:06:27,140
وزنی که حمل می کنند چقدر است
1598
01:06:27,140 –> 01:06:29,630
داده هایی که به شما ارائه می شود چیست؟
1599
01:06:29,630 –> 01:06:32,300
با منبع موجود است – به ترتیب
1600
01:06:32,300 –> 01:06:33,920
تخصیص داده شود و همه آن بچه ها
1601
01:06:33,920 –> 01:06:35,840
بعدی به Eeyore و Ranma می آید
1602
01:06:35,840 –> 01:06:37,640
اساساً مجدداً محیط را تب کنید
1603
01:06:37,640 –> 01:06:40,250
مقادیر متفاوت را نشان می دهد
1604
01:06:40,250 –> 01:06:42,020
پیکربندی میدانید که بسیاری از موارد را میدانید
1605
01:06:42,020 –> 01:06:44,090
متغیرها و محیط شما نیز
1606
01:06:44,090 –> 01:06:46,040
چرا در پایان به این خوب نیاز دارید؟
1607
01:06:46,040 –> 01:06:47,930
روز یا می دانی در تو قدم می زنی
1608
01:06:47,930 –> 01:06:50,600
می تواند با جاوا اسکالا پایتون کار کند
1609
01:06:50,600 –> 01:06:52,760
و شما با بسیاری از سیستم ها صحبت خواهید کرد
1610
01:06:52,760 –> 01:06:54,680
خواص در همان زمان و همچنین به
1611
01:06:54,680 –> 01:06:56,930
برو در مورد شما می دانید به شما سریع
1612
01:06:56,930 –> 01:06:59,060
به همه چیزهایی که حدس میزنم اینطور باشد نگاه کنید
1613
01:06:59,060 –> 01:07:01,700
دوباره آن را به یک پایگاه بسیار مهم تبدیل کنید
1614
01:07:01,700 –> 01:07:03,560
تب تقریباً به محض ایجاد آن
1615
01:07:03,560 –> 01:07:05,660
شما دو صفحه دارید، بنابراین یکی از آنها است
1616
01:07:05,660 –> 01:07:08,420
والدین جرقه UI بسیار خواهد بود آن را تقریبا
1617
01:07:08,420 –> 01:07:09,890
مانند دسترسی ادمین به برنامه شما
1618
01:07:09,890 –> 01:07:11,570
بیایید بگوییم و سپس شما برنامه را دارید
1619
01:07:11,570 –> 01:07:13,520
فروشگاهی را که می توانید در آن جا بروید مشخص کنید
1620
01:07:13,520 –> 01:07:15,200
کد نویسی و پیدا کردن آنچه شما
1621
01:07:15,200 –> 01:07:17,030
کاربرد است یا در آن نقطه انجام می شود
1622
01:07:17,030 –> 01:07:20,150
زمان و زبانه درب بعدی مهم است
1623
01:07:20,150 –> 01:07:21,820
تب مجریان بازار چون
1624
01:07:21,820 –> 01:07:24,070
کارکنان مجریان به شما یک تک می دهند
1625
01:07:24,070 –> 01:07:26,680
یک خلاصه بزرگ از آنچه در جریان است را صفحه کنید
1626
01:07:26,680 –> 01:07:29,530
با مجریان خود می دانید که اینطور بود
1627
01:07:29,530 –> 01:07:31,300
اساسا برای برنامه های شما ایجاد شده است
1628
01:07:31,300 –> 01:07:33,250
برای اجرا کردن، بنابراین چیزهای زیادی می تواند وجود داشته باشد
1629
01:07:33,250 –> 01:07:35,200
صفحه نمایش اما عمدتا شما نگران خواهید بود
1630
01:07:35,200 –> 01:07:37,810
با استفاده از حافظه استفاده از دیسک
1631
01:07:37,810 –> 01:07:40,180
وظیفه ای که در دست است در حال پردازش و
1632
01:07:40,180 –> 01:07:41,790
شما اطلاعاتی را می دانید که
1633
01:07:41,790 –> 01:07:43,180
با آن مطابقت دارد
1634
01:07:43,180 –> 01:07:45,280
آه ستون حافظه ذخیره سازی در
1635
01:07:45,280 –> 01:07:47,080
جدول مجریان تقریباً پیش می رود
1636
01:07:47,080 –> 01:07:49,270
دینو میزان حافظه را نشان می دهد
1637
01:07:49,270 –> 01:07:51,400
آن برنامه خاص مصرف می کند
1638
01:07:51,400 –> 01:07:53,560
در زمان واقعی و آن را به شما نشان می دهد
1639
01:07:53,560 –> 01:07:56,140
حافظه ای که اساساً برای آن رزرو شده است
1640
01:07:56,140 –> 01:07:58,630
ذخیره چند داده نیز بسیار مهم است
1641
01:07:58,630 –> 01:08:00,850
اقدامات کیچینگ در این مرحله ادامه دارد
1642
01:08:00,850 –> 01:08:03,760
جایی که ما به دسترسی سریعتر یا نزدیکی نیاز داریم
1643
01:08:03,760 –> 01:08:06,280
برنامه های بلادرنگ بنابراین شما خام ما
1644
01:08:06,280 –> 01:08:08,680
برگه know executors تقریباً به ما می دهد
1645
01:08:08,680 –> 01:08:11,320
اون آدم بزرگ اونجا داره ادامه میده
1646
01:08:11,320 –> 01:08:13,390
در مرحله بعد می توانیم برویم ربات ها به سرعت کار می کنند
1647
01:08:13,390 –> 01:08:15,460
معرفی به پوسته پارک پارسا
1648
01:08:15,460 –> 01:08:17,859
بچه ها، همانطور که ما قبلاً از PI SPARC آگاه هستیم
1649
01:08:17,859 –> 01:08:20,109
پوسته دوباره جرقه ما را آشکار می کند
1650
01:08:20,109 –> 01:08:22,359
مدل برنامه نویسی مستقیماً روی پایتون
1651
01:08:22,359 –> 01:08:24,279
و ما می توانیم نقشه برداری کنیم
1652
01:08:24,279 –> 01:08:27,520
استفاده مستقیم از پایتون با SPARC و ما
1653
01:08:27,520 –> 01:08:29,500
جرقه PI تقریباً ما را به هم پیوند می دهد
1654
01:08:29,500 –> 01:08:32,109
کل API پایتون مستقیماً روی ما
1655
01:08:32,109 –> 01:08:34,960
هسته جرقه و از آن برای مقداردهی اولیه استفاده می شود
1656
01:08:34,960 –> 01:08:37,210
زمینه جرقه نیز و همانطور که من دارم
1657
01:08:37,210 –> 01:08:39,010
قبلاً مدتی به ذکر کردن ادامه داده است
1658
01:08:39,010 –> 01:08:41,529
در حال حاضر اکثریت کارشناسان اکثریت
1659
01:08:41,529 –> 01:08:43,930
متخصصان تجزیه و تحلیل دانشمندان داده می گویند
1660
01:08:43,930 –> 01:08:46,180
شما می دانید که آنها از پایتون استفاده می کنند زیرا از پایتون استفاده می کند
1661
01:08:46,180 –> 01:08:49,720
این مقدار شگفت انگیز کتابخانه عظیم یا
1662
01:08:49,720 –> 01:08:51,700
جایی که تقریباً می توانید یک کتابخانه پیدا کنید
1663
01:08:51,700 –> 01:08:54,399
حتی برای یکی از نیازهای سفارشی شما
1664
01:08:54,399 –> 01:08:57,069
و همچنین بنابراین شما در پایان از
1665
01:08:57,069 –> 01:08:59,859
روز من مطمئن هستم که افراد در SPARC مجبور بودند
1666
01:08:59,859 –> 01:09:02,589
پایتون را با آن ادغام کنید زیرا فکر کنید
1667
01:09:02,589 –> 01:09:04,569
در مورد آن بنابراین پایتون به شما امکان دسترسی به آن را می دهد
1668
01:09:04,569 –> 01:09:08,319
کتابخانه های متعدد متعدد و سپس اگر
1669
01:09:08,319 –> 01:09:11,589
شما می توانید همه اینها را همراه با جرقه انجام دهید
1670
01:09:11,589 –> 01:09:14,350
سلام بچه ها این یک برد-برد است درست است
1671
01:09:14,350 –> 01:09:16,660
ادغام پایتون با اسپارک بود
1672
01:09:16,660 –> 01:09:18,970
قطعاً یک موهبت است بله می دانم که می توانم
1673
01:09:18,970 –> 01:09:21,640
تضمین برای آن پس آه بله بخش آخر
1674
01:09:21,640 –> 01:09:23,140
دوباره نیاز به در دسترس بودن پایتون دارد
1675
01:09:23,140 –> 01:09:26,620
در مسیر سیستم زیرا SPARC نیاز دارد
1676
01:09:26,620 –> 01:09:29,170
تا بدانید پایتون کجاست و می دانید
1677
01:09:29,170 –> 01:09:31,960
برای اینکه این محور درک نشده باشد
1678
01:09:31,960 –> 01:09:34,240
محور اساسا و آن اساسا
1679
01:09:34,240 –> 01:09:34,819
عادت داشتن
1680
01:09:34,819 –> 01:09:36,529
تمام برنامه ها را اجرا کنید تا به
1681
01:09:36,529 –> 01:09:38,750
به سرعت به شما ایده ای از آنچه که
1682
01:09:38,750 –> 01:09:41,359
پوسته جرقه ای به نظر می رسد اینجا چیزی است که در آن وجود دارد
1683
01:09:41,359 –> 01:09:43,729
به خوبی در دستگاه ویندوز 10 به نظر می رسد
1684
01:09:43,729 –> 01:09:45,560
شما تقریباً می توانید بدانید که بروید
1685
01:09:45,560 –> 01:09:47,569
در مورد نصب اسپارک یعنی نصب
1686
01:09:47,569 –> 01:09:49,760
جرقه در Windows Azure بسیار ساده است
1687
01:09:49,760 –> 01:09:51,710
بله، به محض اینکه راب خود را باز کنید
1688
01:09:51,710 –> 01:09:53,990
بنابراین شما پوسته جرقه را می شناسید و می روید
1689
01:09:53,990 –> 01:09:56,480
در مورد تایپ PI spark می توان به شما خوش آمد گفت
1690
01:09:56,480 –> 01:09:58,040
با پیامی که می گوید آپاچی spark
1691
01:09:58,040 –> 01:10:00,770
با ویتامین این تنها چیزی است که می دانید
1692
01:10:00,770 –> 01:10:02,990
مردم ممکن است دوست داشته باشند با پوسته و
1693
01:10:02,990 –> 01:10:04,700
ممکن است برخی افراد ترجیح ندهند
1694
01:10:04,700 –> 01:10:07,190
این ترجیح شخصی است اما گاهی اوقات
1695
01:10:07,190 –> 01:10:10,160
بله، من هنوز به قولم پایبند هستم
1696
01:10:10,160 –> 01:10:12,380
می دانید که کار با پوسته سرگرم کننده است و
1697
01:10:12,380 –> 01:10:14,450
در آینده نیز چیزهای زیادی یاد خواهید گرفت
1698
01:10:14,450 –> 01:10:16,730
بنابراین به سرعت یک مرور کلی از چگونگی ما داشته باشید
1699
01:10:16,730 –> 01:10:19,640
می توانید روز کاری جرقه PI را ارسال کنید تا با
1700
01:10:19,640 –> 01:10:22,520
از نظر جرقه پی یا به طور کلی جرقه
1701
01:10:22,520 –> 01:10:25,430
این همه کد ما یا شما نیست
1702
01:10:25,430 –> 01:10:27,140
مستقل از یکدیگر درست بدانند بنابراین
1703
01:10:27,140 –> 01:10:29,120
گاهی اوقات ما این کد بومی را داریم
1704
01:10:29,120 –> 01:10:30,800
وابستگی می تواند با دیگران باشد
1705
01:10:30,800 –> 01:10:32,750
پروژه هایی که می توانید چندین منبع داشته باشید
1706
01:10:32,750 –> 01:10:34,160
کدهایی که از چندگانه وارد می شوند
1707
01:10:34,160 –> 01:10:36,590
مسیرها و سپس شما نیاز به راهی برای رفتن دارید
1708
01:10:36,590 –> 01:10:38,930
در مورد بسته بندی آنها با خود
1709
01:10:38,930 –> 01:10:41,210
برنامه و می دانید که به این نیاز دارید
1710
01:10:41,210 –> 01:10:43,130
کدی که باید اساساً به آن توزیع شود
1711
01:10:43,130 –> 01:10:44,600
هر گره روی قلب شما خام است
1712
01:10:44,600 –> 01:10:47,150
خوشه جرقه و همچنین برای این ما
1713
01:10:47,150 –> 01:10:49,160
معمولاً می دانید که ما به دنبال ایجاد یک می باشیم
1714
01:10:49,160 –> 01:10:52,130
فایل اسمبلی jar که حاوی کد ما است
1715
01:10:52,130 –> 01:10:54,290
و تمام وابستگی های آن وجود دارد
1716
01:10:54,290 –> 01:10:56,210
یک نیاز سریع برای جاوا و همچنین
1717
01:10:56,210 –> 01:10:58,610
شما حتی ممکن است دوباره که می تواند داشته باشد
1718
01:10:58,610 –> 01:11:00,560
پلاگین های اسمبلی من اساسا وقتی هستم
1719
01:11:00,560 –> 01:11:03,320
ما در حال ایجاد کوزه های شما هستیم تا همه بگویند
1720
01:11:03,320 –> 01:11:05,120
لیست ها و جرقه و OOP
1721
01:11:05,120 –> 01:11:07,580
پس باز هم اینها وابستگی های خاصی هستند
1722
01:11:07,580 –> 01:11:09,920
که برای کار با من باید بشناسیم و
1723
01:11:09,920 –> 01:11:12,320
من در اینجا یک مرور کلی سریع به عنوان
1724
01:11:12,320 –> 01:11:13,730
خوب پس پس از آن ما آن را خواهیم داشت
1725
01:11:13,730 –> 01:11:15,950
فایل jar مونتاژ شده با اطمینان می توانیم
1726
01:11:15,950 –> 01:11:18,200
اساساً آن را فایل bin یا ما می نامیم
1727
01:11:18,200 –> 01:11:20,990
اسکریپت ارسال جرقه که استفاده می شود
1728
01:11:20,990 –> 01:11:23,300
اساسا همانطور که از نام نشان می دهد برای ارسال
1729
01:11:23,300 –> 01:11:25,250
اسکریپت ما را هنگام عبور از ما می دانید
1730
01:11:25,250 –> 01:11:28,040
فایل jar و همینطور به محض زدن a
1731
01:11:28,040 –> 01:11:30,380
جرقه ارسال بنابراین این اسکریپت اساسا است
1732
01:11:30,380 –> 01:11:32,930
برای راه اندازی برنامه هایی که
1733
01:11:32,930 –> 01:11:34,940
شما فقط برنامه ریزی کرده اید و آن را ادامه می دهید
1734
01:11:34,940 –> 01:11:37,580
هزینه گاز دوباره یک فراخوان سریع
1735
01:11:37,580 –> 01:11:39,260
جرقه قبلاً برای نخ تنظیم شده است
1736
01:11:39,260 –> 01:11:40,400
به هیچ چیز اضافی نیاز ندارد
1737
01:11:40,400 –> 01:11:43,070
پیکربندی برای اجرای yar و کنترل ها
1738
01:11:43,070 –> 01:11:43,940
تمام مدیریت منابع ما
1739
01:11:43,940 –> 01:11:45,699
برنامه ریزی ناامن
1740
01:11:45,699 –> 01:11:47,380
ممکن است بدانید که اجرا کنید
1741
01:11:47,380 –> 01:11:49,120
برنامه دیگر به عنوان یک درست است
1742
01:11:49,120 –> 01:11:51,100
حالت خوشه ای از حالت مشتری تا باشد
1743
01:11:51,100 –> 01:11:52,960
راه اندازی آن و خوشه حالت مشتری
1744
01:11:52,960 –> 01:11:55,030
شما فقط می دانید که فقط باید در مورد آن بروید
1745
01:11:55,030 –> 01:11:57,460
با استفاده از این قطعه کد ساده به شما
1746
01:11:57,460 –> 01:11:59,110
ممکن است از همه بک اسلش ها تعجب کنید
1747
01:11:59,110 –> 01:12:01,150
درست است پس اگر قصد استفاده دارید
1748
01:12:01,150 –> 01:12:03,730
برنامه نویسی پوسته یا شما می خواهید
1749
01:12:03,730 –> 01:12:05,710
خواهد شد شما می دانید با استفاده از شما در معرض
1750
01:12:05,710 –> 01:12:08,710
به بسیاری از اسلش نیز همچنین یک
1751
01:12:08,710 –> 01:12:10,929
مکث سریع صفحه و من می دانم سعی کنید
1752
01:12:10,929 –> 01:12:12,969
سعی کنید ببینم آیا می توانید من را بفهمید
1753
01:12:12,969 –> 01:12:14,500
یعنی در این مرحله مهم نیست
1754
01:12:14,500 –> 01:12:16,420
وقت آن است که بدانید این چه کاری انجام می دهد
1755
01:12:16,420 –> 01:12:18,760
اما بعد فقط ببینید آیا می توانید بفهمید
1756
01:12:18,760 –> 01:12:20,530
چیزی درست است بنابراین بیشتر شما
1757
01:12:20,530 –> 01:12:23,469
یادگیری به دلیل دیدگاه شما اتفاق می افتد
1758
01:12:23,469 –> 01:12:26,350
بنابراین شما سعی می کنید آن را کشف کنید و در مورد خود
1759
01:12:26,350 –> 01:12:28,090
خود و من فکر می کنم که بهتر است
1760
01:12:28,090 –> 01:12:29,739
حافظه را نیز به همین ترتیب به سرعت ادامه دهید
1761
01:12:29,739 –> 01:12:31,540
مکث کردن صفحه سینما برای دیدن اینکه آیا شما
1762
01:12:31,540 –> 01:12:33,190
می تواند چیزی را بفهمد و اگر شما
1763
01:12:33,190 –> 01:12:34,960
به هر حال نمی توانیم نگران نباشیم
1764
01:12:34,960 –> 01:12:36,760
چک کردن این و چند مورد بعدی
1765
01:12:36,760 –> 01:12:39,130
ماژول ها را در آنجا بدانید که می توانید دریافت کنید
1766
01:12:39,130 –> 01:12:41,290
آشنا با این نیز پس دوباره این
1767
01:12:41,290 –> 01:12:43,810
مراحلی است که ما برای شما استفاده خواهیم کرد
1768
01:12:43,810 –> 01:12:45,100
می دانم که در مورد ساخت
1769
01:12:45,100 –> 01:12:46,840
نرم افزار بنابراین ما ایجاد خواهیم کرد
1770
01:12:46,840 –> 01:12:49,239
سند اجازه دهید بگوییم که آن را PI spark می نامیم
1771
01:12:49,239 –> 01:12:51,909
job dot py o dot py پسوند زیرا
1772
01:12:51,909 –> 01:12:54,520
دوباره این همه یک فایل پایتون خواهد بود
1773
01:12:54,520 –> 01:12:56,949
آن را در درایوهای محلی خود ذخیره کنید
1774
01:12:56,949 –> 01:12:58,630
به محض باز کردن ماشین آلات و هر چیز دیگری
1775
01:12:58,630 –> 01:13:00,550
فایل بله پس هر چند ما چه کار می کنیم
1776
01:13:00,550 –> 01:13:02,650
اینجا چاپ خواهد شد سلام این یک است
1777
01:13:02,650 –> 01:13:04,780
جرقه PI درست است تا بتوانید این را آپلود کنید
1778
01:13:04,780 –> 01:13:07,989
فایل خاص در آزمایشگاه های ابری ما
1779
01:13:07,989 –> 01:13:09,940
کیس ذخیره سازی محلی پس اگر نیستید
1780
01:13:09,940 –> 01:13:11,560
استفاده از ماشین مجازی در این
1781
01:13:11,560 –> 01:13:13,330
نقطه زمانی شما می توانید این کوچک را داشته باشید
1782
01:13:13,330 –> 01:13:16,330
سلام کد جهانی به ما فشار داده می شود
1783
01:13:16,330 –> 01:13:18,760
فضای ذخیره سازی محلی آزمایشگاه ابری و شما می توانید
1784
01:13:18,760 –> 01:13:20,770
انجام این مراحل خاص را می دانید
1785
01:13:20,770 –> 01:13:24,340
برای ادامه کار در حال حاضر با یک مورد بنابراین
1786
01:13:24,340 –> 01:13:25,719
اساساً همانطور که قبلاً به آن اشاره کردم
1787
01:13:25,719 –> 01:13:27,040
برنامه خود را که از آن استفاده خواهید کرد اجرا کنید
1788
01:13:27,040 –> 01:13:29,949
اسپارک ارسال استاد و ما خواهیم بود
1789
01:13:29,949 –> 01:13:31,600
از خوشه نخ در اینجا استفاده کنید پس ما هستیم
1790
01:13:31,600 –> 01:13:33,820
با استفاده از استقرار نخ و به محض رفتن
1791
01:13:33,820 –> 01:13:35,739
در مورد استفاده از آن مشتری که می شناسید
1792
01:13:35,739 –> 01:13:38,159
شما در نهایت در مورد py آن را در مورد
1793
01:13:38,159 –> 01:13:40,929
تقریباً با آن راه رفتن و اگر شما
1794
01:13:40,929 –> 01:13:42,940
می توانید اینجا را ببینید اگر می توانید بررسی کنید
1795
01:13:42,940 –> 01:13:44,949
ماوس اینجا جایی است که شما خود را دارید
1796
01:13:44,949 –> 01:13:47,949
خروجی برنامه نیز همینطور است
1797
01:13:47,949 –> 01:13:49,210
چگونه می دانید که در مورد
1798
01:13:49,210 –> 01:13:51,969
ارائه اشکالات سوگیری از این و غیره
1799
01:13:51,969 –> 01:13:53,860
چگونه می توانیم یک خار PI را بررسی کنیم
1800
01:13:53,860 –> 01:13:55,390
شغلی که می شناسید با استفاده از چند
1801
01:13:55,390 –> 01:13:58,000
تظاهر به نوت بوک آه پس آره پس من فقط
1802
01:13:58,000 –> 01:14:00,160
پارک کنید و خیلی راحت بروید
1803
01:14:00,160 –> 01:14:02,920
در حال اجرا در حالت مستقل خود است که ما
1804
01:14:02,920 –> 01:14:05,620
بحث کرده اند و این را کوچک می دانند
1805
01:14:05,620 –> 01:14:07,450
مثال من فقط در سمت راست برای شما است
1806
01:14:07,450 –> 01:14:09,040
درست است پس این دوباره همکاری گوگل است
1807
01:14:09,040 –> 01:14:10,630
من به سرعت شما را از طریق راه رفتن
1808
01:14:10,630 –> 01:14:13,270
در این مثال خاص ما به همین ترتیب
1809
01:14:13,270 –> 01:14:15,640
بخشی از پای را برای استفاده ما وارد کنید
1810
01:14:15,640 –> 01:14:17,260
ابتدا PI spark را نصب خواهیم کرد
1811
01:14:17,260 –> 01:14:19,240
ما وارد کردن PI جرقه خواهد بود
1812
01:14:19,240 –> 01:14:21,130
راه اندازی یک زمینه جرقه ای که می شناسید
1813
01:14:21,130 –> 01:14:23,410
به دنبال آن ما یک را اجرا خواهیم کرد
1814
01:14:23,410 –> 01:14:25,090
محاسبه بنابراین ما از مد استفاده می کنیم
1815
01:14:25,090 –> 01:14:27,670
عملکرد آه این اساساً پایه ما است
1816
01:14:27,670 –> 01:14:30,100
شما می دانید کار جرقه و بعدا من خواهم شد
1817
01:14:30,100 –> 01:14:33,010
با استفاده از یک عملیات RDD برای انجام یک
1818
01:14:33,010 –> 01:14:34,870
مورد تحول امیدوارم من هستم شما می دانید
1819
01:14:34,870 –> 01:14:36,910
دوباره انتخاب علاقه خود به چه چیزی است
1820
01:14:36,910 –> 01:14:40,330
RDD است بنابراین اگر من به شما می دانم به شما
1821
01:14:40,330 –> 01:14:43,270
یک تریلر کوچک از دی وی دی های ما
1822
01:14:43,270 –> 01:14:45,280
این نقطه از زمان به خوبی rdd در واقع
1823
01:14:45,280 –> 01:14:47,740
برای انعطاف پذیر یا توزیع شده ایستاده است
1824
01:14:47,740 –> 01:14:49,990
بچه ها مجموعه داده بنابراین زانوهای سوم هستند
1825
01:14:49,990 –> 01:14:52,060
ساختارهای بنیادی اسپارک و شما
1826
01:14:52,060 –> 01:14:55,480
بدانید هر مجموعه داده در RDD دوباره است
1827
01:14:55,480 –> 01:14:57,490
به تعداد زیادی پارتیشن محلی تقسیم شده است
1828
01:14:57,490 –> 01:14:59,980
که برای هر کدام متفاوت مورد نیاز است
1829
01:14:59,980 –> 01:15:01,960
خوشه ها و همه اینها یا به هر حال ما خواهیم کرد
1830
01:15:01,960 –> 01:15:04,150
به آن برمی گردم، پس سریع اجازه دهید
1831
01:15:04,150 –> 01:15:06,760
همکاری گوگل من را باز کنید تا بدانید
1832
01:15:06,760 –> 01:15:09,850
راه رفتن با همه برای ادویه پنجاب این است
1833
01:15:09,850 –> 01:15:12,550
بنابراین این گوگل فروپاشی شما می توانید
1834
01:15:12,550 –> 01:15:15,310
اساساً با تایپ کردن در collab به آن دسترسی پیدا کنید
1835
01:15:15,310 –> 01:15:18,220
اما محقق در google.com و این است
1836
01:15:18,220 –> 01:15:20,110
اساسا بچه ها در پایان روز
1837
01:15:20,110 –> 01:15:22,450
این فقط یک دفترچه یادداشت مشتری است که هست
1838
01:15:22,450 –> 01:15:24,610
شما می دانید که در Google Cloud میزبانی شده است بنابراین شما
1839
01:15:24,610 –> 01:15:26,980
می تواند کد شما را به راحتی در همه جا حمل کند
1840
01:15:26,980 –> 01:15:29,200
من با استفاده از Google collab آشنا بودم
1841
01:15:29,200 –> 01:15:31,270
برای چند سال از آن زمان
1842
01:15:31,270 –> 01:15:32,650
راه اندازی و من آن را واقعا آسان می دانم
1843
01:15:32,650 –> 01:15:35,050
اساسا آن را مورد راحتی بنابراین همه
1844
01:15:35,050 –> 01:15:37,270
شما انجام می دهید این است که کد خود را که تایپ می کنید اجرا کنید
1845
01:15:37,270 –> 01:15:39,460
کد شما پس اولین کد ما دوباره به
1846
01:15:39,460 –> 01:15:41,320
اساساً نسخه جاوا را بررسی کنید
1847
01:15:41,320 –> 01:15:42,850
نیاز است و به محض اینکه می روم و ضربه می زنم
1848
01:15:42,850 –> 01:15:45,190
دکمه play درست در کنار آن این کار را انجام داد
1849
01:15:45,190 –> 01:15:47,140
کد شما اجرا شده است و شما را می شناسید
1850
01:15:47,140 –> 01:15:48,850
لازم نیست پایتون را نصب کنید
1851
01:15:48,850 –> 01:15:50,260
باید وابستگی های شما را نصب کنید
1852
01:15:50,260 –> 01:15:52,120
نیازی به پیکربندی آن نیست
1853
01:15:52,120 –> 01:15:54,910
پیکربندی اجرا کننده زمان اجرا چیزی نیست
1854
01:15:54,910 –> 01:15:56,830
sohal که انجام می دهید این است که ضربه کد خود را وارد کنید
1855
01:15:56,830 –> 01:15:59,560
بازی کن و تو خوب هستی پس همین است
1856
01:15:59,560 –> 01:16:02,110
بچه ها چقدر ساده است بنابراین اساسا ما
1857
01:16:02,110 –> 01:16:04,930
چهار جاوا نسخه 11 در حال حاضر اما
1858
01:16:04,930 –> 01:16:06,820
برای برنامه های کاربردی جرقه ما بنابراین بسیاری از
1859
01:16:06,820 –> 01:16:07,239
زمان
1860
01:16:07,239 –> 01:16:10,420
جاوا 8 را ترجیح می دهم پس نصب می کنم
1861
01:16:10,420 –> 01:16:14,140
انتخاب به اساساً جاوا 8 است بنابراین من این کار را خواهم کرد
1862
01:16:14,140 –> 01:16:16,570
در حال نصب جاوا 8 برای
1863
01:16:16,570 –> 01:16:19,780
که و خواهد بود یا دانلود SPARC است
1864
01:16:19,780 –> 01:16:21,670
همچنین W Gators دوباره شما باید
1865
01:16:21,670 –> 01:16:23,739
آن را از یک سرور خاص دانلود کنید و
1866
01:16:23,739 –> 01:16:26,110
در اینجا لینک مرکزی رسمی برای
1867
01:16:26,110 –> 01:16:28,930
برداشتن آبگرم دو نقطه چهار نقطه چهار
1868
01:16:28,930 –> 01:16:31,840
بنابراین به محض اینکه من آن را داشتم می دانید
1869
01:16:31,840 –> 01:16:34,239
Google App در نقطه دانلود قرار می گیرد
1870
01:16:34,239 –> 01:16:36,520
و همچنین آن را در قسمت فایل آپلود کنید
1871
01:16:36,520 –> 01:16:38,320
این یک دقیقه طول می کشد تا ما را بشناسید
1872
01:16:38,320 –> 01:16:40,510
به محض اینکه کارمان تمام شد ادامه خواهد داد
1873
01:16:40,510 –> 01:16:43,200
با دانلود
1874
01:16:46,180 –> 01:16:48,820
به طوری که من دیدم حدود 20 ثانیه طول کشید
1875
01:16:48,820 –> 01:16:51,220
خیلی سریع بود و من شما را دیدم
1876
01:16:51,220 –> 01:16:53,080
دانلود کردم با فرمت zip درست بود
1877
01:16:53,080 –> 01:16:56,140
بنابراین آن را در یا tdz یا برای من است تا بروم
1878
01:16:56,140 –> 01:16:58,690
در مورد اجرای این ما ابتدا باید
1879
01:16:58,690 –> 01:16:59,350
تمام مدت
1880
01:16:59,350 –> 01:17:01,360
آن را به درستی از حالت فشرده خارج کنید تا ما از این دستور استفاده کنیم
1881
01:17:01,360 –> 01:17:03,970
به نام rxf جایی که خام آن را از حالت فشرده خارج می کنید
1882
01:17:03,970 –> 01:17:05,350
در قالبی که گوگل می تواند داشته باشد
1883
01:17:05,350 –> 01:17:08,200
آنچه در درون ما وجود دارد را درک می کند
1884
01:17:08,200 –> 01:17:11,080
خام اکنون می دانید که چگونه جرقه بزنید یا بود
1885
01:17:11,080 –> 01:17:11,770
خوب است
1886
01:17:11,770 –> 01:17:15,100
پس از این پس اگر چیزی را نصب کنید
1887
01:17:15,100 –> 01:17:18,100
به نام Azure fine spark می توانید پس
1888
01:17:18,100 –> 01:17:21,040
به سرعت حدس بزنید جرقه خوب چیست
1889
01:17:21,040 –> 01:17:23,620
احتمالاً می دانید که یک لحظه وقت بگذارید
1890
01:17:23,620 –> 01:17:25,660
پیدا کردن آنچه برای پیدا کردن جرقه است
1891
01:17:25,660 –> 01:17:28,150
در مورد آن فکر می کنم منظورم اگر شما نمی توانید
1892
01:17:28,150 –> 01:17:30,190
متوجه شوید که خوب است اوه پس
1893
01:17:30,190 –> 01:17:32,650
اساسا برای حفظ نمونه جرقه خود را به
1894
01:17:32,650 –> 01:17:35,350
قابل حمل باشد ما از یافته های پارک در استفاده می کنیم
1895
01:17:35,350 –> 01:17:36,760
در پایان روز بچه ها پس این است
1896
01:17:36,760 –> 01:17:38,740
ماژول بسیار کوچک پس این باید شما باشید
1897
01:17:38,740 –> 01:17:39,910
می دانم که حدس می زنم زیر پنج نصب شده باشد
1898
01:17:39,910 –> 01:17:42,310
ثانیه و این دوباره انجام می شود شما نیاز دارید
1899
01:17:42,310 –> 01:17:43,870
برای راه اندازی چند محیط
1900
01:17:43,870 –> 01:17:45,850
متغیرهایی که باید جاوا homie را راه اندازی کنیم
1901
01:17:45,850 –> 01:17:47,770
پراکنده از متغیر محیطی
1902
01:17:47,770 –> 01:17:49,840
جرقه خانه بنابراین کد برای رفتن وجود دارد
1903
01:17:49,840 –> 01:17:52,360
در مورد انجام آن و به محض ضربه زدن
1904
01:17:52,360 –> 01:17:55,300
بازی کنید و تمام شد، بگذارید ما را رها کنیم
1905
01:17:55,300 –> 01:17:57,190
درباره ایجاد اولین جلسه جرقه
1906
01:17:57,190 –> 01:17:59,110
بچه ها پس ما جرقه خوب وارد می کنیم یا
1907
01:17:59,110 –> 01:18:01,090
برای شروع جلسه نقطه ای خود
1908
01:18:01,090 –> 01:18:03,580
با استفاده از روش شروع نقطه ریز و سپس
1909
01:18:03,580 –> 01:18:07,150
ما وارد می کنیم یا می دانید PI spark
1910
01:18:07,150 –> 01:18:09,250
مقیاس های نقطه نقطه شامل این خواهد بود
1911
01:18:09,250 –> 01:18:11,320
ماژول SQL از جرقه خاص
1912
01:18:11,320 –> 01:18:14,320
جلسه و این فقط به آن می گوید
1913
01:18:14,320 –> 01:18:16,090
تنها یک نمونه محلی خواهد داشت که در آن
1914
01:18:16,090 –> 01:18:17,950
شما با آن کار می کنید تا دوباره در این
1915
01:18:17,950 –> 01:18:19,570
در نقطه زمانی شما هیچ کاری انجام نمی دهید به جز
1916
01:18:19,570 –> 01:18:21,450
فقط یک جلسه خالی برای ما ایجاد کرد
1917
01:18:21,450 –> 01:18:24,010
اما شما باید بدانید که ما برای
1918
01:18:24,010 –> 01:18:25,810
کد را نیز بررسی کنم تا نتوانم
1919
01:18:25,810 –> 01:18:27,970
فقط برای هسته اجرا کنید
1920
01:18:27,970 –> 01:18:29,980
زیرا جلسه اسپارک در حال اجرا است
1921
01:18:29,980 –> 01:18:32,530
در حال حاضر در همکاری، بنابراین سریع اجازه دهید
1922
01:18:32,530 –> 01:18:34,300
جلسه ما را متوقف کنید تا بدانید که ما می توانیم
1923
01:18:34,300 –> 01:18:35,560
خیلی عجله کن دوباره اجراش کن
1924
01:18:35,560 –> 01:18:37,780
در مرحله بعد باید PI spark را نصب کنیم
1925
01:18:37,780 –> 01:18:39,760
حالا جرقه می زنیم یا سریع بیایید
1926
01:18:39,760 –> 01:18:41,560
PI spark را نصب کنید بنابراین باید طول بکشد
1927
01:18:41,560 –> 01:18:43,690
حدود نیم دقیقه که من هستم
1928
01:18:43,690 –> 01:18:45,840
شما
1929
01:18:51,620 –> 01:18:54,300
اجازه دهید به سرعت توسط جرقه دوباره وارد کنیم
1930
01:18:54,300 –> 01:18:56,370
شروع یک جلسه جدید بیایید در مورد
1931
01:18:56,370 –> 01:18:58,469
ایجاد جرقه ما در تگزاس خارج از رمپ I
1932
01:18:58,469 –> 01:19:00,120
جرقه وارد کردن جرقه
1933
01:19:00,120 –> 01:19:02,550
پیکربندی دوباره از همان ماژول
1934
01:19:02,550 –> 01:19:04,500
ما در حال وارد کردن زمینه جرقه نیز هستیم
1935
01:19:04,500 –> 01:19:06,330
با تنظیم یک پیکربندی متغیر است
1936
01:19:06,330 –> 01:19:08,910
برابر با spark config convert set master
1937
01:19:08,910 –> 01:19:10,710
محلی است با گفتن به شما که تنها
1938
01:19:10,710 –> 01:19:12,719
نمونه محلی که اجرا خواهد شد شما می توانید
1939
01:19:12,719 –> 01:19:14,400
هر نام برنامه ای که می خواهید داشته باشید
1940
01:19:14,400 –> 01:19:16,199
و در اینجا ما آن را اصول اولیه جرقه می نامیم
1941
01:19:16,199 –> 01:19:18,480
بچه ها شما s es es دوباره جرقه ما دارید
1942
01:19:18,480 –> 01:19:20,489
زمینه ای که در آن جایی که هست بسازید
1943
01:19:20,489 –> 01:19:22,530
بچه ها خیلی ساده پس از این استفاده کنید
1944
01:19:22,530 –> 01:19:24,540
کد و این کد ما را می شناسید
1945
01:19:24,540 –> 01:19:26,969
استاندارد که تقریباً روی آن تنظیم شده است
1946
01:19:26,969 –> 01:19:28,650
ادامه دهید شما می دانید که جرقه خود را ایجاد می کنید
1947
01:19:28,650 –> 01:19:30,510
زمینه خود شما، پس اجازه دهید آن را اجرا کنم
1948
01:19:30,510 –> 01:19:31,949
باز هم باید کمتر از آنچه می دانید طول بکشد
1949
01:19:31,949 –> 01:19:34,140
10 ثانیه مانده به اینکه اجرای آن در اینجا چیست
1950
01:19:34,140 –> 01:19:35,850
آنچه که ما اکنون در PPD بحث می کردیم
1951
01:19:35,850 –> 01:19:37,350
ما در حال تعریف یک تابع مدولار هستیم که در آن
1952
01:19:37,350 –> 01:19:39,330
ما آنها را PI قرار می دهیم و ما هستیم
1953
01:19:39,330 –> 01:19:42,000
بازگرداندن مدول آن پس دوباره
1954
01:19:42,000 –> 01:19:44,910
D D ما برابر است با فلج نقطه SC
1955
01:19:44,910 –> 01:19:47,969
محدوده 1000 نقشه برداری آن با استفاده از take
1956
01:19:47,969 –> 01:19:50,580
تابع من می دانم که شما بچه ها نیستید
1957
01:19:50,580 –> 01:19:52,290
در حال حاضر با هر یک از اینها آشناست اما
1958
01:19:52,290 –> 01:19:54,270
سپس تراشه به شما یک مثال سریع
1959
01:19:54,270 –> 01:19:56,250
بچه ها اساساً اینگونه کار می کند
1960
01:19:56,250 –> 01:19:58,920
مانند لیستی از همه عناصر است
1961
01:19:58,920 –> 01:20:01,020
دوباره دارای یک داده ساختاریافته است
1962
01:20:01,020 –> 01:20:03,929
بومی جرقه است و نمی شود
1963
01:20:03,929 –> 01:20:06,239
نگران باشید من مثال های زیادی دارم که شما
1964
01:20:06,239 –> 01:20:07,530
میدونی که خیلی چیزا رو بهت نشون میدم
1965
01:20:07,530 –> 01:20:09,300
توابع بسیاری از عملیات است که من
1966
01:20:09,300 –> 01:20:10,710
وقتی نوبت به آن می رسد، شما را از طریق آن راهنمایی می کند
1967
01:20:10,710 –> 01:20:12,630
هاردی DS نیز که در واقع همان است
1968
01:20:12,630 –> 01:20:14,370
بخش بعدی که I را بررسی خواهد کرد
1969
01:20:14,370 –> 01:20:15,870
فقط میخواستم شما رو باهاش آشنا کنم
1970
01:20:15,870 –> 01:20:18,690
گوگل رنگ اما حدس بزنید نه شما انتخاب کردید
1971
01:20:18,690 –> 01:20:20,820
از یک شناسه قانون دیگر پایتون برای
1972
01:20:20,820 –> 01:20:22,800
ماژول های قبلی و من فقط برای نشان دادن
1973
01:20:22,800 –> 01:20:25,110
شما چگونه می دانید به چه چیزی نیاز دارید
1974
01:20:25,110 –> 01:20:27,390
به راه اندازی کار با جرقه خود بروید
1975
01:20:27,390 –> 01:20:27,810
بچه ها
1976
01:20:27,810 –> 01:20:32,580
پس من چه حدس می زنم جرقه ما
1977
01:20:32,580 –> 01:20:34,679
قبلاً به شما گفته بودم که اسپارک RTV زیبا است
1978
01:20:34,679 –> 01:20:37,080
موضع بسیار برای انعطاف پذیر توزیع شده است
1979
01:20:37,080 –> 01:20:39,600
مجموعه داده ها اما در پایان روز چگونه
1980
01:20:39,600 –> 01:20:42,630
چرا به آن نیاز داریم چه جرقه ای
1981
01:20:42,630 –> 01:20:44,160
فقط می دانید که آن را بررسی می کنید
1982
01:20:44,160 –> 01:20:46,440
و در این ماژول خاص عالی است
1983
01:20:46,440 –> 01:20:48,330
این ماژول اساساً همه چیز در مورد هاردی است
1984
01:20:48,330 –> 01:20:52,410
زنبورها و ما واقعاً باید بدانیم چیست
1985
01:20:52,410 –> 01:20:54,449
آنها به همین دلیل هستند که ما به آن نیاز داریم
1986
01:20:54,449 –> 01:20:57,570
درست است بنابراین DS ما تغییر ناپذیر است
1987
01:20:57,570 –> 01:20:59,940
شما می دانید که آنها تقسیم جداگانه یا
1988
01:20:59,940 –> 01:21:02,460
پارتیشن های ساخت یافته از داده ها بنابراین
1989
01:21:02,460 –> 01:21:04,380
اساساً داده ها مجموعه ها را ثبت می کند
1990
01:21:04,380 –> 01:21:06,360
در همان و شما می دانید که آنها می توانند چگونه
1991
01:21:06,360 –> 01:21:08,250
آیا می توانیم همانطور که اساساً می دانید ایجاد شویم
1992
01:21:08,250 –> 01:21:10,020
شما می توانید چند تابع کار کنید
1993
01:21:10,020 –> 01:21:11,850
روی آن یا من شما را از طریق آن راه میبرم
1994
01:21:11,850 –> 01:21:13,620
توابع و همچنین ما نقشه شما
1995
01:21:13,620 –> 01:21:15,870
فیلتر ما گروه I بار تابع و
1996
01:21:15,870 –> 01:21:17,429
وقتی همه را دارید، توابع را بارگیری می کند
1997
01:21:17,429 –> 01:21:19,739
این عملیات انجام شده و شما دارید
1998
01:21:19,739 –> 01:21:21,780
کارهای خاصی که با شما انجام می شود
1999
01:21:21,780 –> 01:21:24,000
بسیاری از داده ها را شما باید ذخیره کنید
2000
01:21:24,000 –> 01:21:26,340
داده های خود را پس از دانستن پس از شما انجام دهید
2001
01:21:26,340 –> 01:21:28,500
عملیات خاصی روی آن درست است
2002
01:21:28,500 –> 01:21:30,600
بنابراین برای داشتن یک ذخیره سازی پایدار خاص
2003
01:21:30,600 –> 01:21:33,540
رسانه یا می دانید رسانه می تواند HDFS باشد
2004
01:21:33,540 –> 01:21:36,570
پس از تحولات نیز و همینطور
2005
01:21:36,570 –> 01:21:38,310
که در حال انجام است شما به مکانی نیاز دارید
2006
01:21:38,310 –> 01:21:40,320
ذخیره آن به طوری که دگرگونی موجود
2007
01:21:40,320 –> 01:21:42,360
بچه ها بر روی آن داده های خاص قدم زدند که
2008
01:21:42,360 –> 01:21:44,550
این چیزی است که تلویزیون های ما عمدتاً برای آن استفاده می شوند
2009
01:21:44,550 –> 01:21:46,199
یکی دو چیز هست که من نیاز دارم
2010
01:21:46,199 –> 01:21:48,239
راه رفتن شما چیزهای بسیار مهمی است
2011
01:21:48,239 –> 01:21:50,760
تقریباً با شروع آه که است
2012
01:21:50,760 –> 01:21:51,719
دوباره اولین چیز در حافظه است
2013
01:21:51,719 –> 01:21:54,480
محاسبات rdd’s support lazy
2014
01:21:54,480 –> 01:21:57,210
تحمل خطا ارزیابی بسیار خوب است
2015
01:21:57,210 –> 01:21:58,880
تغییرناپذیری دوباره همانطور که اشاره کردم
2016
01:21:58,880 –> 01:22:01,820
پارتیشن بندی ماندگاری بسیار خوب و
2017
01:22:01,820 –> 01:22:04,110
عملیات درشت دانه نیز همینطور
2018
01:22:04,110 –> 01:22:06,810
DS ما چیست دوباره دنیز ما هستند
2019
01:22:06,810 –> 01:22:08,969
واحد داده قانون منطقی اصلی و جرقه
2020
01:22:08,969 –> 01:22:10,800
که مهمترین جنبه از
2021
01:22:10,800 –> 01:22:12,540
این ماژول آنها دوباره توزیع شده اند
2022
01:22:12,540 –> 01:22:14,370
مجموعه ای از اشیاء که دوباره هستند
2023
01:22:14,370 –> 01:22:15,960
آنها را می توان در حافظه آنها ذخیره کرد
2024
01:22:15,960 –> 01:22:17,909
را می توان در دیسک هایی که فقط می شناسید ذخیره کرد
2025
01:22:17,909 –> 01:22:19,530
از یک ماشین واحد اما می توانند باشند
2026
01:22:19,530 –> 01:22:21,300
در دیسک های چندین ماشین ذخیره می شود
2027
01:22:21,300 –> 01:22:24,659
و یک RTD واحد را می توان به تقسیم کرد
2028
01:22:24,659 –> 01:22:27,960
چند پارتیشن منطقی و اینها
2029
01:22:27,960 –> 01:22:29,850
پارتیشن ها را می توان ذخیره کرد این می تواند باشد
2030
01:22:29,850 –> 01:22:32,850
پردازش شده در تمام ماشین های موجود در a
2031
01:22:32,850 –> 01:22:35,489
خوشه و همچنین پس دوباره بله DD ما است
2032
01:22:35,489 –> 01:22:37,199
شما می دانید که آنها می توانند در قفس قرار گیرند
2033
01:22:37,199 –> 01:22:38,760
بارها و بارها بدون توجه به تعداد آنها استفاده می شود
2034
01:22:38,760 –> 01:22:40,500
زمان هایی که برای هر یک از خود نیاز دارید
2035
01:22:40,500 –> 01:22:42,120
تحولات آینده منظورم این است
2036
01:22:42,120 –> 01:22:43,710
فایل های کوچک بنابراین در پایان روز
2037
01:22:43,710 –> 01:22:45,750
اگرچه می توانید به گرفتن آنها ادامه دهید و
2038
01:22:45,750 –> 01:22:48,120
استفاده مجدد از آنها و رسیدن به تنبلی
2039
01:22:48,120 –> 01:22:51,270
ارزیابی یا بچه ها می دانید چیست؟
2040
01:22:51,270 –> 01:22:53,580
ارزیابی تنبل این است که اگر این کار را نکنید
2041
01:22:53,580 –> 01:22:56,040
دوباره همانطور که قبلاً انجام داده ایم یا
2042
01:22:56,040 –> 01:22:59,100
سریع حدس بزنید چه تنبلی
2043
01:22: