در این مطلب، ویدئو نصب PySpark | پیکربندی نوت بوک Jupyter با PySpark | آموزش PySpark | ادورکا با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:00,500 –> 00:00:06,379
[موسیقی]
2
00:00:06,379 –> 00:00:08,970
ما در دنیایی زندگی می کنیم که داده ها
3
00:00:08,970 –> 00:00:11,460
با سرعت هشدار دهنده ای تولید می شوند و
4
00:00:11,460 –> 00:00:13,259
تجزیه و تحلیل صحیح این داده ها در
5
00:00:13,259 –> 00:00:15,960
زمان صحیح می تواند بسیار مفید باشد در حال حاضر یکی
6
00:00:15,960 –> 00:00:17,609
از شگفت انگیزترین چارچوب ها برای مدیریت
7
00:00:17,609 –> 00:00:19,650
داده های بزرگ در زمان واقعی و انجام
8
00:00:19,650 –> 00:00:21,869
تجزیه و تحلیل است. Apache spar و هنگامی که یک
9
00:00:21,869 –> 00:00:23,609
فناوری قدرتمند مانند
10
00:00:23,609 –> 00:00:25,109
spark با یک زبان برنامه نویسی قابل خواندن توسط انسان مانند Python ادغام می شود
11
00:00:25,109 –> 00:00:27,269
تا
12
00:00:27,269 –> 00:00:29,070
یک API بسیار کارآمد به ما بدهد که
13
00:00:29,070 –> 00:00:31,019
PI spark نامیده می شود، اکنون امکانات
14
00:00:31,019 –> 00:00:33,360
بی پایان است تا با این
15
00:00:33,360 –> 00:00:35,160
چارچوب قدرتمند شروع کنید، باید بدانید که
16
00:00:35,160 –> 00:00:37,350
چگونه تنظیم کنید. محیط Pi spa را بالا
17
00:00:37,350 –> 00:00:39,180
18
00:00:39,180 –> 00:00:41,040
ببرید، بچه ها من از Drake به صورت زنده بوسه می زنم، در این ویدیو به شما نشان خواهم داد که چگونه یک جرقه PI را در سیستم های خود تنظیم کنید،
19
00:00:41,040 –> 00:00:43,320
بنابراین اجازه دهید
20
00:00:43,320 –> 00:00:44,879
نگاهی گذرا به دستور کار این جلسه
21
00:00:44,879 –> 00:00:46,920
داشته باشیم و با توضیح شما شروع می کنم. بچه ها
22
00:00:46,920 –> 00:00:48,000
سخت افزار و نرم افزار
23
00:00:48,000 –> 00:00:49,800
مورد نیاز برای فرآیند
24
00:00:49,800 –> 00:00:51,960
25
00:00:51,960 –> 00:00:54,390
نصب و سپس فرآیند نصب Pi Spock را شروع می کنیم و سپس
26
00:00:54,390 –> 00:00:56,430
PI spark را روی پوسته و همچنین
27
00:00:56,430 –> 00:00:57,469
نوت بوک Jupiter اجرا می کنیم،
28
00:00:57,469 –> 00:00:59,579
بنابراین l کجاست با توجه به نیازهای سیستم
29
00:00:59,579 –> 00:01:02,670
، بچه ها اینجا
30
00:01:02,670 –> 00:01:03,930
حداقل سیستم مورد نیاز را به شما توضیح می دهم،
31
00:01:03,930 –> 00:01:07,770
بنابراین حداقل رم مورد
32
00:01:07,770 –> 00:01:11,939
نیاز حدود 4 گیگابایت است، اما توصیه می شود از
33
00:01:11,939 –> 00:01:14,880
سیستم رم 8 گیگابایتی استفاده کنید و حداقل
34
00:01:14,880 –> 00:01:18,360
فضای خالی دیسک باید 25 گیگابایت باشد، حداقل 25 گیگابایت در حال حاضر.
35
00:01:18,360 –> 00:01:20,009
حداقل فرآیندها باید سه I
36
00:01:20,009 –> 00:01:21,659
یا بالاتر باشد تا یک تجربه برنامه نویسی روان
37
00:01:21,659 –> 00:01:24,360
داشته باشید و بیشتر از همه سیستم
38
00:01:24,360 –> 00:01:26,520
باید یک سیستم عامل 64 بیتی داشته باشد
39
00:01:26,520 –> 00:01:28,619
و اگر از
40
00:01:28,619 –> 00:01:31,200
ماشین مجازی یا VirtualBox استفاده می کنید و
41
00:01:31,200 –> 00:01:34,140
همچنین باید یک تصویر 64 کلمه ای را پشتیبانی کند.
42
00:01:34,140 –> 00:01:36,090
سیستم عامل اکنون اینها همه
43
00:01:36,090 –> 00:01:38,520
الزامات سخت افزاری هستند، بنابراین برای
44
00:01:38,520 –> 00:01:41,400
نیازهای نرم افزاری، ما به جاوا 8 یا
45
00:01:41,400 –> 00:01:44,689
بالاتر نیاز داریم، ما به Hadoop 2.7 یا بالاتر نیاز داریم زیرا
46
00:01:44,689 –> 00:01:48,210
SPARC روی آن اجرا می شود – ما به پیپ
47
00:01:48,210 –> 00:01:50,729
با نسخه 10 نیاز داریم پیپ یک
48
00:01:50,729 –> 00:01:52,439
سیستم مدیریت بسته مورد استفاده است. برای نصب و
49
00:01:52,439 –> 00:01:54,479
مدیریت بسته های نرم افزاری نوشته شده در
50
00:01:54,479 –> 00:01:56,479
پایتون می توانید از ذرت نیز استفاده کنید و
51
00:01:56,479 –> 00:01:58,740
در نهایت ما به دفترچه یادداشت trippity نیاز داریم
52
00:01:58,740 –> 00:02:01,210
این مرحله اختیاری است
53
00:02:01,210 –> 00:02:03,460
تجربه برنامه نویسی در
54
00:02:03,460 –> 00:02:05,200
نوت بوک jupiter بسیار بیشتر است. بهتر از
55
00:02:05,200 –> 00:02:08,320
پوسته است، پس بیایید جلوتر برویم و ببینیم چگونه
56
00:02:08,320 –> 00:02:10,990
می توانیم pi spark را روی سیستم های خود نصب کنیم، بنابراین
57
00:02:10,990 –> 00:02:13,720
در اینجا من یک سیستم ویندوز دارم
58
00:02:13,720 –> 00:02:16,690
و برای نصب PI spark از VirtualBox استفاده می کنم
59
00:02:16,690 –> 00:02:19,360
و یک ماشین مجازی
60
00:02:19,360 –> 00:02:22,180
در داخل VirtualBox ایجاد می کنم زیرا اکثر موارد
61
00:02:22,180 –> 00:02:24,310
زمان استفاده از PI spark در
62
00:02:24,310 –> 00:02:26,440
محیط لینوکس، این چیزی است که من
63
00:02:26,440 –> 00:02:28,480
از آن استفاده خواهم کرد، بنابراین بیایید ببینیم چگونه می توانیم
64
00:02:28,480 –> 00:02:30,580
VirtualBox را نصب کنیم، تنها کاری که باید
65
00:02:30,580 –> 00:02:32,770
انجام دهید این است که به وب سایت رسمی
66
00:02:32,770 –> 00:02:34,959
VirtualBox بروید و در بخش دانلودها
67
00:02:34,959 –> 00:02:37,270
خواهید دید. آخرین نسخه
68
00:02:37,270 –> 00:02:39,280
VirtualBox باید روی
69
00:02:39,280 –> 00:02:42,640
هاست ویندوز یا توزیع لینوکس کلیک کنید، اما
70
00:02:42,640 –> 00:02:44,260
اگر لینوکس دارید به VirtualBox نیاز ندارید،
71
00:02:44,260 –> 00:02:47,140
بنابراین برای ویندوز می توانید
72
00:02:47,140 –> 00:02:49,630
روی این یکی کلیک کنید و نصب کنید، بنابراین من
73
00:02:49,630 –> 00:02:52,480
قبلا VirtualBox را نصب کرده ام.
74
00:02:52,480 –> 00:02:55,349
VM من را ایجاد کردم
75
00:02:55,349 –> 00:02:57,390
اکنون این اتاق هفت عدد را به عنوان تصویر پایه برای ما ارسال کرده است
76
00:02:57,390 –> 00:03:00,480
و مرکز ما
77
00:03:00,480 –> 00:03:03,599
سیستم عامل توزیع Red Hat است، بنابراین
78
00:03:03,599 –> 00:03:05,790
در پلتفرم خطی نیز کار می کند اکنون
79
00:03:05,790 –> 00:03:08,760
ابتدا آنچه باید انجام دهیم این است
80
00:03:08,760 –> 00:03:11,069
که بررسی کنیم Hadoop یا Java i داریم. nستال شده است
81
00:03:11,069 –> 00:03:13,310
یا
82
00:03:13,660 –> 00:03:16,060
نه، برای این کار باید در را بررسی کنیم –
83
00:03:16,060 –> 00:03:18,180
آه فایل را ببینید،
84
00:03:18,180 –> 00:03:21,060
اکنون فایل bash RC شامل قسمتی
85
00:03:21,060 –> 00:03:24,030
از تمام فریمورک هایی است که
86
00:03:24,030 –> 00:03:26,519
استفاده می شود، بنابراین برای مثال همانطور که می بینید
87
00:03:26,519 –> 00:03:28,799
ما Hadoop را در سیستم خود نصب
88
00:03:28,799 –> 00:03:31,019
کرده ایم، همه موارد را داریم. مسیرهایی به هادو که ما
89
00:03:31,019 –> 00:03:33,780
جاوا را نصب کرده ایم، بنابراین می توانیم
90
00:03:33,780 –> 00:03:36,180
نسخه Hadoop را که در حال اجرا هستیم نیز بررسی کنیم، بنابراین
91
00:03:36,180 –> 00:03:37,799
همانطور که می بینید Hadoop دو نقطه
92
00:03:37,799 –> 00:03:40,200
هفت نقطه سه داریم و برای بررسی نسخه جاوا
93
00:03:40,200 –> 00:03:43,769
باید نسخه را تایپ کنیم،
94
00:03:43,769 –> 00:03:47,159
جاوا هشت را داریم که روی آن اجرا می شود. بنابراین اکنون
95
00:03:47,159 –> 00:03:48,810
که Hadoop و Java را
96
00:03:48,810 –> 00:03:51,930
در سیستم خود نصب کرده ایم، برای
97
00:03:51,930 –> 00:03:53,970
نصب مشخصات باید spa را نصب کنیم، باید به
98
00:03:53,970 –> 00:03:57,269
وب سایت رسمی Apache بروید و در آن
99
00:03:57,269 –> 00:04:00,090
باید به spark dot Apache یا G بروید و
100
00:04:00,090 –> 00:04:02,519
دانلودها را اسلش کنید.
101
00:04:02,519 –> 00:04:04,560
نسخه پایدار را انتخاب کنید،
102
00:04:04,560 –> 00:04:06,900
بنابراین آخرین نسخه در اینجا مربوط به
103
00:04:06,900 –> 00:04:10,379
8 ژوئن 2080 است و برای Apache
104
00:04:10,379 –> 00:04:13,920
Hadoop 2.7 و نسخه های جدیدتر است، بنابراین همانطور که
105
00:04:13,920 –> 00:04:15,720
قبلا دیدیم ما Hadoop دو نقطه
106
00:04:15,720 –> 00:04:18,690
هفت نقطه سه داریم، بنابراین خوب است که اکنون پایین
107
00:04:18,690 –> 00:04:20,789
بیاوریم. یک مشارکت را بارگیری کنید تا روی
108
00:04:20,789 –> 00:04:22,979
این لینک کلیک کنید و در اینجا
109
00:04:22,979 –> 00:04:25,500
سایت های آینه ای و پیوندهای مختلفی را دریافت خواهید کرد که از آنجا می
110
00:04:25,500 –> 00:04:27,510
توانید فایل tar را دانلود کنید، بنابراین من
111
00:04:27,510 –> 00:04:30,210
قبلاً آن را دانلود کرده ام، بنابراین اجازه دهید
112
00:04:30,210 –> 00:04:33,030
بچه ها را به شما نشان دهم تا بچه ها همانطور که می توانید ببینید اینجا یک فایل است.
113
00:04:33,030 –> 00:04:37,169
فایل TT C که یک فایل tar است، اکنون
114
00:04:37,169 –> 00:04:40,169
باید این فایل را استخراج کنیم و آن را
115
00:04:40,169 –> 00:04:42,210
در مکان خاص خود جایی که می خواهیم قرار
116
00:04:42,210 –> 00:04:45,479
دهیم، اجازه دهید ابتدا این را ببندم، برای
117
00:04:45,479 –> 00:04:49,010
اینکه ابتدا باید به سراغ دانلودها برویم،
118
00:04:49,010 –> 00:04:50,780
همانطور که می بینید spark 2 را داریم.
119
00:04:50,780 –> 00:04:53,210
نقطه سه نقطه یک هادوپ دو نقطه
120
00:04:53,210 –> 00:04:56,990
هفت tzz اکنون باید این فایل را باز
121
00:04:56,990 –> 00:05:00,070
کنیم،
122
00:05:00,559 –> 00:05:03,889
بنابراین از دستور die استفاده می کنیم – XYZ F و
123
00:05:03,889 –> 00:05:07,519
به نام 13.1 جرقه می زنیم، بنابراین کاری که ما انجام می دهیم آن
124
00:05:07,519 –> 00:05:11,029
را استخراج می کند یا ترجیح می دهم بگویم untie
125
00:05:11,029 –> 00:05:14,599
فایل را در قسمت دانلود قرار داده ایم، بنابراین
126
00:05:14,599 –> 00:05:16,189
اگر به لیست
127
00:05:16,189 –> 00:05:18,619
عناصر نگاه کنیم، می بینیم که دو
128
00:05:18,619 –> 00:05:20,479
نقطه سه نقطه یک پین هادوپ دو
129
00:05:20,479 –> 00:05:24,699
نقطه هفت را جرقه زده ایم و فایل فتح را نیز داریم،
130
00:05:26,639 –> 00:05:29,909
بنابراین کاری که باید انجام دهیم این است که این را به
131
00:05:29,909 –> 00:05:32,129
هر کدام منتقل کنیم. مکان مشخصی که میخواهیم فریمورکهایمان در آن باشد، مشخص
132
00:05:32,129 –> 00:05:35,849
شده است، بنابراین کاری که من معمولا انجام میدهم این است
133
00:05:35,849 –> 00:05:38,699
تمام ترکیب رایگان من مانند Hadoop spa
134
00:05:38,699 –> 00:05:39,870
Kafka
135
00:05:39,870 –> 00:05:42,240
ما آنفولانزا داریم یا کاساندرا را در
136
00:05:42,240 –> 00:05:46,860
بخش کتابخانه کاربر من نگه دارید، بنابراین برای ما یک li B همانطور که
137
00:05:46,860 –> 00:05:48,900
می بینید من Cassandra flume hive
138
00:05:48,900 –> 00:05:53,490
maven storm دارم و من اسپا را کپی کرده ام، بنابراین اکنون
139
00:05:53,490 –> 00:05:55,409
که spark را در یک کپی کرده ایم.
140
00:05:55,409 –> 00:05:58,289
مکان خاصی را که باید در مسیر آن
141
00:05:58,289 –> 00:06:00,960
در فایل RC دسته ای قرار دهیم، پس اجازه دهید
142
00:06:00,960 –> 00:06:05,229
دوباره فایل a char C را باز کنم
143
00:06:05,229 –> 00:06:07,960
تا بچه ها همانطور که در اینجا می بینید،
144
00:06:07,960 –> 00:06:10,479
مسیر را برای یک مکان مهمانی قرار دادم، بنابراین دو قسمت وجود دارد
145
00:06:10,479 –> 00:06:12,310
که باید در اینجا پیکربندی کنید
146
00:06