در این مطلب، ویدئو شروع کار با AWS EMR Python به روشی بسیار آسان در 10 دقیقه با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 00:08:35
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:00,320 –> 00:00:02,639
سلام بچه ها سلام و به ویدیویی که
2
00:00:02,639 –> 00:00:04,480
اسم من را دیدم مینشا در این ویدیو خوش آمدید من می
3
00:00:04,480 –> 00:00:06,080
خواهم به شما در مورد aws emr emr مخفف elastic map کاهش را به شما آموزش دهم،
4
00:00:06,080 –> 00:00:09,519
5
00:00:09,519 –> 00:00:11,360
بنابراین هدف از هدف یادگیری
6
00:00:11,360 –> 00:00:13,200
در اینجا اساساً ما یک مجموعه داده
7
00:00:13,200 –> 00:00:13,519
در
8
00:00:13,519 –> 00:00:15,920
s3 ما می خواهیم اساساً مجموعه داده ها
9
00:00:15,920 –> 00:00:17,840
شامل ستون مناسب باشد، به
10
00:00:17,840 –> 00:00:18,640
عنوان مثال
11
00:00:18,640 –> 00:00:20,880
این شامل اجازه دهید به شما نشان دهم این
12
00:00:20,880 –> 00:00:22,640
شامل کشور تاریخ
13
00:00:22,640 –> 00:00:25,359
um شناسه محصول و شناسه دسته
14
00:00:25,359 –> 00:00:26,480
و سپس کلیک راست
15
00:00:26,480 –> 00:00:28,000
می کنیم، بنابراین می خواهیم مطمئن شویم که اساساً می
16
00:00:28,000 –> 00:00:31,359
خواهید محصول را ببینید. um 6407 چند
17
00:00:31,359 –> 00:00:33,120
کلیک از کشور روسیه وجود داشته است،
18
00:00:33,120 –> 00:00:34,559
بنابراین شما می خواهید به درستی
19
00:00:34,559 –> 00:00:35,760
تجزیه و تحلیل داده ها را انجام دهید، بنابراین
20
00:00:35,760 –> 00:00:37,920
ما این وضعیت کلیک را داریم که درست در حال
21
00:00:37,920 –> 00:00:39,120
تولید است،
22
00:00:39,120 –> 00:00:41,360
بنابراین آنها در s3 هستند و اکنون
23
00:00:41,360 –> 00:00:43,440
شرکت شما به شما گفته است خوب می
24
00:00:43,440 –> 00:00:45,200
توانید کمی بنویسید شما این دادهها را تجزیه و تحلیل میکنید
25
00:00:45,200 –> 00:00:47,120
و اطلاعاتی را از آن ارائه میدهید،
26
00:00:47,120 –> 00:00:49,039
بنابراین هدف ما نوشتن یک تابع نقشه ساده
27
00:00:49,039 –> 00:00:50,960
به عنوان تابع کاهش ساده است
28
00:00:50,960 –> 00:00:54,640
و سپس میدانید که خوشه aws emr ما را بچرخانید
29
00:00:54,640 –> 00:00:57,760
و کار را درست انجام دهید، بنابراین
30
00:00:57,760 –> 00:00:58,640
اجازه دهید به شما نشان دهم
31
00:00:58,640 –> 00:01:00,480
اوه اوه چگونه این کار انجام می شود، بنابراین مجموعه داده ها
32
00:01:00,480 –> 00:01:02,879
اینگونه است، من دو فایل پایتون
33
00:01:02,879 –> 00:01:06,000
دارم بسیار ساده، هیچ چیز پیچیده ای نیست، بنابراین
34
00:01:06,000 –> 00:01:07,520
مجموعه داده ها را بالا می کشم
35
00:01:07,520 –> 00:01:09,200
و به یاد داشته باشید بچه ها، وظیفه من این است که کار من را
36
00:01:09,200 –> 00:01:11,040
آسان کنم نه پیچیده،
37
00:01:11,040 –> 00:01:13,680
بنابراین برای خط در help.in این یعنی
38
00:01:13,680 –> 00:01:15,200
برای هر خطی که
39
00:01:15,200 –> 00:01:18,000
خوانده می شود، بنابراین ما یک تقسیم با ویرگول انجام می دهیم، بنابراین
40
00:01:18,000 –> 00:01:19,520
هر زمان که تقسیم می
41
00:01:19,520 –> 00:01:20,720
کنید یک لیست دریافت می کنید،
42
00:01:20,720 –> 00:01:23,119
حالا برای نویز متاسفم، حالا کاری که من
43
00:01:23,119 –> 00:01:24,720
انجام می دهم این است که هی می گویم هی
44
00:01:24,720 –> 00:01:27,600
صفر شاخص صفر کشور um
45
00:01:27,600 –> 00:01:28,000
46
00:01:28,000 –> 00:01:30,159
و سپس و سپس محصول است uh
47
00:01:30,159 –> 00:01:31,119
شاخص دو سمت راست
48
00:01:31,119 –> 00:01:33,360
و سپس اساساً من آن
49
00:01:33,360 –> 00:01:35,119
مقدار را اینجا چاپ می کنم، بنابراین کشور و
50
00:01:35,119 –> 00:01:36,400
محصول و من یکی را چاپ می کنم،
51
00:01:36,400 –> 00:01:38,640
به این معنی که یک کلیک راست است.
52
00:01:38,640 –> 00:01:40,560
اکنون ما یک تابع کاهنده سادهتر داریم که به
53
00:01:40,560 –> 00:01:42,560
محض انجام آن، آنچه در اینجا میخواهیم انجام دهیم
54
00:01:42,560 –> 00:01:43,360
اساساً
55
00:01:43,360 –> 00:01:46,720
برای خط اصرار شده است، بنابراین برای هر خط
56
00:01:46,720 –> 00:01:48,640
یک نوار نقطه خط میگوید که تمام
57
00:01:48,640 –> 00:01:50,000
فضای سفید را حذف میکند،
58
00:01:50,000 –> 00:01:51,439
بنابراین اساساً آنچه میخواهیم
59
00:01:51,439 –> 00:01:53,200
ایجاد کنیم
60
00:01:53,200 –> 00:01:54,720
این همه چیز را در عمل به شما نشان خواهم داد در مورد aws و
61
00:01:54,720 –> 00:01:55,119
62
00:01:55,119 –> 00:01:57,840
همچنین اساساً ما چیزی داریم اجازه دهید من
63
00:01:57,840 –> 00:01:59,200
فقط یکی از آنها را کپی کنم
64
00:01:59,200 –> 00:02:02,560
تا بتوانم در اینجا به شما توضیح دهم
65
00:02:03,200 –> 00:02:05,119
پس از عملکرد نقشه
66
00:02:05,119 –> 00:02:09,280
ما اساساً چیزی خواهیم داشت که
67
00:02:09,280 –> 00:02:11,760
اجازه دهید این را اینجا بیاورم خوب بنابراین بعد از
68
00:02:11,760 –> 00:02:13,360
عملکرد نقشه من اساساً
69
00:02:13,360 –> 00:02:15,520
um کشور و شناسه محصول و
70
00:02:15,520 –> 00:02:17,040
سپس من تعداد آن را دارم، به
71
00:02:17,040 –> 00:02:18,160
عنوان مثال یک سمت راست
72
00:02:18,160 –> 00:02:20,239
و انگار می بینید که این را با یک فاصله درست از هم جدا می کنم،
73
00:02:20,239 –> 00:02:21,360
74
00:02:21,360 –> 00:02:24,080
بنابراین در این تابع کاهش دهنده um کاری که من
75
00:02:24,080 –> 00:02:25,920
انجام می دهم این است که می گویم هی تقسیم بر
76
00:02:25,920 –> 00:02:28,239
tab بنابراین اساساً من میخواهم بدانید که
77
00:02:28,239 –> 00:02:29,520
دوباره فهرستی دریافت میکنید،
78
00:02:29,520 –> 00:02:30,800
سپس کاری که میخواهم انجام دهم این است که
79
00:02:30,800 –> 00:02:32,160
اساساً آن تعداد را به یک
80
00:02:32,160 –> 00:02:32,800
عدد
81
00:02:32,800 –> 00:02:35,040
صحیح تبدیل میکنم و اساساً این یک حلقه for است،
82
00:02:35,040 –> 00:02:37,280
بنابراین برای همه اسناد من آن را
83
00:02:37,280 –> 00:02:38,480
لغو میکنم و
84
00:02:38,480 –> 00:02:40,560
همه چیز را روی یک فرهنگ لغت اضافه میکنم و سپس
85
00:02:40,560 –> 00:02:42,000
اساساً میخواهم
86
00:02:42,000 –> 00:02:43,840
این ایده را درست متوجه شوید، فقط آن را
87
00:02:43,840 –> 00:02:45,599
حساب میکنم و آن را روی
88
00:02:45,599 –> 00:02:46,319
89
00:02:46,319 –> 00:02:48,480
دیکشنری چاپ میکنم. اکنون نحوه عملکرد
90
00:02:48,480 –> 00:02:50,000
mapreduce به این صورت است که هر زمان که
91
00:02:50,000 –> 00:02:50,640
چاپ می
92
00:02:50,640 –> 00:02:53,200
کنید اساساً آن داده ها را ذخیره می کند در
93
00:02:53,200 –> 00:02:54,879
s3 همه چیز را به شما نشان خواهم داد،
94
00:02:54,879 –> 00:02:57,280
بنابراین در اصل همانطور که گفتم هیچ چیز پیچیده نیست،
95
00:02:57,280 –> 00:02:58,560
ما یک
96
00:02:58,560 –> 00:03:00,480
دیکشنری را در بالا اعلام کردیم و سپس
97
00:03:00,480 –> 00:03:02,159
کشور و محصول را داریم و سپس
98
00:03:02,159 –> 00:03:02,879
میدانیم که
99
00:03:02,879 –> 00:03:04,319
از آن مقدار استفاده میکنیم و سپس آن را اضافه
100
00:03:04,319 –> 00:03:06,720
میکنیم اینجا حساب کنید و سپس اساساً ما میخواهیم
101
00:03:06,720 –> 00:03:07,360
102
00:03:07,360 –> 00:03:10,159
عملکرد کاهش را در همان سمت راست انجام دهیم،
103
00:03:10,159 –> 00:03:10,879
بنابراین
104
00:03:10,879 –> 00:03:12,480
اجازه دهید همه چیز را در
105
00:03:12,480 –> 00:03:14,080
عمل به
106
00:03:14,080 –> 00:03:15,519
شما نشان دهم، همان چیزی که مجموعه دادهها را به شما نشان دادم و چگونه
107
00:03:15,519 –> 00:03:17,440
کارها روی aws درست کار نمیکنند،
108
00:03:17,440 –> 00:03:20,879
بنابراین اجازه دهید به s3 برویم.
109
00:03:21,519 –> 00:03:24,720
بنابراین s3 من به زودی به شما نشان خواهم داد که چگونه یک
110
00:03:24,720 –> 00:03:27,440
خوشه emr را بچرخانید، اما بیایید
111
00:03:27,440 –> 00:03:30,000
به s3 برویم،
112
00:03:30,159 –> 00:03:32,400
بنابراین کد پایتون بسیار ساده است
113
00:03:32,400 –> 00:03:34,319
114
00:03:34,319 –> 00:03:36,480
115
00:03:36,480 –> 00:03:37,760
116
00:03:37,760 –> 00:03:40,560
. یک پوشه به نام
117
00:03:40,560 –> 00:03:42,560
مجموعه داده کلیک داشته باشید و در اینجا من هم
118
00:03:42,560 –> 00:03:43,680
فایل پایتون، هم
119
00:03:43,680 –> 00:03:45,760
فایل کاهنده و هم نقشهبردار را دارم و
120
00:03:45,760 –> 00:03:47,599
سپس مجموعه دادهها را در اینجا دارم،
121
00:03:47,599 –> 00:03:49,680
خوب خروجی را حذف میکنم
122
00:03:49,680 –> 00:03:52,239
چون میخواهم خروجی را ایجاد
123
00:03:52,239 –> 00:03:54,319
کند.