در این مطلب، ویدئو بهترین تمرینات جیتون در مقابل پایتون در ELT با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 00:23:07
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:01,280 –> 00:00:04,319
خوب دستور کار بحث امروز در
2
00:00:04,319 –> 00:00:07,440
ابتدا من پایتون و جیتون را معرفی خواهم کرد و
3
00:00:07,440 –> 00:00:10,080
به طور خلاصه در مورد
4
00:00:10,080 –> 00:00:11,440
تفاوت های بین آنها
5
00:00:11,440 –> 00:00:13,679
صحبت خواهم کرد و اینکه چگونه می توانید به راحتی از jython برای
6
00:00:13,679 –> 00:00:15,519
جستجوی داده ها از انبار داده ابری خود استفاده
7
00:00:15,519 –> 00:00:17,600
8
00:00:17,600 –> 00:00:19,840
کنید، سپس به طور مفصل به برخی از python
9
00:00:19,840 –> 00:00:20,800
do و don نگاه خواهم کرد.
10
00:00:20,800 –> 00:00:24,160
بنابراین، انجام elt نه
11
00:00:24,160 –> 00:00:26,640
etl مراقب باشید در مورد مدیریت حافظه و
12
00:00:26,640 –> 00:00:28,880
سپس نگاه کردن به اینکه چگونه متریال از پایتون
13
00:00:28,880 –> 00:00:29,359
برای تنظیم
14
00:00:29,359 –> 00:00:32,479
متغیرها استفاده می کند و پایتون چقدر می تواند
15
00:00:32,479 –> 00:00:35,200
در دستکاری فیلدهایی مانند انواع داده های تاریخ مفید باشد
16
00:00:35,200 –> 00:00:37,520
17
00:00:37,760 –> 00:00:39,520
، سپس چند نمونه
18
00:00:39,520 –> 00:00:41,120
از نحوه شروع به کار را مرور خواهم کرد. از پایتون برای
19
00:00:41,120 –> 00:00:43,040
ادغام با سایر سرویسها استفاده کنید تا با استفاده از کتابخانههای boto3
20
00:00:43,040 –> 00:00:45,280
بر محیط ابری خود کنترل داشته باشید
21
00:00:45,280 –> 00:00:48,559
و سپس به
22
00:00:48,559 –> 00:00:50,079
شما نشان میدهم که چگونه میتوانید
23
00:00:50,079 –> 00:00:52,239
عملکرد پایتون خود را با اجرای
24
00:00:52,239 –> 00:00:53,280
از راه دور بهینه کنید
25
00:00:53,280 –> 00:00:55,440
و حتی راههایی را که میتوانید بدون نیاز به اجرای کد خود را
26
00:00:55,440 –> 00:00:57,360
انجام دهید. برای ساختن
27
00:00:57,360 –> 00:00:59,840
منابع خاص،
28
00:01:00,399 –> 00:01:02,000
بنابراین اکنون وارد ابزار matillion شدهام،
29
00:01:02,000 –> 00:01:03,600
همانطور که میبینید
30
00:01:03,600 –> 00:01:06,240
ما یک جزء پایتون داریم که
31
00:01:06,240 –> 00:01:09,840
میتوانید در کارهای ارکستراسیون خود از آن استفاده کنید.
32
00:01:09,840 –> 00:01:11,920
از ویژگی های کامپوننت
33
00:01:11,920 –> 00:01:12,960
می توانید انتخاب کنید
34
00:01:12,960 –> 00:01:15,200
که کدام مترجم را می خواهید استفاده کنید، بنابراین
35
00:01:15,200 –> 00:01:19,360
مفسرهای جیتون یا پایتون
36
00:01:20,159 –> 00:01:22,159
و یکی از ویژگی های مفید استفاده از
37
00:01:22,159 –> 00:01:23,360
جیتون در
38
00:01:23,360 –> 00:01:25,520
battalion این است که می توانید به راحتی به
39
00:01:25,520 –> 00:01:27,360
انبار داده های ابری خود دسترسی پیدا کنید، بنابراین
40
00:01:27,360 –> 00:01:30,960
در اینجا من یک تعریف می کنم. مکان نما در
41
00:01:30,960 –> 00:01:34,320
زمینه، من یک
42
00:01:34,320 –> 00:01:37,920
دستور sql را در برابر آن مکان نما اجرا می
43
00:01:37,920 –> 00:01:40,880
کنم، سپس مقادیری را برمی
44
00:01:40,880 –> 00:01:42,159
گردم و از آن برای
45
00:01:42,159 –> 00:01:44,640
تنظیم یک متغیر در متریال استفاده می کنم، بنابراین در اینجا من
46
00:01:44,640 –> 00:01:46,560
یک متغیر شغلی
47
00:01:46,560 –> 00:01:49,920
تعداد ردیف محصول jb تعریف کرده ام و i’ m
48
00:01:49,920 –> 00:01:52,000
آن متغیر را بر اساس
49
00:01:52,000 –> 00:01:54,320
نتایج مکاننما تنظیم میکند،
50
00:01:54,320 –> 00:01:57,040
بنابراین اگر این را اجرا کنم، میتوانم ببینم که
51
00:01:57,040 –> 00:01:57,520
هشت
52
00:01:57,520 –> 00:01:59,759
ردیف در جدول محصول کم رنگ خود دارم و
53
00:01:59,759 –> 00:02:01,280
به متغیری در مواد اختصاص داده میشود
54
00:02:01,280 –> 00:02:02,079
55
00:02:02,079 –> 00:02:04,079
که میتوانم در سایر اجزای خود استفاده کنم
56
00:02:04,079 –> 00:02:05,200
57
00:02:05,200 –> 00:02:09,840
به نام محصولات jb
58
00:02:10,160 –> 00:02:13,599
59
00:02:13,599 –> 00:02:15,760
به جای استفاده از کامپوننت پایتون، روش دیگری را برای اجرای واقعی این عملکرد ارائه کردند،
60
00:02:15,760 –> 00:02:17,440
بنابراین ما
61
00:02:17,440 –> 00:02:23,360
یک پرس و جو نتایج را به مولفه اسکالر داریم،
62
00:02:23,360 –> 00:02:26,000
بنابراین در اینجا می توانید مستقیماً پرس و جوی sql خود را قرار داده
63
00:02:26,000 –> 00:02:27,520
64
00:02:27,520 –> 00:02:29,440
و سپس آن را به متغیر اختصاص دهید. قادر به
65
00:02:29,440 –> 00:02:31,760
درون کامپوننت
66
00:02:31,760 –> 00:02:34,239
یا اگر می خواهید چندین
67
00:02:34,239 –> 00:02:36,400
مقدار را از پرس و جو خود بازگردانید،
68
00:02:36,400 –> 00:02:39,040
می توانید از نتایج پرس و جو ما برای شبکه بندی
69
00:02:39,040 –> 00:02:40,239
مولفه استفاده
70
00:02:40,239 –> 00:02:43,440
کنید، بنابراین در اینجا می توانید ستون های خود را از یک
71
00:02:43,440 –> 00:02:43,920
جدول
72
00:02:43,920 –> 00:02:46,480
یا از نمایه ای که در آن یک پرس
73
00:02:46,480 –> 00:02:48,800
و جو دارید، نقشه برداری کنید و می توانید آنها را به یک متغیر شبکه ای
74
00:02:48,800 –> 00:02:52,319
برای بازگرداندن چندین ستون،
75
00:02:55,360 –> 00:02:57,680
بنابراین فقط چند نکته در مورد استفاده از
76
00:02:57,680 –> 00:02:59,760
جیتون و دسترسی به پایگاه داده
77
00:02:59,760 –> 00:03:02,560
در مواد باید توجه داشته باشید، بنابراین اتصال به
78
00:03:02,560 –> 00:03:04,000
طور خودکار با استفاده
79
00:03:04,000 –> 00:03:06,319
از محیط فعلی تعریف شده در
80
00:03:06,319 –> 00:03:07,200
متریال برای شما
81
00:03:07,200 –> 00:03:08,879
ایجاد می شود و این اتصال
82
00:03:08,879 –> 00:03:10,560
پس از پایان اسکریپت به طور خودکار بسته می
83
00:03:10,560 –> 00:03:11,840
شود.
84
00:03:11,840 –> 00:03:13,920
بنابراین این ویژگی واقعا برای راحتی ارائه شده است
85
00:03:13,920 –> 00:03:15,519
و
86
00:03:15,519 –> 00:03:17,680
برای بازیابی حجم زیادی از
87
00:03:17,680 –> 00:03:19,519
داده ها طراحی نشده است و در اسلاید بعدی در
88
00:03:19,519 –> 00:03:20,640
مورد تفاوت های
89
00:03:20,640 –> 00:03:24,640
بین elt و etl صحبت خواهیم کرد
90
00:03:24,799 –> 00:03:26,799
اگر به روز رسانی پایگاه داده را با استفاده از
91
00:03:26,799 –> 00:03:28,400
این روش اجرا کنید، نباید
92
00:03:28,400 –> 00:03:30,720
سعی کنید و پس زمینه های بیشتری را متعهد کنید. به روز رسانی
93
00:03:30,720 –> 00:03:31,440
94
00:03:31,440 –> 00:03:33,680
اجزای خاصی در بین شما وجود دارد که می
95
00:03:33,680 –> 00:03:35,920
توانید در کارهای ارکستراسیون خود برای
96
00:03:35,920 –> 00:03:37,280
اجرای آن استفاده کنید
97
00:03:37,280 –> 00:03:39,680
و فراموش نکنید که ما این کار را انجام می دهیم تعدادی
98
00:03:39,680 –> 00:03:40,560
مؤلفه وجود دارد که
99
00:03:40,560 –> 00:03:42,799
ممکن است در اینجا به شما کمک کند، بنابراین نتایج پرس و جو
100
00:03:42,799 –> 00:03:43,840
به صورت اسکالر
101
00:03:43,840 –> 00:03:48,000
و نتایج پرس و جو به اجزای شبکه ای می رسد،
102
00:03:49,840 –> 00:03:51,200
بسیاری از شما که با مواد آشنا هستید
103
00:03:51,200 –> 00:03:53,280
احتمالاً قبلاً این نمودار را دیده اید،
104
00:03:53,280 –> 00:03:54,400
105
00:03:54,400 –> 00:03:56,239
اما من فقط می خواستم این اسلاید را همانطور
106
00:03:56,239 –> 00:03:57,760
که می شود نشان دهم. زمانی که
107
00:03:57,760 –> 00:03:59,840
پایتون را در معماری خود می نویسید و اجرا می کنید مرتبط
108
00:03:59,840 –> 00:04:01,760
است،
109
00:04:01,760 –> 00:04:03,680
بنابراین مواد یک رویکرد فشار به پایین
110
00:04:03,680 –> 00:04:05,439
را برای پردازش شما ترویج می کند، بنابراین همانطور
111
00:04:05,439 –> 00:04:06,879
که شما تحولات و هماهنگی های خود را توسعه می دهید،
112
00:04:06,879 –> 00:04:09,439
گردان
113
00:04:09,439 –> 00:04:11,200
تلاش می کند تا آن ها را به بهینه ترین روش پیاده سازی
114
00:04:11,200 –> 00:04:12,959
کند
115
00:04:12,959 –> 00:04:14,799
که به معنای استفاده از عملکرد
116
00:04:14,799 –> 00:04:16,798
روز مدرن است. انبار داده ابری
117
00:04:16,798 –> 00:04:17,680
که قابلیتهای
118
00:04:17,680 –> 00:04:19,040
پردازش موازی
119
00:04:19,040 –> 00:04:21,120
زیادی را ارائه میدهد، بنابراین مهم است
120
00:04:21,120 –> 00:04:22,639
که این مورد را در پایتون طراحی خود در نظر بگیرید،
121
00:04:22,639 –> 00:04:26,000
چیزی که میخواهید امتحان کنید و از آن اجتناب کنید،
122
00:04:26,000 –> 00:04:28,400
پرس و جو و پردازش دادهها در خارج از
123
00:04:28,400 –> 00:04:30,240
انبار دادههای شما است که میتواند
124
00:04:30,240 –> 00:04:31,600
ناکارآمد باشد
125
00:04:31,600 –> 00:04:33,120
و در حالی که ممکن است در
126
00:04:33,120 –> 00:04:35,440
مقادیر کمی داده انجام شود. همانطور که داده های شما
127
00:04:35,440 –> 00:04:38,960
رشد می کند، اندازه
128
00:04:38,960 –> 00:04:41,759
گیری چیزهایی که باید در مورد آنها فکر کنید کار آسانی نخواهد بود در اینجا می توانم
129
00:04:41,759 –> 00:04:43,120
130
00:04:43,120 –> 00:04:46,000
دستکاری داده ها را در یک کار تبدیل انجام دهم
131
00:04:46,000 –> 00:04:46,800
و اگر
132
00:04:46,800 –> 00:04:48,720
این کار دشوار است، آیا می توانم از
133
00:04:48,720 –> 00:04:50,160
پایتون برای کمک به
134
00:04:50,160 –> 00:04:52,800
انتقال تبدیل استفاده کنم نه اینکه
135
00:04:52,800 –> 00:04:54,080
تمام داده های
136
00:04:54,080 –> 00:04:56,639
پردازش آن را در خارج از انبار استخراج کنم
137
00:04:56,639 –> 00:04:57,120
و سپس
138
00:04:57,120 –> 00:05:00,560
نتایج را
139
00:05:01,759 –> 00:05:03,360
دوباره بنویسم. نکته ای که باید در
140
00:05:03,360 –> 00:05:05,039
هنگام نوشتن برنامه های پایتون در نظر بگیرید این
141
00:05:05,039 –> 00:05:07,680
است که مراقب مدیریت حافظه
142
00:05:07,680 –> 00:05:09,199
باشید، ایجاد خطاهای حافظه بسیار آسان است که
143
00:05:09,199 –> 00:05:10,960
144
00:05:10,960 –> 00:05:13,280
روی پردازش در کل نمونه ایتالیایی شما تأثیر می گذارد،
145
00:05:13,280 –> 00:05:14,960
146
00:05:14,960 –> 00:05:17,360
بنابراین در اینجا من یک مثال بسیار ساده دارم
147
00:05:17,360 –> 00:05:19,440
که در آن فقط یک چند خط کد
148
00:05:19,440 –> 00:05:21,199
در واقع می تواند باعث خطای کمبود حافظه
149
00:05:21,199 –> 00:05:23,440
در سرور شود،
150
00:05:23,440 –> 00:05:25,199
بنابراین همانطور که در اسلاید قبلی ذکر شد
151
00:05:25,199 –> 00:05:26,639
مراقب میزان داده ای که
152
00:05:26,639 –> 00:05:27,120
153
00:05:27,120 –> 00:05:29,120
مکان نما خود را برمی گردانید و فرآیندهایی که می خواهید
154
00:05:29,120 –> 00:05:31,280
در نمونه
155
00:05:31,280 –> 00:05:32,960
در قسمت پایانی گفتگو انجام دهید، باشید. من راهی را
156
00:05:32,960 –> 00:05:34,800
برجسته می کنم که می توانید
157
00:05:34,800 –> 00:05:35,360
158
00:05:35,360 –> 00:05:39,520
با اجرای پایتون از راه دور این خطر را جدا کنید،
159
00:05:39,520 –> 00:05:41,360
چیزی که پایتون برای آن واقعاً
160
00:05:41,360 –> 00:05:43,840
مفید است، توسعه اسکریپت های کوچک برای کمک p
161
00:05:43,840 –> 00:05:45,120
با اجرای
162
00:05:45,120 –> 00:05:48,000
منطق و تصمیمات پیچیده تر، بنابراین
163
00:05:48,000 –> 00:05:49,520
من قصد دارم از طریق یک مثال زمان بندی ساده صحبت کنم که به
164
00:05:49,520 –> 00:05:51,680
شما نشان می دهد
165
00:05:51,680 –> 00:06:07,840
چگونه می توانید
166
00:06:14,479 –> 00:06:16,880
تاریخ ها را در پایتون دستکاری کنید و آن را با متغیرهای بین آن ادغام کنید
167
00:06:16,880 –> 00:06:18,080
168
00:06:18,080 –> 00:06:21,840
تا به شما در پیاده سازی فرآیندها کمک
169
00:06:22,960 –> 00:06:35,840
کند. در اینجا به شما بگویم
170
00:06:47,039 –> 00:06:49,280
و اگر برای مثال میخواستم
171
00:06:49,280 –> 00:06:50,479
یک کار
172
00:06:50,479 –> 00:06:52,960
را سهشنبههای دیگر اجرا کنم، میتوانم از یک
173
00:06:52,960 –> 00:07:03,840
اسکریپت پایتون برای کمک به تعریف آن زمانبندی استفاده
174
00:07:33,680 –> 00:07:35,840
کنم، بنابراین در کار ارکستراسیون من اولین
175
00:07:35,840 –> 00:07:37,199
مؤلفهای که میخواهم اجرا کنم
176
00:07:37,199 –> 00:07:40,240
یک مؤلفه پایتون است که قرار
177
00:07:40,240 –> 00:07:45,840
است برخی از تاریخها را دستکاری
178
00:08:02,240 –> 00:08:04,879
کنم و مقادیر را به مواد
179
00:08:04,879 –> 00:08:06,560
برگردانم تا بتوانم جریان
180
00:08:06,560 –> 00:08:10,319
را در بقیه مراحل هماهنگسازی خود کنترل کنم،
181
00:08:10,840 –> 00:08:13,840
182
00:08:32,399 –> 00:08:34,958
بنابراین در اینجا در مؤلفه پایتون، من
183
00:08:34,958 –> 00:08:35,679
از
184
00:08:35,679 –> 00:08:38,799
مفسر python3 استفاده میکنم
185
00:08:38,799 –> 00:08:41,838
، اولین
186
00:08:46,240 –> 00:08:49,279
چیز وارد کردن کتابخانه تاریخ است.
187
00:08:49,279 –> 00:08:52,839
من می توانم به اشیاء و عملکردهای زمان تاریخ دسترسی داشته
188
00:08:52,839 –> 00:08:54,240
189
00:08:54,240 –> 00:09:09,519
190
00:09:09,519 –> 00:09:11,920
191
00:09:11,920 –> 00:09:13,360
192
00:09:13,360 –> 00:09:15,920
193
00:09:15,920 –> 00:09:17,279
194
00:09:17,279 –> 00:09:23,839
باشم و سپس متد اسم را روی شیء datetime اجرا کنم و این تاریخ امروز را برمی گرداند و من آن را به من اختصاص می دهم. اسکریپت پایتون
195
00:09:54,080 –> 00:09:57,920
به متغیری به نام امروز بروید
196
00:09:58,000 –> 00:10:00,800
و سپس روش دیگری را
197
00:10:00,800 –> 00:10:01,680
در برابر
198
00:10:01,680 –> 00:10:05,839
متغیر من امروز اجرا کنید، این
199
00:10:15,040 –> 00:10:18,399
یک فرمت مشخص کننده است و
200
00:10:18,399 –> 00:10:19,600
201
00:10:19,600 –> 00:10:21,920
هفته از سال به من برمی گردد، بنابراین من
202
00:10:21,920 –> 00:10:25,839
آن را به متغیر دیگری در
203
00:10:31,519 –> 00:10:35,360
اسکریپت پایتون خود به نام week اختصاص می دهم. از
204
00:10:36,160 –> 00:10:38,160
سال، سپس بر روی
205
00:10:38,160 –> 00:10:39,760
آن متغیر محاسبه میکنم،
206
00:10:39,760 –> 00:10:40,480
207
00:10:40,480 –> 00:10:42,079
208
00:10:42,079 –> 00:10:44,240
بنابراین آن را بر دو تقسیم میکنم، اما از عملگر مدول در اینجا استفاده میکنم تا بدانم
209
00:10:44,240 –> 00:10:47,760
اگر نتیجه صفر باشد، میدانم
210
00:10:47,760 –> 00:10:50,959
که هفته من از سال زوج است، بنابراین من
211
00:10:50,959 –> 00:10:52,000
آن
212
00:10:52,000 –> 00:10:54,000
را روی متغیری به نام هفته
213
00:10:54,000 –> 00:10:55,839
214
00:10:55,839 –> 00:11:00,640
تنظیم میکنم، در غیر این صورت آن را روی فرد تنظیم
215
00:11:00,640 –> 00:11:03,600
میکنم و در نهایت متغیرم را چاپ میکنم که
216
00:11:03,600 –> 00:11:04,160
217
00:11:04,160 –> 00:11:06,240
این اجازه میدهد من مقدار
218
00:11:06,240 –> 00:11:07,680
آن متغیر را در
219
00:11:07,680 –> 00:11:10,560
تاریخچه وظایف به صورت matillion ببینم، اما
220
00:11:10,560 –> 00:11:10,959
221
00:11:10,959 –> 00:11:14,240
متغیر job را نیز در مواد به روز می
222
00:11:14,240 –> 00:11:16,480
کنم، بنابراین می خواهم برای تمرین
223
00:11:16,480 –> 00:11:18,240
خود، متغیر jv underscore ضعیف ترین شغل را
224
00:11:18,240 –> 00:11:21,360
بر روی نتایج ضعیف ترین
225
00:11:21,360 –> 00:11:24,000
متغیر خود تنظیم کنم. اسکریپت بنابراین من دو
226
00:11:24,000 –> 00:11:26,399
متغیر در اینجا در شغل من تعریف شده است
227
00:11:26,399 –> 00:11:29,360
o اگر وارد مدیریت متغیرهای شغلی شوم،
228
00:11:29,360 –> 00:11:30,240
می توانید ببینید که من
229
00:11:30,240 –> 00:11:33,600
دو متغیر را در اینجا تنظیم کرده
230
00:11:33,600 –> 00:11:36,800
231
00:11:37,040 –> 00:11:39,440
232
00:11:39,440 –> 00:11:41,440
233
00:11:41,440 –> 00:11:42,880
234
00:11:42,880 –> 00:11:45,600
ام.
235
00:11:45,600 –> 00:11:46,480
236
00:11:46,480 –> 00:11:48,720
من روز
237
00:11:48,720 –> 00:11:49,680
هفته را محاسبه میکنم و متغیر jb day of the week را
238
00:11:49,680 –> 00:11:53,040
در اسکریپت پایتون خود تنظیم میکنم،
239
00:11:54,320 –> 00:11:56,320
سپس میتوانم به این متغیرها
240
00:11:56,320 –> 00:11:57,600
در شغل خود اشاره کنم،
241
00:11:57,600 –> 00:12:00,959
بنابراین من از یک جزء if در اینجا استفاده میکنم، بنابراین میگویم
242
00:12:00,959 –> 00:12:01,680
243
00:12:01,680 –> 00:12:04,399
اگر
244
00:12:04,720 –> 00:12:08,000
اگر هفته زوج باشد i نتایجی که
245
00:12:08,000 –> 00:12:10,240
در اسکریپت پایتون من تنظیم شده است اگر
246
00:12:10,240 –> 00:12:12,320
هفته زوج باشد
247
00:12:12,320 –> 00:12:16,240
و روز هفته برابر با یک
248
00:12:16,240 –> 00:12:18,079
باشد، من کارم را برای
249
00:12:18,079 –> 00:12:20,800
پردازش داده ها اجرا می
250
00:12:20,800 –> 00:12:22,480
کنم در غیر این صورت من فقط
251
00:12:22,480 –> 00:12:25,839
252
00:12:27,920 –> 00:12:30,160
یکی از مزایای کلیدی زبان
253
00:12:30,160 –> 00:12:31,360
اسکریپت نویسی ساده پایتون این
254
00:12:31,360 –> 00:12:33,600
است که شما را قادر می سازد تا به
255
00:12:33,600 –> 00:12:35,200
راحتی با
256
00:12:35,200 –> 00:12:37,760
سایر سرویس ها ادغام شوید، بنابراین من قصد
257
00:12:37,760 –> 00:12:40,320
دارم چند نمونه با استفاده از
258
00:12:40,320 –> 00:12:43,440
کتابخانه های boto boto3 را به شما نشان دهم که به شما امکان می دهد
259
00:12:43,440 –> 00:12:44,399
260
00:12:44,399 –> 00:12:47,040
با آن یکپارچه شوید. سایر خدمات در محیط
261
00:12:47,040 –> 00:12:47,680
ابری
262
00:12:47,680 –>