در این مطلب، ویدئو AirFlow – Pipeline Orchestration (خط لوله ETL ساخته شده با پایتون) با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 1:02:10
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:02,270 –> 00:00:05,310
سلام دوستان این نقطه مثبت سگ است به
2
00:00:05,310 –> 00:00:07,410
عنوان بخشی از این جلسه امروز به
3
00:00:07,410 –> 00:00:11,040
بحث در مورد جریان هوا ادامه خواهیم داد.
4
00:00:11,040 –> 00:00:14,190
سعی خواهیم کرد تمام شکاف ها را با
5
00:00:14,190 –> 00:00:15,660
توجه به سرعت کندی که
6
00:00:15,660 –> 00:00:20,910
دیروز توسعه داده ایم پر کنیم. سعی خواهیم کرد
7
00:00:20,910 –> 00:00:24,000
با مثالی کمی واقع بینانه پیش برویم.
8
00:00:24,000 –> 00:00:27,180
جایگزین کردن همه این گره ها با کمی
9
00:00:27,180 –> 00:00:29,580
کد واقعی و سپس خواهیم
10
00:00:29,580 –> 00:00:31,769
فهمید که چگونه می توانیم
11
00:00:31,769 –> 00:00:33,809
مشکلات و همه آن چیزها را دوباره عیب یابی کنیم
12
00:00:33,809 –> 00:00:35,640
، این یک جریان اساسی است که
13
00:00:35,640 –> 00:00:38,309
ما به برخی از مفاهیم کلیدی
14
00:00:38,309 –> 00:00:40,530
که باید با آنها آشنا باشیم نمی پردازیم.
15
00:00:40,530 –> 00:00:42,780
برخی از نکاتی را که
16
00:00:42,780 –> 00:00:44,610
در آینده در مورد آنها بحث خواهیم کرد برجسته خواهیم کرد و هنگامی که
17
00:00:44,610 –> 00:00:46,440
مهارت های دیگر را در رابطه با
18
00:00:46,440 –> 00:00:48,570
داده های بزرگ انتخاب کردیم، باز خواهیم گشت و شروع به
19
00:00:48,570 –> 00:00:49,800
بررسی برخی از مفاهیم محیطی در
20
00:00:49,800 –> 00:00:52,559
رابطه با جریان هوا خواهیم
21
00:00:52,559 –> 00:00:55,020
کرد که برای کسانی که به آن می پیوندند گفته می شود.
22
00:00:55,020 –> 00:00:57,930
اولین بار از طریق YouTube این
23
00:00:57,930 –> 00:01:00,629
جلسات به عنوان بخشی از
24
00:01:00,629 –> 00:01:02,129
چیزی به نام و بوت کمپ مهندسی برگزار می شود
25
00:01:02,129 –> 00:01:05,010
و بوت کمپ مرده در
26
00:01:05,010 –> 00:01:06,150
درجه اول برای کسانی است که
27
00:01:06,150 –> 00:01:09,030
این مبلغ را فارغ التحصیل می کنند. mer از دانشگاه های ایالات متحده اگر می
28
00:01:09,030 –> 00:01:10,380
خواهید هر زمان که
29
00:01:10,380 –> 00:01:11,880
این جلسات زنده را برگزار می کنم اعلان دریافت کنید و اگر می
30
00:01:11,880 –> 00:01:13,409
خواهید چیزهای کمی یاد بگیرید لطفاً
31
00:01:13,409 –> 00:01:14,790
در کانال ما مشترک شوید و روی
32
00:01:14,790 –> 00:01:16,890
نماد اعلان کلیک کنید
33
00:01:16,890 –> 00:01:20,580
تا اعلان هایی را که به عنوان
34
00:01:20,580 –> 00:01:22,439
بخشی از جلسه امروز گفته می شود یا دریافت کنید. جلسه گذشته
35
00:01:22,439 –> 00:01:26,060
من این یک خط لوله جریان را ایجاد کردم
36
00:01:26,060 –> 00:01:30,450
که در آن سناریویی را شبیه سازی کرده ایم
37
00:01:30,450 –> 00:01:33,299
تا داده ها را از دنباله خود و همچنین چهار
38
00:01:33,299 –> 00:01:35,460
مربع به طور همزمان دریافت کنیم و سپس به آن بپیوندیم،
39
00:01:35,460 –> 00:01:40,290
اما فقط برای نشان دادن نحوه ساخت، دیسک پر شده
40
00:01:40,290 –> 00:01:43,829
را با دستورات اصلی لینوکس پر کردیم.
41
00:01:43,829 –> 00:01:45,840
42
00:01:45,840 –> 00:01:48,450
خط لوله این فقط یک
43
00:01:48,450 –> 00:01:50,250
اسکلت است اکنون ما باید در واقع
44
00:01:50,250 –> 00:01:53,939
وارد جایگزینی برخی از چیزهای کلیدی
45
00:01:53,939 –> 00:01:57,689
شویم تا آن را با
46
00:01:57,689 –> 00:02:01,320
یک کمی تا واقعی اجرا کنیم تا این
47
00:02:01,320 –> 00:02:03,750
چیزها را با یک اسکلت کمی واقعی جایگزین کنیم که من
48
00:02:03,750 –> 00:02:07,259
ساخته ام من ساخته ام برنامه ای که
49
00:02:07,259 –> 00:02:10,169
به عنوان نسخه ی نمایشی ETL نامیده می شود، اگر کد منبع
50
00:02:10,169 –> 00:02:13,700
آن را می خواهید می توانید به github com بروید،
51
00:02:13,700 –> 00:02:18,770
من همچنین readme را به روز رسانی می کنم تا
52
00:02:18,770 –> 00:02:22,280
ما را شناسایی کند – وقتی این re را شبیه سازی کردید
53
00:02:22,280 –> 00:02:24,530
نحوه اعتبار سنجی محلی و
54
00:02:24,530 –> 00:02:26,000
سپس نحوه پیاده سازی به عنوان بخشی از
55
00:02:26,000 –> 00:02:28,640
خط لوله، من سعی خواهم کرد به عنوان بخشی
56
00:02:28,640 –> 00:02:31,130
از readme مستند کنم که هنوز آماده نیست، اما
57
00:02:31,130 –> 00:02:33,290
اگر به
58
00:02:33,290 –> 00:02:36,530
github.com /d garage که متعلق به من است بروید، از آن مراقبت خواهم کرد.
59
00:02:36,530 –> 00:02:40,090
حساب github شما در واقع می توانید به
60
00:02:40,090 –> 00:02:43,190
مخازن بروید اجازه دهید ببینم فکر می کنم من فقط
61
00:02:43,190 –> 00:02:46,100
به github.com رفتم باید به
62
00:02:46,100 –> 00:02:49,840
حساب خود بروم این حساب من است
63
00:02:50,920 –> 00:02:52,510
شما به مخازن بروید مخزنی وجود دارد
64
00:02:52,510 –> 00:02:56,440
که در ETL نامیده می شود – نسخه ی نمایشی این
65
00:02:56,440 –> 00:02:58,450
در درجه اول است برای لوله داده و
66
00:02:58,450 –> 00:02:59,440
هماهنگ سازی استفاده
67
00:02:59,440 –> 00:03:01,870
می شود، می توانید روی آن کلیک کنید و می توانید
68
00:03:01,870 –> 00:03:04,810
کد منبع مربوط به
69
00:03:04,810 –> 00:03:07,420
این نسخه آزمایشی را ببینید، من شما را از طریق
70
00:03:07,420 –> 00:03:10,530
کد منبع راهنمایی می کنم و سپس
71
00:03:10,530 –> 00:03:13,569
بدون ادغام با جریان هوا اعتبار سنجی می کنم، سپس
72
00:03:13,569 –> 00:03:14,590
ما در واقع از یکپارچه سازی مراقبت خواهیم کرد.
73
00:03:14,590 –> 00:03:17,170
این با جریان هوا به طوری
74
00:03:17,170 –> 00:03:19,780
که و چیزها می توانند به ترتیب مناسب راه اندازی شوند،
75
00:03:19,780 –> 00:03:25,510
بنابراین در اصطلاح استاندارد به
76
00:03:25,510 –> 00:03:27,459
آن فرآیند جعبه می گویند، ما می خواهیم
77
00:03:27,459 –> 00:03:30,280
یک گردش کار ایجاد کنیم تا مورد استفاده خود را برآورده
78
00:03:30,280 –> 00:03:32,680
کند، بنابراین اجازه دهید با
79
00:03:32,680 –> 00:03:36,340
استفاده از case case شروع کنیم. با هم fr از
80
00:03:36,340 –> 00:03:38,950
پایگاه داده عاقبت من با توجه به سفارشات و همچنین
81
00:03:38,950 –> 00:03:40,840
برای دریافت اطلاعات مشتریان از Postgres و
82
00:03:40,840 –> 00:03:43,900
سپس من فقط می خواهم با استفاده از کتابخانه Python Basin به این دو مجموعه داده بپیوندم، برای این کار
83
00:03:43,900 –> 00:03:47,260
84
00:03:47,260 –> 00:03:49,450
از پانداها استفاده خواهد شد و من
85
00:03:49,450 –> 00:03:51,010
فقط می خواهم تعداد سفارش های ارسال
86
00:03:51,010 –> 00:03:52,900
شده توسط هر مشتری و من میخواهیم
87
00:03:52,900 –> 00:03:54,700
آن را در فایل ذخیره کنیم تا این
88
00:03:54,700 –> 00:03:57,400
خط لوله کلی باشد که میخواهیم پیادهسازی کنیم، به
89
00:03:57,400 –> 00:04:01,090
طوری که اگر
90
00:04:01,090 –> 00:04:02,530
به کد منبع نگاه کنید که
91
00:04:02,530 –> 00:04:04,600
مخزن هاب را دوباره دریافت نکردهاید و نام مخزن
92
00:04:04,600 –> 00:04:07,480
github.com است، گفته میشود. اسلش با هم / e TL
93
00:04:07,480 –> 00:04:10,900
– نسخه ی نمایشی می بینید که تعداد کمی از
94
00:04:10,900 –> 00:04:13,090
اسکریپت های پایتون وجود دارد که اصلی ترین آنها AB
95
00:04:13,090 –> 00:04:16,000
dot py است و سپس از فرآیند dot py نیز استفاده خواهیم کرد
96
00:04:16,000 –> 00:04:20,620
تا AB dot py منطقی را داشته
97
00:04:20,620 –> 00:04:23,560
باشد که داده ها را از آزمایشگاه دنباله من نیز بخواند.
98
00:04:23,560 –> 00:04:25,900
به عنوان Postgres، بنابراین سه آرگومان لازم دارد
99
00:04:25,900 –> 00:04:28,150
، اولین آرگومان محیط است،
100
00:04:28,150 –> 00:04:30,090
مانند اینکه آنها تولید چای می دهند و غیره
101
00:04:30,090 –> 00:04:32,530
، آرگومان دوم چیزی نیست جز
102
00:04:32,530 –> 00:04:35,289
پایگاه داده، بنابراین نام پایگاه داده ای که می
103
00:04:35,289 –> 00:04:39,640
خواهیم منتقل کنیم، بنابراین من به شما نشان خواهم داد که چه
104
00:04:39,640 –> 00:04:42,190
مقادیر معتبری را می توانیم انجام دهیم. ss در یک لحظه و
105
00:04:42,190 –> 00:04:46,539
آرگومان سوم قادر است بنابراین راضی
106
00:04:46,539 –> 00:04:49,060
کردن دستورات دریافت از دنباله من
107
00:04:49,060 –> 00:04:51,190
ارسال سفارشات نام جدول برای
108
00:04:51,190 –> 00:04:53,470
راضی کردن مشتریان از PG است که
109
00:04:53,470 –> 00:04:55,180
پرتغالی منتقل شده
110
00:04:55,180 –> 00:04:57,070
مشتریان را پاس می کند نام جدول جزئیات برای
111
00:04:57,070 –> 00:04:58,660
آرگومان سوم دارند اما آرگومان دوم
112
00:04:58,660 –> 00:05:03,450
اگر شما به پیکربندی نقطه py
113
00:05:04,180 –> 00:05:06,710
می روید، بنابراین احساس می کنید که اگر
114
00:05:06,710 –> 00:05:09,500
محتوای من را برای مدتی طولانی دنبال می کنید
115
00:05:09,500 –> 00:05:12,700
ساختارهای مشابه کاربر برای کپی داده های
116
00:05:12,700 –> 00:05:16,570
چیز نیز در آن وجود دارد، بنابراین بین آن و این اشتباه گرفته نشوید.
117
00:05:16,570 –> 00:05:19,840
118
00:05:19,840 –> 00:05:23,330
روحی که مخزن را پروژه می کند
119
00:05:23,330 –> 00:05:26,890
و این
120
00:05:26,960 –> 00:05:34,610
را روی کپی داده این مورد برای bb نوشته است – اما
121
00:05:34,610 –> 00:05:38,180
تیم من آن را از DB خرده فروشی db2 و
122
00:05:38,180 –> 00:05:41,740
DB مشتری هدف db2 شنیدم بنابراین
123
00:05:41,740 –> 00:05:45,470
پایگاه داده سفارشی است که به زبان پرتغالی است و ما
124
00:05:45,470 –> 00:05:48,080
تا زمانی که DB در من است بنابراین در برخی موارد
125
00:05:48,080 –> 00:05:50,720
در سناریوهای واقعی دنیای واقعی،
126
00:05:50,720 –> 00:05:52,910
ابردادههای مشتریان
127
00:05:52,910 –> 00:05:54,440
در پایگاهدادهای کاملاً متفاوت از
128
00:05:54,440 –> 00:05:56,930
دادههای تراکنش واقعی نگهداری میشوند تا بتوانیم
129
00:05:56,930 –> 00:05:59,599
برنامههای وفاداری را اجرا کنیم و همه آنها را بر اساس
130
00:05:59,599 –> 00:06:01,820
دادههای مشتری اجرا کنیم. همچنین به خصوص با
131
00:06:01,820 –> 00:06:05,449
توجه به برخی از برنامه
132
00:06:05,449 –> 00:06:08,210
هایی که اطلاعات محرمانه را ذخیره می
133
00:06:08,210 –> 00:06:09,650
کنند، ما تمام
134
00:06:09,650 –> 00:06:11,479
اطلاعات مشتریان را با سیستم مدیریت سفارش به اشتراک نمی
135
00:06:11,479 –> 00:06:13,970
گذاریم، فقط شناسه مشتری را به اشتراک می گذاریم و
136
00:06:13,970 –> 00:06:16,460
اگر می خواهید تجزیه و تحلیل را اجرا
137
00:06:16,460 –> 00:06:18,139
کنید، باید داده های مشتری را از مشتری دریافت کنیم.
138
00:06:18,139 –> 00:06:21,849
پایگاه داده و داده های معاملاتی از
139
00:06:21,849 –> 00:06:24,050
پایگاه داده سیستم مدیریت سفارش و
140
00:06:24,050 –> 00:06:28,180
سپس پایین دست ما معمولاً تمایل داریم
141
00:06:28,180 –> 00:06:30,620
به این دو مجموعه داده بپیوندیم و برخی
142
00:06:30,620 –> 00:06:32,960
تجزیه و تحلیل ها را علیه آن اجرا کنیم، بنابراین یک
143
00:06:32,960 –> 00:06:36,110
مورد استفاده بسیار رایج است که ما در
144
00:06:36,110 –> 00:06:39,139
اکثر شرکت هایی که گفته می شود استفاده می کنیم.
145
00:06:39,139 –> 00:06:41,870
دو پایگاه داده خرده فروشی DB و مشتری DB
146
00:06:41,870 –> 00:06:44,479
برای ارضای آرگومان دوم با
147
00:06:44,479 –> 00:06:49,340
توجه به AB dot py، فقط
148
00:06:49,340 –> 00:06:51,919
باید یا retail و scho DB یا
149
00:06:51,919 –> 00:06:54,440
مشتری DB را نقداً پاس کنیم، بنابراین این
150
00:06:54,440 –> 00:06:57,099
برنامه سه آرگومان را در
151
00:06:57,099 –> 00:06:59,270
محیطی که در آن نام پایگاه داده را اجرا می کنیم، می گیرد.
152
00:06:59,270 –> 00:07:00,889
مانند DB مشتری خرده فروشی TBL
153
00:07:00,889 –> 00:07:02,780
و نام جدول مانند
154
00:07:02,780 –> 00:07:05,210
سفارشات و مشتریان و سپس ما در حال
155
00:07:05,210 –> 00:07:07,340
تنظیم اولیه ورود به سیستم بر اساس گوروی ورود به سیستم هستیم
156
00:07:07,340 –> 00:07:10,400
. st تابعی است که وظیفه
157
00:07:10,400 –> 00:07:14,060
نوشتن لاگ ها در فایل اطلاعات
158
00:07:14,060 –> 00:07:17,270
و خاک دیگر را بر عهده دارد و سپس جزئیات زیر خط DB
159
00:07:17,270 –> 00:07:20,599
یک متغیر یا شی است
160
00:07:20,599 –> 00:07:22,430
که نتیجه این بارگذاری تابع جزئیات DB
161
00:07:22,430 –> 00:07:24,830
است، این بارگذاری داستان های DVD از
162
00:07:24,830 –> 00:07:27,080
util است و اگر به کد منبع
163
00:07:27,080 –> 00:07:31,940
این لود جزئیات DB فقط
164
00:07:31,940 –> 00:07:33,650
خواندن خواص است و بر اساس
165
00:07:33,650 –> 00:07:35,510
محیطی که پاس می دهیم در این مورد
166
00:07:35,510 –> 00:07:37,909
کمی DB sorry dev را به عنوان
167
00:07:37,909 –> 00:07:40,610
آرگومان ارسال می کنیم و تمام آن
168
00:07:40,610 –> 00:07:43,099
ویژگی ها توسط این تابع نوشته می شود
169
00:07:43,099 –> 00:07:47,569
بنابراین این شی DB جزئیات
170
00:07:47,569 –> 00:07:50,830
همه ویژگیهای گشاد شده را دریافت میکند،
171
00:07:50,830 –> 00:07:55,389
مانند جزئیات db’s advil Escada miss
172
00:07:55,389 –> 00:07:58,340
که شامل نام پایگاه داده نیروی
173
00:07:58,340 –> 00:08:00,770
رمز عبور شماره پورت و غیره
174
00:08:00,770 –> 00:08:03,639
میشود.
175
00:08:03,639 –> 00:08:07,550
176
00:08:07,550 –> 00:08:10,159
177
00:08:10,159 –> 00:08:13,909
نام و سپس
178
00:08:13,909 –> 00:08:17,360
داده ها را از جدول می خواند و
179
00:08:17,360 –> 00:08:19,729
داده ها و همچنین نام ستون ها را در اختیار ما قرار می دهد
180
00:08:19,729 –> 00:08:23,779
و سپس من در واقع یک
181
00:08:23,779 –> 00:08:26,000
چارچوب داده از آن ایجاد می کنم و سپس می نویسم.
182
00:08:26,000 –> 00:08:30,050
قاب داده را در فایلی تحت
183
00:08:30,050 –> 00:08:33,409
/tmp قرار دهید، اگر برای نوشتن این فایل حقیقت DF به هسته نگاه کنید، در حال
184
00:08:33,409 –> 00:08:35,690
ارسال
185
00:08:35,690 –> 00:08:37,669
فریم دادهای هستیم که
186
00:08:37,669 –> 00:08:39,740
با استفاده از دادهها و ستونهایی
187
00:08:39,740 –> 00:08:41,750
که برگردانده میشوند
188
00:08:41,750 –> 00:08:44,320
با خواندن جدول امتیاز نوشته میشوند. شما به اینجا بروید
189
00:08:44,320 –> 00:08:48,589
در سمت راست فایل df2 من یک سخت
190
00:08:48,589 –> 00:08:50,269
هستم مسیر فایل را مشخص می کنم که
191
00:08:50,269 –> 00:08:52,519
چیزی جز دایرکتوری پایه نیست در این مورد
192
00:08:52,519 –> 00:08:55,850
بر اساس چیزی جز /tmp وجود ندارد و سپس
193
00:08:55,850 –> 00:08:58,940
نام جدول به عنوان بخشی از
194
00:08:58,940 –> 00:09:01,640
مسیر استفاده می شود و سپس ما نام فایل را میدهیم،
195
00:09:01,640 –> 00:09:03,440
بنابراین با استفاده از این دادههای نام فایل در
196
00:09:03,440 –> 00:09:06,050
آن مکان کپی میشود، خوب، متوجه میشوید
197
00:09:06,050 –> 00:09:08,269
که وقتی به عنوان
198
00:09:08,269 –> 00:09:11,180
بخشی از خط لوله شروع به پیادهسازی کردم، اکنون اجازه دهید به اینجا برگردم،
199
00:09:11,180 –> 00:09:16,810
اجازه دهید تمام پوشههای موقتی را
200
00:09:16,810 –> 00:09:21,019
که در اختیار داریم پاک کنم. من
201
00:09:21,019 –> 00:09:24,260
فقط سفارشات پیوستن را دارم و مشتریان
202
00:09:24,260 –> 00:09:27,980
به من اجازه می دهند آن را حذف کنم تا بتوانیم
203
00:09:27,980 –> 00:09:31,220
این موارد را تأیید کنیم تا کد
204
00:09:31,220 –> 00:09:34,180
منبع قبلاً در این مکان کشیده شده باشد. من
205
00:09:34,180 –> 00:09:37,490
مخزن را در اینجا رشد داده ام و
206
00:09:37,490 –> 00:09:40,790
فقط مطمئن می شوم که آخرین تغییرات
207
00:09:40,790 –> 00:09:43,220
همه چیز است o اینجا کشیده شده است که می گوید
208
00:09:43,220 –> 00:09:44,899
از قبل به روز است، بنابراین ما همه
209
00:09:44,899 –> 00:09:47,060
کد منبع را در اینجا داریم، بنابراین مکان
210
00:09:47,060 –> 00:09:49,670
این پروژه چیزی نیست جز نسخه ی نمایشی ETL، من
211
00:09:49,670 –> 00:09:52,610
همچنین می توانم جریمه کمتری برای نشان دادن
212
00:09:52,610 –> 00:09:54,450
همه فایل
213
00:09:54,450 –> 00:09:57,360
ها اجرا کنم.
214
00:09:57,360 –> 00:10:00,360
گزارشهای تولید شده در این را ببینید، اما
215
00:10:00,360 –> 00:10:03,690
ما دوباره طراحی خواهیم کرد
216
00:10:03,690 –> 00:10:06,660
و بعد از هر جهش اکنون با
217
00:10:06,660 –> 00:10:14,100
توجه به جریان AL خواهیم دید، خوب ما
218
00:10:14,100 –> 00:10:17,010
دیروز داگ را ایجاد کردیم
219
00:10:17,010 –> 00:10:20,130
تا اسکلت آن را بسازیم و نام داگ
220
00:10:20,130 –> 00:10:21,870
چیزی نیست جز نسخه آزمایشی ETL underscore
221
00:10:21,870 –> 00:10:24,690
underscore 101 dot py پس اجازه دهید
222
00:10:24,690 –> 00:10:28,610
این atl demo underscore 101 dot py را باز کنم من
223
00:10:28,610 –> 00:10:31,769
کد منبع این فایل را
224
00:10:31,769 –> 00:10:34,670
نیز به عنوان بخشی از نمایش جزئیات پروژه می گویم
225
00:10:34,670 –> 00:10:37,230
پس از این جلسه می توانید آن را بکشید و
226
00:10:37,230 –> 00:10:41,279
در واقع می توانید کد را به عنوان داشته باشید بخشی
227
00:10:41,279 –> 00:10:43,160
از مخزن اکسل برای ایده شما
228
00:10:43,160 –> 00:10:46,800
و این کد واقعی است که ما
229
00:10:46,800 –> 00:10:50,519
دیروز ایجاد کرده ایم، بنابراین اگر
230
00:10:50,519 –> 00:10:52,800
سعی کنید این را به خط لوله ای که
231
00:10:52,800 –> 00:10:55,579
در اینجا می بینید نگاشت کنید، بنابراین شروع به ایجاد
232
00:10:55,579 –> 00:10:57,540
دایرکتوری هایی با توجه به سفارشات و
233
00:10:57,540 –> 00:11:01,820
مشتریان کردیم تا بتوانید h را مشاهده کنید. بنابراین
234
00:11:01,820 –> 00:11:04,769
اجازه دهید من واقعاً اعداد را نمایش دهم تا
235
00:11:04,769 –> 00:11:06,060
شما یک ایده منصفانه به دست آورید،
236
00:11:06,060 –> 00:11:09,440
بنابراین خط شماره 17 تا 20 ابتدا
237
00:11:09,440 –> 00:11:11,850
مرحله ای است که در آن
238
00:11:11,850 –> 00:11:15,810
پوشه / tmp دستورات اسلش درست می شود و سپس
239
00:11:15,810 –> 00:11:18,420
خط شماره 23 تا 27 پوشه را ایجاد می کند.
240
00:11:18,420 –> 00:11:22,920
مشتریان موقت و من
241
00:11:22,920 –> 00:11:28,019
میخواهم یک پوشه برای سفارشهای پیوستن و
242
00:11:28,019 –> 00:11:30,600
مشتریان ایجاد کنم، همچنین دیروز آن
243
00:11:30,600 –> 00:11:33,390
پوشه را به عنوان بخشی از این مرحله در خط
244
00:11:33,390 –> 00:11:38,040
شماره 43 ایجاد کردم که میتوانید قبل از شبیهسازی
245
00:11:38,040 –> 00:11:40,170
رفتار پیوستن بین سفارشها و
246
00:11:40,170 –> 00:11:41,730
مشتریان، دایرکتوری را ایجاد کردم
247
00:11:41,730 –> 00:11:43,350
و سپس از علامت علامت استفاده کردم. امپرسند من
248
00:11:43,350 –> 00:11:45,720
آن را منتقل می کنم بقیه این موارد
249
00:11:45,720 –> 00:11:49,079
این ویژگی لینوکس است که اگر
250
00:11:49,079 –> 00:11:50,490
ایجاد دایرکتوری موفقیت آمیز باشد فقط
251
00:11:50,490 –> 00:11:54,060
اجرا می شود و ما
252
00:11:54,060 –> 00:11:56,310
فقط برای شبیه سازی رفتار ترسیم فایل WAV خروجی را تغییر مسیر
253
00:11:56,310 –> 00:11:58,139
دادیم امروز
254
00:11:58,139 –> 00:12:00,899
در واقع پایتون را فراخوانی خواهیم کرد. کدی که
255
00:12:00,899 –> 00:12:02,850
در واقع به دادهها میپیوندد و ما
256
00:12:02,850 –> 00:12:04,110
باید کاغذ نقطهای فرآیند را بررسی
257
00:12:04,110 –> 00:12:06,630
کنیم که در یک لحظه درست انجام خواهم داد
258
00:12:06,630 –> 00:12:07,360
و
259
00:12:07,360 –> 00:12:10,480
برای این کار نیز چند کار ایجاد کردم.
260
00:12:10,480 –> 00:12:12,339
چیزی جز گرفتن سفارش
261
00:12:12,339 –> 00:12:14,290
از دنباله من و گرفتن مشتری از PG نیست
262
00:12:14,290 –> 00:12:17,380
و اینها کارهایی هستند که در
263
00:12:17,380 –> 00:12:20,950
اینجا برجسته شده اند، بنابراین این
264
00:12:20,950 –> 00:12:23,230
یکی است و از دنباله من سفارش می گیرد و
265
00:12:23,230 –> 00:12:25,810
این همان چیزی است که از PG مشتری می گیرد، بنابراین
266
00:12:25,810 –> 00:12:28,360
در این مورد من فقط با استفاده از
267
00:12:28,360 –> 00:12:31,390
یک رویکرد لینوکس شبیه سازی شده است و فقط با
268
00:12:31,390 –> 00:12:33,579
ارسال یک پیام سلام از مشتریان به این
269
00:12:33,579 –> 00:12:36,040
فایل متنی، کد پایتون را فراخوانی می کنیم
270
00:12:36,040 –> 00:12:38,470
تا در واقع داده های مشتریان
271
00:12:38,470 –> 00:12:40,959
را به f5 وارد کنیم و در یک لحظه از آن مراقبت می کنیم
272
00:12:40,959 –> 00:12:42,970
و با فراخوانی
273
00:12:42,970 –> 00:12:49,589
دستور پایتون مناسب پایتون. و بعد از
274
00:12:49,589 –> 00:12:52,149
پیوستن فقط می خواهیم
275
00:12:52,149 –> 00:12:54,670
سفارشات دایرکتوری ها و مشتریان را حذف کنیم تا
276
00:12:54,670 –> 00:12:58,360
در صورت اجرای منظم
277
00:12:58,360 –> 00:13:00,519
طبق برنامه، directrix
278
00:13:00,519 –> 00:13:03,279
دوباره ایجاد شود و داده ها به
279
00:13:03,279 –> 00:13:05,260
طور موقت در آن دایرکتوری ها مرحله بندی شوند و
280
00:13:05,260 –> 00:13:08,589
سپس ما را اجرا کنیم. ملحق شوید و سپس
281
00:13:08,589 –> 00:13:10,750
دوباره دایرکتوری ها را حذف می کنیم و به این
282
00:13:10,750 –> 00:13:13,899
ترتیب مکان های مشابه را می توان چندین
283
00:13:13,899 –> 00:13:15,550
بار در طول یک دوره زمانی طبق
284
00:13:15,550 –> 00:13:17,980
برنامه استفاده کرد، بنابراین همه این موارد
285
00:13:17,980 –> 00:13:20,440
با P واقعی جایگزین می شوند. دستورات ython را
286
00:13:20,440 –> 00:13:24,630
به جای آن که مخالف سابق ویگلر
287
00:13:24,630 –> 00:13:27,430
قبل از ورود به اعتبارسنجی واقعی درخواست کرد،
288
00:13:27,430 –> 00:13:31,510
اجازه دهید کد را
289
00:13:31,510 –> 00:13:34,959
با توجه به پردازش dot py نیز بررسی کنیم، بنابراین
290
00:13:34,959 –> 00:13:38,560
اگر به برنامه dot py بروید، فقط
291
00:13:38,560 –> 00:13:40,180
توانایی خواندن داده ها از
292
00:13:40,180 –> 00:13:41,529
پایگاه داده را بر اساس آن دارد. اطلاعات ارسال شده
293
00:13:41,529 –> 00:13:43,930
و مستقیماً به مکان شما
294
00:13:43,930 –> 00:13:48,970
دقیقاً هیچ کدی وجود ندارد که
295
00:13:48,970 –> 00:13:52,930
از پیوستن به مجموعه دادهها مراقبت کند، کد واقعی
296
00:13:52,930 –> 00:13:54,579
با توجه به پیوستن به مجموعه دادهها
297
00:13:54,579 –> 00:13:57,880
تحت فرآیند نقطه py است و اگر
298
00:13:57,880 –> 00:14:00,130
به این فرآیند نگاه کنید، نقطه P در حالی که فقط
299
00:14:00,130 –> 00:14:01,480
دارد یک تابع که به عنوان
300
00:14:01,480 –> 00:14:06,010
دادههای زیرخط پیوستن شما نامیده میشود و سپس
301
00:14:06,010 –> 00:14:08,860
از کتابخانه pandas برای خواندن
302
00:14:08,860 –> 00:14:12,040
دادهها با فرمت CSV از سفارشها
303
00:14:12,040 –> 00:14:14,110
و همچنین مشتریان استفاده میکنم و سپس
304
00:14:14,110 –> 00:14:16,360
از رویکرد متاسفم مبتنی بر پایتون
305
00:14:16,360 –> 00:14:18,399
برای پیوستن به هر دو داده استفاده میکنم. مجموعهها و
306
00:14:18,399 –> 00:14:20,589
همچنین بر اساس سفارشی از قبل تجمیع میشود
307
00:14:20,589 –> 00:14:21,370
و تعداد سفارشهای
308
00:14:21,370 –> 00:14:24,790
قاب دادهای را دریافت میکنید و در نهایت تعداد سفارشهای چارچوب داده
309
00:14:24,790 –> 00:14:26,260
را توسط مشتری دریافت میکنید که شامل
310
00:14:26,260 –> 00:14:29,260
شناسه مشتری و تعداد سفارشهایی است
311
00:14:29,260 –> 00:14:33,370
که مشتری ارسال کرده است. در این
312
00:14:33,370 –> 00:14:37,150
مکان بسیار خوب است، بنابراین ما باید این را فراخوانی کنیم
313
00:14:37,150 –> 00:14:39,490
تا در واقع به مجموعه دادههایی بپیوندیم که
314
00:14:39,490 –> 00:14:42,760
توسط این دو پرش در این فایلها نوشته شدهاند،
315
00:14:42,760 –> 00:14:43,270
316
00:14:43,270 –> 00:14:46,450
317
00:14:46,450 –> 00:14:47,890
318
00:14:47,890 –> 00:14:51,280
بسیار
319
00:14:51,280 –> 00:14:54,600
خوب به یک گره ملحق می
320
00:14:54,600 –> 00:14:56,950
شود که چیزی جز یک سفارش نیست
321
00:14:56,950 –> 00:14:59,860
و مشتریانی در حال کار با
322
00:14:59,860 –> 00:15:01,150
آن تابع هستند و
323
00:15:01,150 –> 00:15:03,190
از پیوستن مجموعه داده های ما مراقبت می کند و
324
00:15:03,190 –> 00:15:05,560
اگر می خواهید
325
00:15:05,560 –> 00:15:07,810
برای نوشتن در پایگاه داده ادغام کنید، نتایج پیوست شده در فایل خواهد بود. شما
326
00:15:07,810 –> 00:15:10,360
می توانید این کار را انجام دهید یا در بسیاری از موارد ما
327
00:15:10,360 –> 00:15:12,820
خروجی را در فایل می نویسیم
328
00:15:12,820 –> 00:15:14,740
و فرآیند ممکن است داده ها را انتخاب کند و
329
00:15:14,740 –> 00:15:16,900
در پایگاه داده بنویسد، در این صورت ما
330
00:15:16,900 –> 00:15:19,360
فقط باید جهش های بیشتری را به خط لوله خود اضافه کنیم، بسیار
331
00:15:19,360 –> 00:15:21,940
خوب است، بسته
332
00:15:21,940 –> 00:15:24,280
به نیازهای ما. میتوانیم
333
00:15:24,280 –> 00:15:27,160
گردش کار را سادهسازی کنیم و میتوانیم از آن مراقبت کنیم،
334
00:15:27,160 –> 00:15:29,790
میتوانیم از اجرای
335
00:15:29,790 –> 00:15:34,600
خط لوله مورد نیاز با استفاده از جریان
336
00:15:34,600 –> 00:15:39,130
مربوط به یک PS مراقبت کنیم، بنابراین قبل از بهروزرسانی
337
00:15:39,130 –> 00:15:42,250
این نسخه آزمایشی ETL 101 dot py let’s v
338
00:15:42,250 –> 00:15:44,590
دستورات فردی پایتون را تغییر دهید تا ببینید
339
00:15:44,590 –> 00:15:46,120
آیا میتوانیم دادهها را از
340
00:15:46,120 –> 00:15:48,310
دنباله من به یک فایل پرتغالی به
341
00:15:48,310 –> 00:15:51,730
یک فایل تبدیل
342
00:15:51,730 –> 00:15:53,740
کنیم یا نه، آیا میتوانیم
343
00:15:53,740 –> 00:15:55,600
نقطه فرآیند p را فراخوانی کنیم که به آن ملحق شد
344
00:15:55,600 –> 00:15:56,620
یا نه و آیا میتوانیم
345
00:15:56,620 –> 00:15:59,470
نتایج hot را ببینید تا الان هیچ دایرکتوری وجود ندارد
346
00:15:59,470 –> 00:16:02,020
، من فقط دایرکتوریها را ایجاد میکنم،
347
00:16:02,020 –> 00:16:04,060
زیرا ابتدا
348
00:16:04,060 –> 00:16:06,190
باید تأیید کنیم که یک خط لوله میتواند ساخته شود،
349
00:16:06,190 –> 00:16:09,370
بنابراین اولین قدم ایجاد
350
00:16:09,370 –> 00:16:14,940
این دستورات دایرکتوری است و سپس
351
00:16:14,940 –> 00:16:17,620
دستور دیگری چیزی نیست جز اینکه
352
00:16:17,620 –> 00:16:20,200
دایرکتوری را برای مشتریان ایجاد کنید، بنابراین این دو
353
00:16:20,200 –> 00:16:22,960
مورد هستند که اکنون باید مراقب آنها باشیم،
354
00:16:22,960 –> 00:16:27,160
اگر دوباره به کد نگاه کنید، من به کد برمی گردم
355
00:16:27,160 –> 00:16:30,400
و اگر به برنامه نگاه کنید
356
00:16:30,400 –> 00:16:33,520
dot py با عرض پوزش روی لینک طولانی که دارم کلیک می
357
00:16:33,520 –> 00:16:35,750
کنم. برای کلیک بر روی این
358
00:16:35,750 –> 00:16:40,280
tl دمو اگر روی AB dot py کلیک
359
00:16:40,280 –> 00:16:42,830
کنید باید سه آرگومان ارسال کنیم و همچنین
360
00:16:42,830 –> 00:16:49,850
اگر به config dot dy نگاه کنید DB
361
00:16:49,850 –> 00:16:52,460
user و DB pass برای DV خرده فروشی و
362
00:16:52,460 –> 00:16:55,010
مشتری DB چگونه با استفاده از
363
00:16:55,010 –> 00:16:57,770
متغیرهای محیطی عبور می کنیم باشه و تی دلیل آن
364
00:16:57,770 –> 00:17:00,080
این است که نام کاربری و رمز عبور
365
00:17:00,080 –> 00:17:02,600
بین David و prod متفاوت خواهد بود
366
00:17:02,600 –> 00:17:06,260
و توسعه دهندگان نباید
367
00:17:06,260 –> 00:17:08,510
نام کاربری و رمز عبور را غیر از
368
00:17:08,510 –> 00:17:11,089
محیط توسعه بدانند تا این
369
00:17:11,089 –> 00:17:13,550
مشکل را یکی از راههایی که در واقع
370
00:17:13,550 –> 00:17:15,439
نام کاربری و رمز عبور را با
371
00:17:15,439 –> 00:17:18,859
توجه به پایگاه داده ارسال میکنیم، برطرف کنند. این است که با استفاده از
372
00:17:18,859 –> 00:17:20,329
متغیرهای محیطی، فقط
373
00:17:20,329 –> 00:17:22,040
افراد پشتیبانی تولید
374
00:17:22,040 –> 00:17:24,500
در مورد نام کاربری و رمز عبور
375
00:17:24,500 –> 00:17:25,970
376
00:17:25,970 –> 00:17:28,940
ایده
377
00:17:28,940 –> 00:17:30,860
378
00:17:30,860 –> 00:17:32,920
خواهند داشت. هر گونه تغییری را در کد ایجاد
379
00:17:32,920 –> 00:17:36,050
کنید oky برای شبیه سازی که ابتدا باید
380
00:17:36,050 –> 00:17:39,770
این دو متغیر را که به
381
00:17:39,770 –> 00:17:42,920
کاربر DB می گوییم صادر کنیم و فقط برای
382
00:17:42,920 –> 00:17:46,040
اعتبار سنجی رویکرد خط فرمان Ok پاس می دهیم، بنابراین
383
00:17:46,040 –> 00:17:49,910
اکنون می گویم retail اجازه دهید
384
00:17:49,910 –> 00:17:51,200
نام دارایی را بررسی کنم
385
00:17:51,200 –> 00:17:56,150
بله retail کاربر DB آن چیزی است با
386
00:17:56,150 –> 00:18:00,280
خرده فروشی و کاربر مدرسه و سپس خرده فروشی
387
00:18:00,280 –> 00:18:04,610
DB پاس آن چیزی نیست جز من تنوع
388
00:18:04,610 –> 00:18:08,540
و سپس ما نیز باید
389
00:18:08,540 –> 00:18:12,230
ویژگی های مربوط به مشتریان DB کاربر را تنظیم کنیم
390
00:18:12,230 –> 00:18:15,590
و مشتری DB پاس اولین بار
391
00:18:15,590 –> 00:18:17,540
تنظیم DB pass مشتری در حال حاضر من
392
00:18:17,540 –> 00:18:21,250
کاربر DB مشتری را تنظیم می کنم
393
00:18:23,500 –> 00:18:25,760
خوب حالا همه اینها برای
394
00:18:25,760 –> 00:18:29,769
متغیرهای محیطی تنظیم شده اند، باید به آن
395
00:18:29,769 –> 00:18:33,309
مکانی بروم که
396
00:18:33,309 –> 00:18:36,559
مخزن را با توجه به کد من پرواز کرده ام.
397
00:18:36,559 –> 00:18:38,870
چیزی جز فهرست اصلی من نیست و سپس
398
00:18:38,870 –> 00:18:41,929
این مکان است، همچنین من
399
00:18:41,929 –> 00:18:45,740
محیط مجازی ایجاد کرده ام، می توانم بگویم منبع
400
00:18:45,740 –> 00:18:50,510
ETL نسخه ی نمایشی، اگر این کار را انجام ندهید، فعال می
401
00:18:50,510 –> 00:18:56,289
کنیم که ممکن است نتواند
402
00:18:56,289 –> 00:18:58,850
درک کتابخانه هایی را که به عنوان بخشی از آن استفاده می شود، درک کند.
403
00:18:58,850 –> 00:19:01,070
این پروژه می توانید
404
00:19:01,070 –> 00:19:04,429
این فایل را بررسی کنید بنابراین اگر روی سیستم خود اجرا می کنید
405
00:19:04,429 –> 00:19:06,549
با کلون کردن این مخزن
406
00:19:06,549 –> 00:19:09,260
بلافاصله پس از کلون سازی مطمئن شوید
407
00:19:09,260 –> 00:19:11,419
که یک محیط مجازی ایجاد کرده اید و با
408
00:19:11,419 –> 00:19:18,200
استفاده از این دستور Python 3 – iam ve + B
409
00:19:18,200 –> 00:19:20,480
و نام محیط مجازی را انجام دهید و
410
00:19:20,480 –> 00:19:25,010
سپس شما باید دستور منبع را با
411
00:19:25,010 –> 00:19:30,529
گفتن source the ETL demo env bin اجرا کنید. پس از اتمام کار،
412
00:19:30,529 –> 00:19:32,240
هر لایه ای که من فرود کردم را فعال
413
00:19:32,240 –> 00:19:34,669
کنید و
414
00:19:34,669 –> 00:19:38,510
باید این دستور را نصب کنید –
415
00:19:38,510 –> 00:19:41,090
الزامات ما dot txt خواهد شد
416
00:19:41,090 –> 00:19:43,750
نصب تمام الزامات این
417
00:19:43,750 –> 00:19:46,010
پروژه در این محیط مجازی را حذف کنید.
418
00:19:46,010 –> 00:19:48,590
من قبلاً نصب کرده ام به همین دلیل است
419
00:19:48,590 –> 00:19:51,769
که این را اجرا نمی کنم، اما اگر
420
00:19:51,769 –> 00:19:53,210
مجبور به انجام این سه مرحله
421
00:19:53,210 –> 00:19:55,070
هستید ابتدا باید مطمئن شوید که
422
00:19:55,070 –> 00:19:57,470
از پایتون 3 استفاده می کنید. چون این کد
423
00:19:57,470 –> 00:19:59,240
با استفاده از Python 3 توسعه داده شده است، پس باید
424
00:19:59,240 –> 00:20:00,679
محیط مجازی را ایجاد کنید، سپس
425
00:20:00,679 –> 00:20:02,120
باید آن را فعال کنید، سپس باید
426
00:20:02,120 –> 00:20:05,080
دستور pip install را اجرا کنید که گفته شد
427
00:20:05,080 –> 00:20:07,039
اکنون که در محیط مجازی هستیم،
428
00:20:07,039 –> 00:20:09,820
باید بتوانم از دستور Python استفاده کنم
429
00:20:09,820 –> 00:20:13,730
ok و من می توانم این برنامه را فراخوانی dot py
430
00:20:13,730 –> 00:20:15,649
آرگومان اول محیطی است
431
00:20:15,649 –> 00:20:16,820
که قرار است در آن اجرا کنیم که
432
00:20:16,820 –> 00:20:19,700
چیزی جز انجام نیست و سپس آرگومان دوم
433
00:20:19,700 –> 00:20:22,010
چیزی نیست جز پایگاه داده
434
00:20:22,010 –> 00:20:23,659
که چیزی نیست جز خرده فروشی و امتیاز DB
435
00:20:23,659 –> 00:20:26,480
و آرگومان سوم چیزی نیست جز
436
00:20:26,480 –> 00:20:29,320
نام جدولی که چیزی جز دستورات
437
00:20:29,320 –> 00:20:32,179
ok نیست، اکنون میتوانم اینتر را بزنم،
438
00:20:32,179 –> 00:20:33,559
به پایگاه داده متصل میشود و
439
00:20:33,559 –> 00:20:35,340
دادههای سفارشات
440
00:20:35,340 –> 00:20:38,250
موجود در دنباله من را در یک فایل واکشی میکند و میتوانیم
441
00:20:38,250 –> 00:20:42,780
با sayin بررسی کنیم. g LS – LT سفارشات TMP ما
442
00:20:42,780 –> 00:20:46,080
و سپس دادههایی که میتوانید ببینید فایلی وجود دارد
443
00:20:46,080 –> 00:20:47,690
که میتوانید
444
00:20:47,690 –> 00:20:52,080
دادههای سفارشات TMP را برای شما ذخیره کنید و میتوانید
445
00:20:52,080 –> 00:20:54,900
خروجی را در اینجا ببینید، بنابراین در سربرگ
446
00:20:54,900 –> 00:20:57,570
هیچ ستون شاخصی وجود ندارد، ما فقط
447
00:20:57,570 –> 00:21:00,120
دادههای واقعی را در این بدون داریم.
448
00:21:00,120 –> 00:21:02,730
اگر به
449
00:21:02,730 –> 00:21:06,950
کد منبع با توجه به دادههای خواندنی
450
00:21:07,490 –> 00:21:12,360
که با پوزش نوشتهایم به کد منبع نگاه کنید که چگونه به آن دست پیدا کردیم، بنابراین
451
00:21:12,360 –> 00:21:15,590
452
00:21:15,590 –> 00:21:18,420
پس از خواندن نام ستونها و
453
00:21:18,420 –> 00:21:20,670
دادههایی که در اینجا قاب داده را ایجاد میکنیم، در نام دادهها و ستونها نوشته میشود.
454
00:21:20,670 –> 00:21:23,550
و اگر به این نگاه کنید، من فقط DF
455
00:21:23,550 –> 00:21:26,550
برابر با PD نقطه داده قاب داده
456
00:21:26,550 –> 00:21:28,800
ستونهای ویرگول برابر با نام ستونها را میآورم و
457
00:21:28,800 –> 00:21:30,720
قاب داده را ایجاد میکند و سپس
458
00:21:30,720 –> 00:21:32,550
اگر به سمت راست DF بروید – فایل من
459
00:21:32,550 –> 00:21:35,280
فقط نمیخواهم آن را بنویسم. قاب داده ایندکس
460
00:21:35,280 –> 00:21:37,500
حاوی ایندکس است همچنین نمیخواهم ایندکس را بنویسم به
461
00:21:37,500 –> 00:21:41,100
همین دلیل است که اگر
462
00:21:41,100 –> 00:21:43,950
به این نقطه DM نگاه کنید تا زیر خط نشان دهید ایندکس CSV
463
00:21:43,950 –> 00:21:46,710
روی false تنظیم شده است
464
00:21:46,710 –> 00:21:48,420
تا ایندکس را نبینید که
465
00:21:48,420 –> 00:21:51,180
با قاب داده بهطور پیشفرض خوب است، بنابراین
466
00:21:51,180 –> 00:21:53,550
دادهها از آن خوب به نظر میرسند جدول سفارشات
467
00:21:53,550 –> 00:21:58,860
حالا اجازه دهید از این موضوع بیرون بیایم، سپس اجازه دهید
468
00:21:58,860 –> 00:22:03,690
داده های مشتریان را از Postgres بخوانم،
469
00:22:03,690 –> 00:22:06,000
در زیر DB مشتری است، بنابراین من از
470
00:22:06,000 –> 00:22:08,760
همان برنامه dot py با نسخه نمایشی استفاده می کنم که چقدر خوب
471
00:22:08,760 –> 00:22:11,040
نام پایگاه داده چیزی نیست جز
472
00:22:11,040 –> 00:22:13,500
DB مشتری و نام جدول.
473
00:22:13,500 –> 00:22:19,980
مشتریان در حال حاضر حتی داده های مشتریان
474
00:22:19,980 –> 00:22:22,500
در فایل خوانده می شود ما می توانیم
475
00:22:22,500 –> 00:22:25,670
داده ها را با گفتن مشاهده TMP مشتریان و
476
00:22:25,670 –> 00:22:29,130
سپس داده – پنج صفر پیش نمایش کنیم و
477
00:22:29,130 –> 00:22:32,010
همچنین می توانید داده های مشتری را مشاهده کنید و همچنین
478
00:22:32,010 –> 00:22:33,780
شناسه مشتری نام نام خانوادگی
479
00:22:33,780 –> 00:22:37,110
رمز عبور خیابان شهر ایالت مشتری
480
00:22:37,110 –> 00:22:39,060
کد پستی و غیره چون من برای زیرخط CSV استفاده می کنم
481
00:22:39,060 –> 00:22:41,400
، داده ها با CSV نوشته شده است،
482
00:22:41,400 –> 00:22:43,410
اگر می خواهید آن را در DSN
483
00:22:43,410 –> 00:22:45,990
بنویسید، می توانید آن را در JSON بنویسید، همچنین با استفاده از
484
00:22:45,990 –> 00:22:47,460
زیرخط jason و غیره، چندین برنامه وجود دارد
485
00:22:47,460 –> 00:22:50,340
که با آنها شروع می کنیم – برای نوشتن یک قاب داده.
486
00:22:50,340 –> 00:22:56,670
از پانداها در فایلها خوب است، بنابراین
487
00:22:56,670 –> 00:22:59,090
این یک مثال کمی سادهشده در
488
00:22:59,090 –> 00:23:03,540
سناریوی واقعی است، ممکن است مجبور شوید
489
00:23:03,540 –> 00:23:06,210
چندین فایل ایجاد کنید و اگر قابل اجرا باشد، ممکن است مجبور شوید
490
00:23:06,210 –> 00:23:08,310
با حجمهای بزرگتری از دادهها سر و کار داشته باشید
491
00:23:08,310 –> 00:23:11,070
و همه این موارد اما
492
00:23:11,070 –> 00:23:14,370
تمرکز اصلی است. اساساً در ایجاد
493
00:23:14,370 –> 00:23:16,920
خط لوله بیشتر از وارد شدن به
494
00:23:16,920 –> 00:23:20,520
تمام نکات ظریف است، بنابراین این یک تبلیغ منصفانه
495
00:23:20,520 –> 00:23:22,380
در مورد نحوه فکر کردن از دیدگاه خط لوله
496
00:23:22,380 –> 00:23:24,300
و مراقبت از استفاده از
497
00:23:24,300 –> 00:23:27,780
برخی عملکردهای اساسی است، اکنون ما هر دو
498
00:23:27,780 –> 00:23:32,820
مجموعه داده را از دنباله من و Postgres دریافت کردیم
499
00:23:32,820 –> 00:23:37,470
و اکنون می خواهم برای پردازش دادهها،
500
00:23:37,470 –> 00:23:39,600
خروجی باید تعداد سفارشهایی باشد که
501
00:23:39,600 –> 00:23:42,030
توسط هر مشتری ارسال میشود، برای اینکه ما
502
00:23:42,030 –> 00:23:44,790
در
503
00:23:44,790 –> 00:23:47,940
هیچ پایگاهدادهای نمینویسیم و آن فرآیند dot
504
00:23:47,940 –> 00:23:54,660
py یک تابع به نام دادههای پیوستن دارد،
505
00:23:54,660 –> 00:23:57,150
فقط باید این را فراخوانی کنیم که تمام است.
506
00:23:57,150 –> 00:24:03,320
از اجرای کد در اینجا مراقبت
507
00:24:03,320 –> 00:24:06,810
می کند و شما باید بتوانید خروجی را ببینید.
508
00:24:06,810 –> 00:24:10,050
اجازه دهید ببینم آیا کار می کند یا خیر.
509
00:24:10,050 –> 00:24:15,100
510
00:24:15,100 –> 00:24:16,570
511
00:24:16,570 –> 00:24:18,460
512
00:24:18,460 –> 00:24:21,550
خروجی در اینجا
513
00:24:21,550 –> 00:24:23,680
ممکن است ایده خوبی باشد که Logger را مقداردهی اولیه کنید
514
00:24:23,680 –> 00:24:28,060
و احتمالاً وارد شوید تا
515
00:24:28,060 –> 00:24:29,950
اطلاعات مربوط به
516
00:24:29,950 –> 00:24:33,070
پیشرفتی را که در حال انجام آن هستیم ضبط کنیم، به طوری
517
00:24:33,070 –> 00:24:36,910
که اکنون گفته میشود میتوانم بگویم LS – LTS باشه،
518
00:24:36,910 –> 00:24:38,950
باید dir را ایجاد کنم. ectory
519
00:24:38,950 –> 00:24:40,690
که باید فایل را در آن بنویسم و هیچ دایرکتوری وجود ندارد بل
520
00:24:40,690 –> 00:24:43,870
فکر می کنم کار نکرد و ه
521
00:24:43,870 –> 00:24:45,970
چنین ممکن است مجبور باشم تابع را فراخوانی کنم اج
522
00:24:45,970 –> 00:24:48,100
زه دهید فعلاً ببینیم خوب است من فق
523
00:24:48,100 –> 00:24:55,720
می گویم MK DF / tmp join orders let me lo
524
00:24:55,720 –> 00:25:00,580
k در نام پوشه
525
00:25:00,580 –> 00:25:04,720
سفارش را انجام دهید ارسال مشتریان خوب حالا اجازه دهید من
526
00:25:04,720 –> 00:25:08,350
این را اجرا کنم فکر می کنم دوباره روشن نمی شود شما
527
00:25:08,350 –> 00:25:11,590
در واقع می توانید بگویید سفارشات و مشتریان عضویت TMP
528
00:25:11,590 –> 00:25:13,450
و هیچ خروجی نمی بینید
529
00:25:13,450 –> 00:25:16,270
زیرا من کد را توسعه داده ام اما من
530
00:25:16,270 –> 00:25:18,190
هستم این دادههای مشترک و مدرسه
531
00:25:18,190 –> 00:25:21,690
را در جایی فراخوانی نمیکنم، بنابراین چگونه مراقبت کنم،
532
00:25:21,690 –> 00:25:26,370
میتوانم در واقع به
533
00:25:26,370 –> 00:25:33,900
عنوان بخشی از فرآیند به این pycharm برگردم. dot dy OK
534
00:25:33,900 –> 00:25:44,070
535
00:25:44,070 –> 00:25:50,940
536
00:25:53,149 –> 00:25:55,070
. ببین
537
00:25:55,070 –> 00:25:59,360
پس نه امیدوارم کار کند اگر نه من
538
00:25:59,360 –> 00:26:03,789
آن را درست می کنم پس اجازه دهید این را انجام
539
00:26:04,549 –> 00:26:10,009
دهم اجازه دهید به مخزن github فشار بیاورم اکنون
540
00:26:10,009 –> 00:26:12,259
کاری که باید انجام دهم فقط باید git
541
00:26:12,259 –> 00:26:18,200
pull را اجرا کنم و اینجا کشیده می
542
00:26:18,200 –> 00:26:21,679
شود، اکنون می توانید اینجا را ببینید اکنون می توانم این پایتون را 3
543
00:26:21,679 –> 00:26:24,469
درصد اجرا کنم، اجازه دهید بگویم چپ –
544
00:26:24,469 –> 00:26:27,709
LD RT T سفارشات و مشتریان عضو MP و
545
00:26:27,709 –> 00:26:30,739
ما میتوانیم خروجی را اینجا ببینیم، بنابراین دلیل
546
00:26:30,739 –> 00:26:36,139
اینکه من این را اضافه کردهام اگر شرط اجازه
547
00:26:36,139 –> 00:26:37,789
دهید این را بازخوانی کنم، میتوانید
548
00:26:37,789 –> 00:26:41,389
اینجا را نیز ببینید زیرا به دلایلی نمیخواهم
549
00:26:41,389 –> 00:26:44,509
این دادههای زیرخط الحاق را ارسال کنم.
550
00:26:44,509 –> 00:26:46,639
نمایش داده نمی شود بله
551
00:26:46,639 –> 00:26:49,849
اکنون تعویض می شود من فقط باید به
552
00:26:49,849 –> 00:26:54,559
مستر تغییر کنم بله اکنون می بینید که آیا این
553
00:26:54,559 –> 00:26:58,609
خط را به طور پیش فرض دارید عملکرد اصلی را در نظر می گیرد
554
00:26:58,609 –> 00:27:02,719
و اگر می خواهید تابع اصلی را فراخوانی کنید اگر نام برابر با
555
00:27:02,719 –> 00:27:04,249
معنی
556
00:27:04,249 –> 00:27:05,959
اصلی باشد. بدون ذکر نام
557
00:27:05,959 –> 00:27:09,979
فقط این داده فراخوانی Dynamis را فراخوانی میکنم،
558
00:27:09,979 –> 00:27:12,940
این یکی از راههایی است که نیازی به
559
00:27:12,940 –> 00:27:17,089
مشخص کردن هیچ چیزی نداریم و همچنان
560
00:27:17,089 –> 00:27:19,940
میتوانیم آن را اجرا کنیم تا پشت درایور پنهان شویم،
561
00:27:19,940 –> 00:27:22,969
حتی بدون داشتن این شرایط،
562
00:27:22,969 –> 00:27:24,589
مستقیماً میتوانم بگویم به دادههای زیر خط بپیوندید.
563
00:27:24,589 –> 00:27:28,249
و هنوز هم خوب کار خواهد کرد، به طوری که با
564
00:27:28,249 –> 00:27:31,219
توجه به اینکه اکنون گفته می شود، ما
565
00:27:31,219 –> 00:27:36,979
هر هاپ را با استفاده از دستورات معمولی لینوکس
566
00:27:36,979 –> 00:27:39,769
و دستورات پایتون با فراخوانی
567
00:27:39,769 –> 00:27:42,799
AP های مناسب اعتبارسنجی کرده ایم،
568
00:27:42,799 –> 00:27:46,249
اکنون باید با داگ ادغام شود و خواهیم
569
00:27:46,249 –> 00:27:47,869
دید که چگونه باید آن را بگیریم. مراقب باشید چه
570
00:27:47,869 –> 00:27:49,549
چیزهایی را که باید در
571
00:27:49,549 –> 00:27:52,969
هنگام تبدیل یا هنگام ایجاد یک داگ
572
00:27:52,969 –> 00:27:55,729
با استفاده از نظراتی که تاکنون انجام دادهایم در نظر داشته باشیم،
573
00:27:55,729 –> 00:27:57,619
بنابراین چه دستوراتی را که تاکنون یاد
574
00:27:57,619 –> 00:27:59,989
گرفتهایم میتوانیم تاریخ را در اینجا اجرا کنیم و
575
00:27:59,989 –> 00:28:02,269
باید بتوانیم آن را ببینیم. تمام دستوراتی
576
00:28:02,269 –> 00:28:04,159
که اجرا کردیم، متغیرهای محیطی را تنظیم کرده
577
00:28:04,159 –> 00:28:06,559
ایم که اولین کاری است که
578
00:28:06,559 –> 00:28:08,419
پس از ایجاد
579
00:28:08,419 –> 00:28:13,149
دایرکتوری ها انجام دادیم و سپس
580
00:28:13,149 –> 00:28:18,320
برنامه های مناسب را با آرگومان های مناسب فراخوانی کردیم
581
00:28:18,320 –> 00:28:20,060
تا از
582
00:28:20,060 –> 00:28:21,890
عملکردهایی که قرار
583
00:28:21,890 –> 00:28:24,290
است مراقبت کنند مراقبت کنیم. شکافهای کمی در این مورد وجود دارد،
584
00:28:24,290 –> 00:28:26,720
من آن شکافها را برجسته میکنم، همچنین زمانی که
585
00:28:26,720 –> 00:28:31,310
شما را از طریق داگ اوکی عبور دادم، بنابراین اینجا را
586
00:28:31,310 –> 00:28:34,660
غیرفعال میکنم تا مطمئن شوم
587
00:28:34,660 –> 00:28:37,820
در زمان بعدی دچار سردرگمی نخواهیم شد
588
00:28:37,820 –> 00:28:40,580
و سپس به
589
00:28:40,580 –> 00:28:42,830
اینجا میروم. همه پوشهها
590
00:28:42,830 –> 00:28:50,300
را میریزم – سفارشهای RF متأسفم سفارشهای موقت موقت
591
00:28:50,300 –> 00:28:55,580
و سپس سفارشهای پیوستن موقت و
592
00:28:55,580 –> 00:28:57,410
مشتریان و من همه چیز را حذف کردهام
593
00:28:57,410 –> 00:29:02,390
اجازه دهید به یک جریان بروم Dax خوب و سپس
594
00:29:02,390 –> 00:29:07,960
اجازه دهید من را باز کنم و ETL de mo 101 dot py
595
00:29:07,960 –> 00:29:10,970
باشه بریم به اول
596
00:29:10,970 –> 00:29:13,040
نمیخوام آرگومان های پیشفرض و
597
00:29:13,040 –> 00:29:16,550
بازه برنامه ریزی شده رو تغییر بدم حتی این
598
00:29:16,550 –> 00:29:18,020
رو نمیخوام تغییر
599
00:29:18,020 –> 00:29:20,150
بدم فقط میخوام این خواب رو حذف
600
00:29:20,150 –> 00:29:22,820
کنم نیازی نیست فقط صبر کنیم دیروز نشان دهید
601
00:29:22,820 –> 00:29:24,650
که چگونه کار می کند من این
602
00:29:24,650 –> 00:29:27,110
عبارات خواب را اضافه کردم این موارد را حذف می کنم
603
00:29:27,110 –> 00:29:28,870
بنابراین دو مرحله اول ایجاد
604
00:29:28,870 –> 00:29:32,500
سفارشات و مراقبت مشتری در اینجا
605
00:29:32,500 –> 00:29:36,350
یک چیز دیگر را در اینجا اضافه می کنم اجازه دهید
606
00:29:36,350 –> 00:29:39,560
این را ذخیره کنم خوب
607
00:29:39,560 –> 00:29:41,390
من یک چیز دیگر را برای ایجاد واقعی اضافه خواهم کرد
608
00:29:41,390 –> 00:29:44,690
پوشه join خوب است، بنابراین من می
609
00:29:44,690 –> 00:29:51,350
گویم y5y فقط برای کپی کردن خطوط فایل با استفاده از
610
00:29:51,350 –> 00:29:55,580
رویکرد VA ایجاد دایرکتوری پیوستن به طوری
611
00:29:55,580 –> 00:29:59,410
که نام کار باشد و
612
00:29:59,410 –> 00:30:06,130
در اینجا می گویم join the AF و
613
00:30:06,130 –> 00:30:07,660
سپس فقط
614
00:30:07,660 –> 00:30:13,810
برای ایجاد سفارشات پیوستن و مشتریان.
615
00:30:13,810 –> 00:30:15,640
من حتی قبل از
616
00:30:15,640 –> 00:30:17,290
راهاندازی میخواهم ایجاد کنم، اما این را رها نمیکنم،
617
00:30:17,290 –> 00:30:19,210
فقط دو مورد دیگر حذف میشوند،
618
00:30:19,210 –> 00:30:23,530
خوب حالا ما با این کار تمام شد، بیایید
619
00:30:23,530 –> 00:30:24,130
آن را جوش دهیم،
620
00:30:24,130 –> 00:30:27,460
من این را ذخیره کردم و اجازه دهید به اینجا در
621
00:30:27,460 –> 00:30:27,850
DAX
622
00:30:27,850 —