در این مطلب، ویدئو ایجاد اولین DAG جریان هوا برای اسکریپت های خارجی پایتون با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 00:08:26
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:00,000 –> 00:00:02,320
هدف جریان هوا این است
2
00:00:02,320 –> 00:00:03,280
3
00:00:03,280 –> 00:00:05,359
که بسیاری از گردشهای کاری خود را که
4
00:00:05,359 –> 00:00:07,120
برای خطوط لوله دادهتان انجام میدهید خودکار و هماهنگ کند
5
00:00:07,120 –> 00:00:09,440
و روشی که این کار را انجام میدهد این است که اساساً همیشه
6
00:00:09,440 –> 00:00:11,679
روی سرور اجرا میشود
7
00:00:11,679 –> 00:00:13,440
و زمانی که محرکها اتفاق میافتند یا زمانی که
8
00:00:13,440 –> 00:00:15,360
زمانبندیها وارد جریان هوا میشوند
9
00:00:15,360 –> 00:00:16,720
این موارد را تحریک میکنند. جریانهای کاری یا
10
00:00:16,720 –> 00:00:18,400
داگها که به آنها نمودار چرخه هدایتشده گفته
11
00:00:18,400 –> 00:00:20,240
میشود، اتفاق میافتد و در هر یک
12
00:00:20,240 –> 00:00:21,279
از داگها،
13
00:00:21,279 –> 00:00:23,840
وظایف یا گرههایی خواهید داشت و این گرهها
14
00:00:23,840 –> 00:00:25,279
وابستگیهایی بین آنها خواهند داشت تا مطمئن شوند
15
00:00:25,279 –> 00:00:25,840
که
16
00:00:25,840 –> 00:00:27,599
موارد بالادست و پایین دست هر
17
00:00:27,599 –> 00:00:29,599
یک از وظایف شما با موفقیت انجام میشوند.
18
00:00:29,599 –> 00:00:31,199
قبل از اینکه به جریان کاری خود ادامه دهید کامل می شود
19
00:00:31,199 –> 00:00:34,320
و بنابراین من می خواهم
20
00:00:34,320 –> 00:00:34,960
پیوندی به
21
00:00:34,960 –> 00:00:38,559
همه این کدها در github ارائه کنم، اما اساساً
22
00:00:38,559 –> 00:00:40,640
تمام کاری که برای شروع باید انجام دهید
23
00:00:40,640 –> 00:00:41,920
بسیار ساده است،
24
00:00:41,920 –> 00:00:44,320
فقط کافی است مخزن github را که می
25
00:00:44,320 –> 00:00:45,760
خواهید شبیه سازی کنید باز کنید. کد
26
00:00:45,760 –> 00:00:48,480
و نکته بسیار دشوار برای من
27
00:00:48,480 –> 00:00:50,160
در هنگام ورود به
28
00:00:50,160 –> 00:00:52,239
جریان هوا و در یک محیط ویندوز
29
00:00:52,239 –> 00:00:54,000
شاید به طور خاص
30
00:00:54,000 –> 00:00:56,399
این بود که چگونه به
31
00:00:56,399 –> 00:00:58,000
اسکریپت های خارجی پایتون ارجاع بدهم زیرا بسیاری از
32
00:00:58,000 –> 00:01:00,719
مواقع افرادی را ببینید که جریان هوا را معرفی
33
00:01:00,719 –> 00:01:02,320
34
00:01:02,320 –> 00:01:04,319
میکنند و مانند اولین مثال سلام دنیا راه میروند، آنها میخواهند به
35
00:01:04,319 –> 00:01:04,640
36
00:01:04,640 –> 00:01:07,760
عملکرد واقعی
37
00:01:07,760 –> 00:01:09,680
یا تابع پایتونی که میخواهید در
38
00:01:09,680 –> 00:01:11,040
39
00:01:11,040 –> 00:01:13,760
فایل dag واقعی خود خودکارسازی کنید، ارجاع یا تعریف کنند و بنابراین در مورد
40
00:01:13,760 –> 00:01:15,759
من، من فایل dag خود را تعریف کردهام. در ریشه
41
00:01:15,759 –> 00:01:16,960
پروژه من
42
00:01:16,960 –> 00:01:19,759
تحت این چیزی به نام crm elastic dot
43
00:01:19,759 –> 00:01:20,560
py
44
00:01:20,560 –> 00:01:21,920
و در حال حاضر فقط یک فایل آزمایشی است
45
00:01:21,920 –> 00:01:23,600
که واقعاً حاوی چیزی نیست،
46
00:01:23,600 –> 00:01:25,520
اساساً کاری که ما
47
00:01:25,520 –> 00:01:27,840
انجام میدهیم این است که ما شیء dag خود را تعریف میکنیم و
48
00:01:27,840 –> 00:01:29,439
سپس میخواهیم
49
00:01:29,439 –> 00:01:32,159
تخصیص یا ارائه یک کار یا یک
50
00:01:32,159 –> 00:01:33,119
عملگر
51
00:01:33,119 –> 00:01:35,360
برای dag ما که واقعاً آن را انجام دهد، بنابراین در
52
00:01:35,360 –> 00:01:36,159
این مورد
53
00:01:36,159 –> 00:01:38,400
من می خواهم برای مثال هر روز یک تابع پایتون را اجرا
54
00:01:38,400 –> 00:01:40,079
کنم به همین دلیل است که
55
00:01:40,079 –> 00:01:43,280
در داگ خود یک شناسه dag داده ام
56
00:01:43,280 –> 00:01:44,720
و مقداری به آن داده ام. آرگومانهای پیشفرض
57
00:01:44,720 –> 00:01:46,079
مانند مالک کیست و تاریخ شروع چه زمانی است،
58
00:01:46,079 –> 00:01:47,600
اگر در گذشته شروع کردهاید،
59
00:01:47,600 –> 00:01:48,560
اساساً
60
00:01:48,560 –> 00:01:50,479
بلافاصله پس از فعال کردن داگ خود
61
00:01:50,479 –> 00:01:51,840
در رابط کاربری فعال میشوند
62
00:01:51,840 –> 00:01:54,320
و سپس در نهایت بازه زمانی خود را مشخص
63
00:01:54,320 –> 00:01:55,119
64
00:01:55,119 –> 00:01:56,399
میکنید و میتوانید از سریع آنها استفاده کنید.
65
00:01:56,399 –> 00:01:58,240
نمادگذاری روزانه
66
00:01:58,240 –> 00:01:59,520
فقط برای اینکه این مورد هر روز
67
00:01:59,520 –> 00:02:01,040
بدون نیاز به ترکیب
68
00:02:01,040 –> 00:02:02,399
بستههای دیگر اجرا شود
69
00:02:02,399 –> 00:02:05,439
جریان هوا نیز شامل
70
00:02:05,439 –> 00:02:08,239
برنامههای کاربردی تاریخ داخلی خود میشود، بنابراین افرادی که مدام
71
00:02:08,239 –> 00:02:09,598
به زمان تاریخ پایتون اشاره میکنند
72
00:02:09,598 –> 00:02:11,840
که واقعاً
73
00:02:11,840 –> 00:02:13,040
جریان هوا ضروری نیست قبلاً آن را در
74
00:02:13,040 –> 00:02:14,000
بسته آنها،
75
00:02:14,000 –> 00:02:15,920
بنابراین میتوانید وابستگیهای تعداد
76
00:02:15,920 –> 00:02:17,280
پروژهتان را با
77
00:02:17,280 –> 00:02:18,319
ارجاع به آنچه
78
00:02:18,319 –> 00:02:21,920
airflow از قبل در اختیار شما قرار میدهد کاهش دهید و بنابراین،
79
00:02:21,920 –> 00:02:22,879
اساساً هنگامی
80
00:02:22,879 –> 00:02:25,599
که شبیهسازی مخزن را به پایان
81
00:02:25,599 –> 00:02:27,760
رساندید، کاری که باید در رایانهتان انجام دهید این
82
00:02:27,760 –> 00:02:30,879
است که مطمئن شوید که pip
83
00:02:30,879 –> 00:02:33,599
است. به طور کامل ارتقا یافته است اگر پیپ را به طور کامل ارتقا نداده
84
00:02:33,599 –> 00:02:34,879
85
00:02:34,879 –> 00:02:36,640
اید، هنگام اجرای دستور pip install apache airflow ممکن است با خطا مواجه شوید
86
00:02:36,640 –> 00:02:38,000
87
00:02:38,000 –> 00:02:40,000
،
88
00:02:40,000 –> 00:02:41,760
توضیحی در این مورد در
89
00:02:41,760 –> 00:02:44,400
محتوای واقعی یا توضیحات این ویدیو ارائه خواهم کرد، اما
90
00:02:44,400 –> 00:02:45,360
اساساً
91
00:02:45,360 –> 00:02:47,440
اگر به طور کامل ارتقاء نداده اید pip شما
92
00:02:47,440 –> 00:02:48,720
می توانید با خطا مواجه شوید
93
00:02:48,720 –> 00:02:50,239
زیرا ایرفویل وابستگی های زیادی
94
00:02:50,239 –> 00:02:50,879
95
00:02:50,879 –> 00:02:52,959
دارد تا خودش را راه اندازی کند و از
96
00:02:52,959 –> 00:02:54,400
flask برای وب سرور استفاده می کند. در واقع از یک
97
00:02:54,400 –> 00:02:56,080
سری
98
00:02:56,080 –> 00:02:58,959
وابستگی های دیگر برای اجرای واقعی استفاده می کند، بنابراین
99
00:02:58,959 –> 00:03:00,319
مطمئن شوید که قبل از اجرای pip install apache airflow به
100
00:03:00,319 –> 00:03:03,120
طور کامل پیپ را در دستگاه محلی خود ارتقا داده اید
101
00:03:03,120 –> 00:03:05,360
102
00:03:05,360 –> 00:03:06,159
103
00:03:06,159 –> 00:03:08,480
، این
104
00:03:08,480 –> 00:03:09,599
مشکلی بود که من در هنگام تلاش برای دریافت این مشکل داشتم.
105
00:03:09,599 –> 00:03:11,680
کاری که روی این سرور انجام می شود
106
00:03:11,680 –> 00:03:13,680
و سپس کاری که بعد
107
00:03:13,680 –> 00:03:16,000
از نصب جریان هوای ناهموار انجام می دهید این است
108
00:03:16,000 –> 00:03:16,879
که همچنین باید مطمئن شوید که
109
00:03:16,879 –> 00:03:18,959
Docker و Docker Compose
110
00:03:18,959 –> 00:03:22,000
را روی دستگاه محلی خود نصب کرده
111
00:03:22,000 –> 00:03:24,480
اید و پس از دریافت docker docker
112
00:03:24,480 –> 00:03:26,080
compose و apache airflow همه
113
00:03:26,080 –> 00:03:27,519
با موفقیت نصب شدند
114
00:03:27,519 –> 00:03:29,760
، مرحله بعدی در اینجا
115
00:03:29,760 –> 00:03:30,959
116
00:03:30,959 –> 00:03:34,920
اجرای دستور ساختن از فایل dockercompose.yml شما است
117
00:03:34,920 –> 00:03:37,680
118
00:03:37,680 –> 00:03:39,680
که در واقع یک کانتینر برای اجرای سرور docker شما
119
00:03:39,680 –> 00:03:42,000
بر روی خود سرور شما اجرا
120
00:03:42,000 –> 00:03:44,720
می شود و بنابراین در این مورد یک
121
00:03:44,720 –> 00:03:46,319
چیزی را می خواهم ایجاد کنم. توجه داشته باشید که
122
00:03:46,319 –> 00:03:46,799
123
00:03:46,799 –> 00:03:49,360
بخش حجم در اینجا از
124
00:03:49,360 –> 00:03:50,480
فایل نوشتن docker
125
00:03:50,480 –> 00:03:53,439
بسیار مهم است زیرا کاری که
126
00:03:53,439 –> 00:03:54,400
شما به
127
00:03:54,400 –> 00:03:56,400
طور خاص در خط 29 انجام میدهید در اینجا میتوانید
128
00:03:56,400 –> 00:03:57,599
بزرگنمایی
129
00:03:57,599 –> 00:04:00,159
کنید این است که اساساً تلفن هستید ling
130
00:04:00,159 –> 00:04:02,159
docker کجا قرار است داگ ها در
131
00:04:02,159 –> 00:04:03,599
فهرست پروژه شما قرار بگیرند
132
00:04:03,599 –> 00:04:05,200
و بنابراین در این مورد به داکر می گویم
133
00:04:05,200 –> 00:04:06,959
که در ریشه
134
00:04:06,959 –> 00:04:08,080
دایرکتو