در این مطلب، ویدئو Python For Data Engineering 1: مقدمه ای بر پایتون #Python #DataEngineering با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 00:29:53
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:00,560 –> 00:00:03,040
سلام دوستان به آموزش های ویدیویی پایتون خوش آمدید،
2
00:00:03,040 –> 00:00:04,000
3
00:00:04,000 –> 00:00:06,319
بنابراین در این ویدیو قصد دارم به شما
4
00:00:06,319 –> 00:00:08,080
معرفی مختصری از پایتون بدهم که
5
00:00:08,080 –> 00:00:11,599
چرا ما به عنوان مهندس داده به پایتون نیاز داریم
6
00:00:11,599 –> 00:00:13,840
اگر در پروژه های داده کار می کنید چرا
7
00:00:13,840 –> 00:00:15,120
ما به پایتون نیاز داریم
8
00:00:15,120 –> 00:00:17,680
و چگونه می خواهیم یاد بگیریم. پایتون
9
00:00:17,680 –> 00:00:19,680
چگونه میخواهیم نحوه
10
00:00:19,680 –> 00:00:21,279
11
00:00:21,279 –> 00:00:23,359
استفاده از پایتون را در پروژههای دادهای تمرین کنیم،
12
00:00:23,359 –> 00:00:24,320
13
00:00:24,320 –> 00:00:27,439
بنابراین اگر کسی در پروژههای دادهای کار میکند که
14
00:00:27,439 –> 00:00:28,080
عمدتاً در
15
00:00:28,080 –> 00:00:30,560
16
00:00:30,560 –> 00:00:31,359
مهندسی دادههای انتقال داده انبارهی داده کار میکند،
17
00:00:31,359 –> 00:00:34,079
بنابراین اینها پروژههای داده نامیده میشوند، ابتدا
18
00:00:34,079 –> 00:00:34,880
متوجه میشویم که
19
00:00:34,880 –> 00:00:37,520
چرا پایتون پس چرا پایتون و چرا نمیتوانیم
20
00:00:37,520 –> 00:00:39,760
با sql
21
00:00:39,760 –> 00:00:42,559
پیش برویم، بنابراین ابتدا باید
22
00:00:42,559 –> 00:00:44,000
انواع مختلف دادهها را
23
00:00:44,000 –> 00:00:47,520
قبل از اینکه پایتون را درک کنیم، بدانیم
24
00:00:47,520 –> 00:00:49,600
و میبینید که فرصتهای بزرگی برای مهندسان داده وجود دارد
25
00:00:49,600 –> 00:00:50,640
و
26
00:00:50,640 –> 00:00:52,320
بیشتر شرکتها در حال مهاجرت به
27
00:00:52,320 –> 00:00:54,640
ابر هستند. سایت ابری چگونه
28
00:00:54,640 –> 00:00:56,399
داده ها را ذخیره می کنیم چگونه داده ها
29
00:00:56,399 –> 00:00:58,800
را مدیریت می کنیم چگونه داده ها را
30
00:00:58,800 –> 00:01:00,079
تجزیه و تحلیل می کنیم
31
00:01:00,079 –> 00:01:03,600
که به آن مدیریت کامل داده
32
00:01:03,600 –> 00:01:05,519
می گویند یا می توان گفت
33
00:01:05,519 –> 00:01:07,600
تحلیلگر داده مکان مهندسی داده ics
34
00:01:07,600 –> 00:01:11,360
پس وقتی نوبت به داده میشود
35
00:01:11,360 –> 00:01:13,840
چرا نمیتوانیم از sql استفاده کنیم چرا
36
00:01:13,840 –> 00:01:16,000
امروزه به پایتون وابسته هستیم
37
00:01:16,000 –> 00:01:20,159
و وقتی صحبت از بخش ذخیرهسازی دادهها
38
00:01:20,159 –> 00:01:20,640
39
00:01:20,640 –> 00:01:23,119
در 10 سال گذشته است یا میتوانید بگویید در 20
40
00:01:23,119 –> 00:01:23,920
سال گذشته ما از
41
00:01:23,920 –> 00:01:26,000
ابزارهای مختلف etl استفاده میکنیم، ابزارهای گزارشگیری مختلف
42
00:01:26,000 –> 00:01:28,799
تجزیه و تحلیل و پردازش داده ها
43
00:01:28,799 –> 00:01:32,000
در بخش انبار داده ها، اما اکنون
44
00:01:32,000 –> 00:01:35,119
می بینید که از 10 سال گذشته
45
00:01:35,119 –> 00:01:38,479
تقاضای زیادی برای پایتون وجود دارد و
46
00:01:38,479 –> 00:01:40,240
پایتون یک زبان رایج برای
47
00:01:40,240 –> 00:01:41,759
پروژه های داده ای است، بنابراین
48
00:01:41,759 –> 00:01:43,840
پایتون قبلی فقط به معنای
49
00:01:43,840 –> 00:01:45,439
زبان برنامه نویسی است و به سرور توسعه وب فکر می کند.
50
00:01:45,439 –> 00:01:47,360
پردازش جانبی و
51
00:01:47,360 –> 00:01:48,479
اهداف دیگر
52
00:01:48,479 –> 00:01:51,040
مانند تست اتوماسیون هک و
53
00:01:51,040 –> 00:01:52,320
عمدتاً برای
54
00:01:52,320 –> 00:01:54,479
پردازش خدمات، اما امروزه اگر به
55
00:01:54,479 –> 00:01:56,320
پایتون و پایتون نگاه کنید،
56
00:01:56,320 –> 00:01:59,360
استفاده از آن بیشتر در سمت داده است، بنابراین دادهها
57
00:01:59,360 –> 00:02:00,640
به طور معمول ملاقات میکنند، به
58
00:02:00,640 –> 00:02:02,799
زبان پرسوجو ساختار یافته sql فکر میکنیم
59
00:02:02,799 –> 00:02:04,479
تا بتوانید دادهها را در جایی که میخواهید ذخیره کنید.
60
00:02:04,479 –> 00:02:05,840
می تواند داده ها را با استفاده از
61
00:02:05,840 –> 00:02:08,639
پرس و جوهای sql تجزیه و تحلیل کند، اما چرا امروزه ما به پایتون وابسته هستیم،
62
00:02:08,639 –> 00:02:10,318
63
00:02:10,318 –> 00:02:12,319
بنابراین اگر به 10 سال قبل یا 20
64
00:02:12,319 –> 00:02:14,000
سال به عقب برگردید، داده ها به معنای ساختار است.
65
00:02:14,000 –> 00:02:16,239
دادههای ویرایشی و دادههای تجاری عمدتاً
66
00:02:16,239 –> 00:02:17,680
بیشتر شرکتها و بیشتر
67
00:02:17,680 –> 00:02:19,440
کسبوکارها بسته به دادهها هستند،
68
00:02:19,440 –> 00:02:22,400
اما اکنون وقتی به چند سال گذشته نگاه میکنید،
69
00:02:22,400 –> 00:02:24,720
اکثر شرکتها
70
00:02:24,720 –> 00:02:27,040
نه تنها به دادههای خود نه تنها به
71
00:02:27,040 –> 00:02:28,319
دادههای کاربردی
72
00:02:28,319 –> 00:02:30,000
خود وابسته هستند، بلکه به دادههای اجتماعی نیز وابسته هستند. دادههای رسانهای
73
00:02:30,000 –> 00:02:31,760
74
00:02:31,760 –> 00:02:33,440
که بسته به دادههای رسانههای اجتماعی، به
75
00:02:33,440 –> 00:02:35,200
دادههای برخی از برنامهها بستگی دارند که در حال تولید هستند،
76
00:02:35,200 –> 00:02:37,200
مانند
77
00:02:37,200 –> 00:02:39,360
ساختار نیمهساختار یافته بدون
78
00:02:39,360 –> 00:02:41,200
ساختار که در درجه اول ساختیافته است،
79
00:02:41,200 –> 00:02:42,800
برنامهها یک دادههای ساختاریافته
80
00:02:42,800 –> 00:02:43,920
81
00:02:43,920 –> 00:02:47,920
و گزارشهای سیستم گزارشها
82
00:02:47,920 –> 00:02:51,200
83
00:02:51,200 –> 00:02:54,080
را تولید میکنند. فایلهای صوتی ویدیویی همه اینها
84
00:02:54,080 –> 00:02:54,959
85
00:02:54,959 –> 00:02:57,920
دادههای بدون ساختار را دنبال میکنند و برنامههای مبتنی بر
86
00:02:57,920 –> 00:02:59,920
وب مانند پروژههای مبتنی بر وب
87
00:02:59,920 –> 00:03:00,400
88
00:03:00,400 –> 00:03:01,840
مانند رسانههای اجتماعی هستند، بنابراین
89
00:03:01,840 –> 00:03:03,040
بیشتر رسانههای اجتماعی
90
00:03:03,040 –> 00:03:04,879
را با فرمت json با فرمت نیمه ساختاریافته
91
00:03:04,879 –> 00:03:05,680
92
00:03:05,680 –> 00:03:08,000
json و لایههای میانی تا متوسط ارائه می
93
00:03:08,000 –> 00:03:10,959
کنند. همچنین آنها یک فرمت xml ارائه می دهند
94
00:03:10,959 –> 00:03:13,680
و داده ها را عمدتاً طرحواره ای را ذخیره می کنند
95
00:03:13,680 –> 00:03:15,120
که فراداده نامیده می شود.
96
00:03:15,120 –> 00:03:17,440
همچنین باید ذخیره کنیم، بنابراین وقتی امروز
97
00:03:17,440 –> 00:03:18,319
در مورد
98
00:03:18,319 –> 00:03:21,599
داده صحبت میکنید، دادهها به این معنی است که
99
00:03:21,599 –> 00:03:23,360
اینها چیزهایی هستند که ما به عنوان داده در نظر میگیریم،
100
00:03:23,360 –> 00:03:25,920
بنابراین اگر به ۱۰ سال قبل برگردید
101
00:03:25,920 –> 00:03:28,959
دادهها به این معنی است که اکنون فقط دادههای برنامهها
102
00:03:28,959 –> 00:03:32,239
به دلیل رسانههای اجتماعی به دلیل
103
00:03:32,239 –> 00:03:36,239
رفتار کاربران گسترش برنامهها خوب است.
104
00:03:36,239 –> 00:03:40,000
و انواع مختلف استفاده
105
00:03:40,000 –> 00:03:42,560
در حال حاضر دادهها نه تنها دادههای دادههای برنامهها را برآورده
106
00:03:42,560 –> 00:03:43,280
107
00:03:43,280 –> 00:03:46,080
میکنند یعنی ممکن است دادههای رسانههای اجتماعی
108
00:03:46,080 –> 00:03:47,840
باشند، ممکن است دادههای برنامههای کاربردی باشند، ممکن است
109
00:03:47,840 –> 00:03:49,440
ماشینهایی برای تولید داده
110
00:03:49,440 –> 00:03:51,599
باشند، به طوری که دادههای
111
00:03:51,599 –> 00:03:52,959
ساختاریافته داده نیمهساختار یافته
112
00:03:52,959 –> 00:03:56,159
و دادههای بدون ساختار نامیده میشود این دادههای کامل
113
00:03:56,159 –> 00:03:57,680
اگر شما می خواهید ذخیره کنید اگر می خواهید
114
00:03:57,680 –> 00:03:59,760
مدیریت کنید اگر می خواهید تجزیه و تحلیل کنید
115
00:03:59,760 –> 00:04:03,439
ما به داده های بزرگ نیاز داریم، بنابراین برای این منظور ما
116
00:04:03,439 –> 00:04:04,959
به دنبال پایتون هستیم،
117
00:04:04,959 –> 00:04:07,200
بنابراین وقتی صحبت از داده های
118
00:04:07,200 –> 00:04:09,200
ساختار یافته می شود، داده های ساختار اتوبوس خوب است که در
119
00:04:09,200 –> 00:04:09,680
جدول
120
00:04:09,680 –> 00:04:11,920
ذخیره می کنیم که در پایگاه های داده ذخیره می کنیم، می توانید
121
00:04:11,920 –> 00:04:13,200
از آن استفاده کنید. یک sql
122
00:04:13,200 –> 00:04:16,079
اما نه، من دادهای ساختاریافته ندارم،
123
00:04:16,079 –> 00:04:16,720
124
00:04:16,720 –> 00:04:19,519
دادههای بدون ساختار بیشتری دارم، مانند
125
00:04:19,519 –> 00:04:20,160
تصاویر،
126
00:04:20,160 –> 00:04:22,639
فایلهای گزارش تصویر، فایلهای متنی مانند این،
127
00:04:22,639 –> 00:04:24,320
سپس چگونه تجزیه و تحلیل میکنیم که چگونه
128
00:04:24,320 –> 00:04:25,680
t را ذخیره کنیم.
129
00:04:25,680 –> 00:04:28,960
بنابراین بیشتر پایگاههای داده از
130
00:04:28,960 –> 00:04:32,240
دادههای ساختاریافته پشتیبانی میکنند و برخی از پایگاههای داده در حال حاضر
131
00:04:32,240 –> 00:04:32,960
از
132
00:04:32,960 –> 00:04:35,120
دادههای نیمه ساختاریافته پشتیبانی میکنند، اما وقتی صحبت
133
00:04:35,120 –> 00:04:36,639
از دادههای بدون ساختار میشود
134
00:04:36,639 –> 00:04:38,639
که به طور مستقیم نمیتوانند ذخیره شوند، نمیتوانند مستقیماً
135
00:04:38,639 –> 00:04:40,840
پردازش شوند، بنابراین
136
00:04:40,840 –> 00:04:44,720
137
00:04:44,720 –> 00:04:48,000
برای ذخیره و پردازش دادهها به زبانهای مختلف نیاز به پردازشهای مختلف دارید
138
00:04:48,000 –> 00:04:50,000
، به همین دلیل پایتون یک زبان مشترک
139
00:04:50,000 –> 00:04:51,600
برای پروژه های داده
140
00:04:51,600 –> 00:04:53,120
زمانی که صحبت از ساختار
141
00:04:53,120 –> 00:04:54,880
نیمه ساختاریافته بدون ساختار
142
00:04:54,880 –> 00:04:56,479
می شود، می توانید از پایتون استفاده کنید
143
00:04:56,479 –> 00:04:58,800
زبان رایج است و به هر حال sql نیز وجود خواهد داشت
144
00:04:58,800 –> 00:04:59,360
،
145
00:04:59,360 –> 00:05:02,160
بنابراین ترکیبی از sql و python ما
146
00:05:02,160 –> 00:05:03,520
147
00:05:03,520 –> 00:05:04,800
پروژه های مهندسی داده سرتاسری را توسعه خواهیم داد
148
00:05:04,800 –> 00:05:07,360
و انواع کاملاً متفاوت دادهها،
149
00:05:07,360 –> 00:05:09,520
بنابراین ما میتوانیم انواع مختلفی از دادهها را مدیریت کنیم
150
00:05:09,520 –> 00:05:11,120
و اکثر شرکتها اکثر
151
00:05:11,120 –> 00:05:12,800
سازمانها، اکثر دولتها
152
00:05:12,800 –> 00:05:13,360
امروزه
153
00:05:13,360 –> 00:05:15,840
بسته به دادهها ممکن است مشتری باشند،
154
00:05:15,840 –> 00:05:17,919
ممکن است دادههای اجتماعی باشند، ممکن است
155
00:05:17,919 –> 00:05:20,560
دادههای رفاهی باشند، ممکن است بیکاری یا
156
00:05:20,560 –> 00:05:21,360
اشتغال باشند.
157
00:05:21,360 –> 00:05:24,160
هر چه باشد، هر شرکتی، هر
158
00:05:24,160 –> 00:05:24,800
دولتی،
159
00:05:24,800 –> 00:05:28,320
هر سازمانی بسته به داده ها
160
00:05:28,320 –> 00:05:31,360
و آن داده ها ممکن است هر نوع باشد
161
00:05:31,360 –> 00:05:35,199
به همین دلیل است که شما به
162
00:05:35,199 –> 00:05:37,440
یک مهندس داده نیاز دارید و شما
163
00:05:37,440 –> 00:05:39,280
باید sql و python
164
00:05:39,280 –> 00:05:41,919
را بدانید باید sql و python را بدانید، بنابراین با
165
00:05:41,919 –> 00:05:44,160
این ترکیب میتوانیم هر
166
00:05:44,160 –> 00:05:44,880
نوع داده
167
00:05:44,880 –> 00:05:47,520
پایتون به همراه sql ترکیبی از
168
00:05:47,520 –> 00:05:49,360
دادههای نیمه ساختاریافته ساختاریافته
169
00:05:49,360 –> 00:05:50,240
را مدیریت
170
00:05:50,240 –> 00:05:51,680
کنیم، به همین دلیل است که بیشتر از شرکت هایی
171
00:05:51,680 –> 00:05:53,919
که توقع دارند اگر مهندس داده
172
00:05:53,919 –> 00:05:57,199
هستید باید بدانید sql به علاوه پایتون امروزه فقط sql
173
00:05:57,199 –> 00:05:59,440
کافی نیست
174
00:05:59,440 –> 00:06:01,199
و همچنین فقط پایتون نیز کافی نیست
175
00:06:01,199 –> 00:06:03,520
بنابراین هر دو زبان برنامه نویسی زبان
176
00:06:03,520 –> 00:06:06,080
پرس و جو زبان پرس و جو ساختار یافته زبان پرس و جو
177
00:06:06,080 –> 00:06:06,720
178
00:06:06,720 –> 00:06:09,600
و ترکیب زبان برنامه نویسی
179
00:06:09,600 –> 00:06:10,080
که
180
00:06:10,080 –> 00:06:12,400
ما می توانیم به آن دست پیدا کنیم. میتوانیم پردازش کنیم، میتوانیم
181
00:06:12,400 –> 00:06:13,360
ذخیره کنیم، میتوانیم
182
00:06:13,360 –> 00:06:16,479
183
00:06:16,479 –> 00:06:18,840
دادههای نیمه ساختاری ساختاریافته را تجزیه و تحلیل کنیم، بنابراین
184
00:06:18,840 –> 00:06:20,240
کامل است که چرا
185
00:06:20,240 –> 00:06:22,639
ما به دنبال پایتون هستیم چرا به پایتون نیاز داریم،
186
00:06:22,639 –> 00:06:24,160
187
00:06:24,160 –> 00:06:27,600
پس وقتی صحبت
188
00:06:27,600 –> 00:06:29,759
از مزایای اصلی پایتون به میان میآید، بنابراین
189
00:06:29,759 –> 00:06:30,960
پایتون یک منبع باز است،
190
00:06:30,960 –> 00:06:32,240
بنابراین شما این کار را نکنید. نیاز به پرداخت هر
191
00:06:32,240 –> 00:06:34,880
پنی به هر کسی است و
192
00:06:34,880 –> 00:06:37,759
این حجم وسیع است و بیش از
193
00:06:37,759 –> 00:06:39,360
20 سال در دسترس است، بنابراین کتابخانه های زیادی در
194
00:06:39,360 –> 00:06:41,039
دسترس هستند d بسیاری از کتابخانه های منبع باز
195
00:06:41,039 –> 00:06:41,919
در دسترس هستند
196
00:06:41,919 –> 00:06:44,400
و در درجه اول یک
197
00:06:44,400 –> 00:06:45,759
زبان برنامه نویسی شی گرا است
198
00:06:45,759 –> 00:06:48,160
که نیازی به کامپایل آن ندارید، از
199
00:06:48,160 –> 00:06:49,280
200
00:06:49,280 –> 00:06:52,160
انواع داده های پیچیده از نوع داده پویا پشتیبانی می کند و می توانید
201
00:06:52,160 –> 00:06:53,520
طول کد را در حین توسعه یک
202
00:06:53,520 –> 00:06:54,560
پروژه
203
00:06:54,560 –> 00:06:57,039
در مقایسه با زبان های دیگر کاهش دهید
204
00:06:57,039 –> 00:06:57,759
و در درجه اول آسان
205
00:06:57,759 –> 00:06:59,680
است. به راحتی به عنوان زبان انگلیسی قابل درک
206
00:06:59,680 –> 00:07:00,960
است، بنابراین شما می توانید
207
00:07:00,960 –> 00:07:03,840
به راحتی یاد بگیرید و می توانید بسیار
208
00:07:03,840 –> 00:07:06,160
آسان و آسان پیاده سازی کنید تا با زبان های دیگر
209
00:07:06,160 –> 00:07:06,800
نیز گسترش دهید،
210
00:07:06,800 –> 00:07:09,520
خوب است و وقتی صحبت از ذخیره سازی در
211
00:07:09,520 –> 00:07:10,639
حافظه
212
00:07:10,639 –> 00:07:12,720
می شود، به طور خودکار مدیریت می کند که به آن مدیریت حافظه خودکار می گویند
213
00:07:12,720 –> 00:07:14,720
214
00:07:14,720 –> 00:07:17,120
مانند اختصاص دادن آزادسازی حافظه حافظه ای
215
00:07:17,120 –> 00:07:18,800
که به آن ذخیره داده
216
00:07:18,800 –> 00:07:21,840
و انتشار داده می گویند و در
217
00:07:21,840 –> 00:07:23,520
نهایت منبع باز است، اینها مزایای عمده ای
218
00:07:23,520 –> 00:07:24,880
است که ما از پایتون به دست خواهیم آورد،
219
00:07:24,880 –> 00:07:27,680
بنابراین اکثر مردم
220
00:07:27,680 –> 00:07:28,960
یک سوال مشترک خواهند داشت، بسیار
221
00:07:28,960 –> 00:07:31,759
خوب، بنابراین پایتون یک زبان منبع باز خوب
222
00:07:31,759 –> 00:07:32,560
است،
223
00:07:32,560 –> 00:07:35,199
خوب است، اما این یک زبان گسترده است. زبان، بنابراین
224
00:07:35,199 –> 00:07:36,880
چیزهای زیادی در پایتون وجود دارد،
225
00:07:36,880 –> 00:07:38,639
بنابراین آیا لازم است همه چیز را به عنوان
226
00:07:38,639 –> 00:07:40,400
یک مهندس داده یاد بگیرید،
227
00:07:40,400 –> 00:07:43,680
بدیهی است که اینطور نیست استفاده از پایتون برای
228
00:07:43,680 –> 00:07:44,000
229
00:07:44,000 –> 00:07:46,080
مقاصد مختلف پس یادگیری ماشین
230
00:07:46,080 –> 00:07:48,319
علم داده و مهندسی داده
231
00:07:48,319 –> 00:07:51,360
بیایید به آن صفحه
232
00:07:51,360 –> 00:07:53,199
برویم بله در اینجا از پایتون برای مقاصد مختلف
233
00:07:53,199 –> 00:07:54,639
استفاده میکند مهندسی
234
00:07:54,639 –> 00:07:56,720
داده یادگیری ماشین علم یادگیری عمیق
235
00:07:56,720 –> 00:07:59,199
به علاوه توسعه برنامه پسزمینه
236
00:07:59,199 –> 00:08:00,800
فرآیند فرآیند سطح سرور فرآیند
237
00:08:00,800 –> 00:08:03,919
هک و هدف اتوماسیون بنابراین
238
00:08:03,919 –> 00:08:06,479
استفاده از پایتون برای اهداف متفاوتی دارد، بنابراین
239
00:08:06,479 –> 00:08:07,599
ما یاد میگیریم که در
240
00:08:07,599 –> 00:08:10,160
رابطه با دادههای ژنتیکی چگونه
241
00:08:10,160 –> 00:08:11,840
دادهها را ذخیره میکنیم چگونه دادهها را پردازش میکنیم
242
00:08:11,840 –> 00:08:14,080
که هدف اصلی ما است
243
00:08:14,080 –> 00:08:15,840
و مسیر تجزیه و تحلیل کاملاً
244
00:08:15,840 –> 00:08:17,360
متفاوت است، شاید
245
00:08:17,360 –> 00:08:19,520
یادگیری عمیق علم دادهها به
246
00:08:19,520 –> 00:08:20,720
247
00:08:20,720 –> 00:08:24,960
Apiهای مختلف نیاز داشته باشند. ماژول هایی
248
00:08:24,960 –> 00:08:26,879
برای آنها وجود دارد، اما وقتی صحبت از مهندسی داده به میان می آید،
249
00:08:26,879 –> 00:08:29,759
من مواردی را فهرست کرده ام
250
00:08:29,759 –> 00:08:32,080
که باید در
251
00:08:32,080 –> 00:08:33,919
مورد مهندسی داده بدانیم، بخش
252
00:08:33,919 –> 00:08:36,880
اول، اصول اولیه انواع داده های پایتون، انواع
253
00:08:36,880 –> 00:08:38,399
مختلفی از انواع داده هایی که باید
254
00:08:38,399 –> 00:08:40,000
بدانید و نحوه ایجاد
255
00:08:40,000 –> 00:08:41,679
متغیرها و نحوه ایجاد آنها داده
256
00:08:41,679 –> 00:08:43,279
هایی را ذخیره کنید که
257
00:08:43,279 –> 00:08:44,959
مجموعه ای از انواع داده های پایه است ns که به آن
258
00:08:44,959 –> 00:08:46,480
ساختار
259
00:08:46,480 –> 00:08:48,080
داده می گویند انواع مختلف ساختار داده در دسترس هستند
260
00:08:48,080 –> 00:08:49,680
261
00:08:49,680 –> 00:08:52,720
دیکشنری های چند تایی را لیست می کنند و
262
00:08:52,720 –> 00:08:54,240
وقتی
263
00:08:54,240 –> 00:08:56,160
صحبت از زبان برنامه نویسی می شود چیز رایجی را که
264
00:08:56,160 –> 00:08:57,760
شرطی است و حلقه حلقه
265
00:08:57,760 –> 00:09:00,640
برای حلقه در حالی که اگر شرط if else
266
00:09:00,640 –> 00:09:02,160
و گزاره ها تعداد کمی از
267
00:09:02,160 –> 00:09:03,760
دستورات موجود است را تنظیم می کند. همچنین ما
268
00:09:03,760 –> 00:09:06,640
باید اصولاً توابع بخش قابلیت استفاده مجدد را یاد بگیریم،
269
00:09:06,640 –> 00:09:07,680
270
00:09:07,680 –> 00:09:10,800
بنابراین کلاسها واقعاً مورد نیاز
271
00:09:10,800 –> 00:09:13,920
نیستند زیرا ما از ویژگیهای adf breaks data استفاده میکنیم،
272
00:09:13,920 –> 00:09:14,399
273
00:09:14,399 –> 00:09:16,880
بنابراین اگر
274
00:09:16,880 –> 00:09:18,160
پروژههای اصلی پایتون
275
00:09:18,160 –> 00:09:21,200
را پیادهسازی میکنید، به کلاسهای پایتون نیاز دارید، اما
276
00:09:21,200 –> 00:09:23,120
ما از آجرهای داده استفاده میکنیم
277
00:09:23,120 –> 00:09:25,120
و
278
00:09:25,120 –> 00:09:27,839
بخش ارکستراسیون آتی adf همه چیز را لولهکشی میکند،
279
00:09:27,839 –> 00:09:29,360
پس شما نیازی به
280
00:09:29,360 –> 00:09:32,480
مفاهیم واقعاً اوپس ندارید که کلاسها نامیده میشوند،
281
00:09:32,480 –> 00:09:34,240
اما توابع برای بخش قابلیت استفاده مجدد مورد نیاز است،
282
00:09:34,240 –> 00:09:36,000
283
00:09:36,000 –> 00:09:38,480
بنابراین وقتی نوبت به قسمت پیشرفته میرسد،
284
00:09:38,480 –> 00:09:39,519
گاهی اوقات ممکن است
285
00:09:39,519 –> 00:09:42,080
نوشتن به غیر از فایلهای داده بزرگ مانند فایلهای
286
00:09:42,080 –> 00:09:42,800
287
00:09:42,800 –> 00:09:45,120
هسته پایتون مانند خواندن فایلها را بخوانیم. و
288
00:09:45,120 –> 00:09:46,720
نوشتن فایل ها
289
00:09:46,720 –> 00:09:48,959
و رسیدگی به این موارد نیز بسیار
290
00:09:48,959 –> 00:09:50,240
مهم است و
291
00:09:50,240 –> 00:09:53,200
فهرست می شود درک هایی مانند استفاده از ویژگی های لیست در
292
00:09:53,200 –> 00:09:54,000
293
00:09:54,000 –> 00:09:56,320
درجه اول در مورد اسپارک pi، ما
294
00:09:56,320 –> 00:09:57,279
بیشتر از این استفاده خواهیم کرد
295
00:09:57,279 –> 00:10:00,720
و عبارت لامبدا یک
296
00:10:00,720 –> 00:10:03,120
تابع خطی است که می توانید
297
00:10:03,120 –> 00:10:05,279
از آن در کار قیمت استفاده کنید، طول کد را کاهش می دهد
298
00:10:05,279 –> 00:10:06,320
299
00:10:06,320 –> 00:10:07,760
و مزایای زیادی در
300
00:10:07,760 –> 00:10:09,920
دسترس است، بنابراین زمانی که به جستجوی
301
00:10:09,920 –> 00:10:11,279
الگوها میتوانیم از عبارات منظم
302
00:10:11,279 –> 00:10:12,560
303
00:10:12,560 –> 00:10:15,040
بله استفاده کنیم که در پایتون نیز
304
00:10:15,040 –> 00:10:16,800
موجود است ببینید در sql موجود است
305
00:10:16,800 –> 00:10:19,360
در پایتون موجود است در ماژولهای کار پاریس موجود است
306
00:10:19,360 –> 00:10:22,480
و ورود به سیستم با هدف ثبت سفارشی
307
00:10:22,480 –> 00:10:23,920
میتوانید از ماژول ورود به سیستم استفاده کنید
308
00:10:23,920 –> 00:10:25,760
و در آنجا وجود دارد.
309
00:10:25,760 –> 00:10:28,000
ماژول های کمی برای اهداف مختلف در دسترس هستند،
310
00:10:28,000 –> 00:10:30,399
بنابراین ما نیز در این مورد بحث خواهیم کرد،
311
00:10:30,399 –> 00:10:31,360
312
00:10:31,360 –> 00:10:34,480
بنابراین این یک پایتون هسته ای کامل
313
00:10:34,480 –> 00:10:36,640
است که برای مهندسی داده مورد نیاز است،
314
00:10:36,640 –> 00:10:37,839
315
00:10:37,839 –> 00:10:39,680
هر مهندس داده باید
316
00:10:39,680 –> 00:10:41,360
اصول اولیه
317
00:10:41,360 –> 00:10:45,200
و چیزهای پیشرفته هسته پایتون را بداند و سپس
318
00:10:45,200 –> 00:10:47,120
کجا می توانیم یاد بگیریم.
319
00:10:47,120 –> 00:10:49,760
وقتی پایتون به میان میآید تمرین کنید،
320
00:10:49,760 –> 00:10:51,600
بنابراین ابزارهای منبع باز زیادی
321
00:10:51,600 –> 00:10:54,000
در دسترس هستند و شما میتوانید تمرین کنید،
322
00:10:54,000 –> 00:10:56,000
اما ما میخواهیم از آن استفاده کنیم. آجرهای
323
00:10:56,000 –> 00:10:58,640
داده بنابراین نسخه جامعه پایگاه داده ما می توانیم استفاده
324
00:10:58,640 –> 00:11:01,600
کنیم تا برای زبان آموزان در دسترس باشد، بنابراین شما
325
00:11:01,600 –> 00:11:03,920
می توانید ثبت نام کنید که به صورت رایگان در دسترس است
326
00:11:03,920 –> 00:11:05,839
و می توانید از نسخه جامعه پایگاه داده استفاده کنید،
327
00:11:05,839 –> 00:11:07,040
328
00:11:07,040 –> 00:11:09,040
بنابراین وقتی نوبت به بخش منابع می رسد،
329
00:11:09,040 –> 00:11:11,480
همیشه
330
00:11:11,480 –> 00:11:14,880
بهترین گزینه برای
331
00:11:14,880 –> 00:11:17,279
مفاهیم کامل پایتون python.org را پیشنهاد می کنم.
332
00:11:17,279 –> 00:11:18,240
333
00:11:18,240 –> 00:11:20,160
شما می توانید مستندات کامل پایتون
334
00:11:20,160 –> 00:11:21,680
335
00:11:21,680 –> 00:11:25,360
و راهنمای مبتدیان را بیابید
336
00:11:25,360 –> 00:11:27,600
و اگر احساس می کنید این موضوع بسیار
337
00:11:27,600 –> 00:11:28,720
سنگین است
338
00:11:28,720 –> 00:11:30,160
و نمی توانید به
339
00:11:30,160 –> 00:11:32,079
درستی درک کنید در وب سایت دوم که من مدارس w3
340
00:11:32,079 –> 00:11:33,360
را پیشنهاد می کنم،
341
00:11:33,360 –> 00:11:36,399
بنابراین این
342
00:11:36,399 –> 00:11:38,560
بهترین وب سایت برای زبان آموزان است. وب سایت
343
00:11:38,560 –> 00:11:40,240
برای زبان آموزان و بسیاری از زبان
344
00:11:40,240 –> 00:11:41,200
های آنها در دسترس است، اما
345
00:11:41,200 –> 00:11:44,800
شما می توانید یک پایتون را در اینجا انتخاب کنید، بنابراین
346
00:11:44,800 –> 00:11:47,760
زبان های برنامه نویسی python so python
347
00:11:47,760 –> 00:11:48,720
می توانید
348
00:11:48,720 –> 00:11:50,800
اطلاعات کامل محتوا را با
349
00:11:50,800 –> 00:11:51,920
مثال مشاهده کنید،
350
00:11:51,920 –> 00:11:53,760
بنابراین این دو وب سایت است که می
351
00:11:53,760 –> 00:11:55,440
توانید اصول اولیه را دریافت کنید
352
00:11:55,440 –> 00:11:58,800
و بر اساس تمرین خود پیشرفت کنید تا
353
00:11:58,800 –> 00:12:01,360
بتوانید زمانی که تمرین می کنید، متخصص شوید،
354
00:12:01,360 –> 00:12:02,240
355
00:12:02,240 –> 00:12:06,880
اما دانش و متخصص فقط شما می
356
00:12:06,880 –> 00:12:08,720
توانید دانش بشوید، اگر k به دست آورید
357
00:12:08,720 –> 00:12:10,240
nowledge و
358
00:12:10,240 –> 00:12:12,399
اگر بیشتر و بیشتر تمرین کنید
359
00:12:12,399 –> 00:12:13,920
، در یک فناوری خاص متخصص خواهید شد،
360
00:12:13,920 –> 00:12:14,959
361
00:12:14,959 –> 00:12:17,760
بنابراین به این دو وب سایت مراجعه کنید سپس
362
00:12:17,760 –> 00:12:18,959
قسمت
363
00:12:18,959 –> 00:12:22,839
کاری را که من انجام خواهم داد تمرین کنید وارد databricks.com
364
00:12:22,839 –> 00:12:26,160
databricks.com شوید،
365
00:12:26,160 –> 00:12:29,279
پس در اینجا گزینه ای به نام
366
00:12:29,279 –> 00:12:32,320
try databricks وجود دارد روی آن کلیک کنید.
367
00:12:32,320 –> 00:12:34,480
بنابراین ما قصد داریم در اینجا ثبت نام کنیم بنابراین
368
00:12:34,480 –> 00:12:37,120
از یک داده آجر برای
369
00:12:37,120 –> 00:12:40,399
یادگیری python pi spark و delta lake
370
00:12:40,399 –> 00:12:41,360
371
00:12:41,360 –> 00:12:44,800
استفاده می کنیم همه چیز را از این databricks به عنوان یک
372
00:12:44,800 –> 00:12:47,600
ابزار توسعه ایده استفاده خواهیم کرد، بنابراین همان databricks در
373
00:12:47,600 –> 00:12:50,480
همه ابرهای ابری aws azure و Google موجود است
374
00:12:50,480 –> 00:12:53,200
بنابراین وارد کنید شناسه ایمیل اطلاعات باید
375
00:12:53,200 –> 00:12:54,720
شناسه ایمیل معتبر باشد
376
00:12:54,720 –> 00:12:58,320
زیرا یک پیوند تأیید برای
377
00:12:58,320 –> 00:13:02,160
تنظیم رمز عبور خود دریافت خواهید کرد، بنابراین نام رویداد
378
00:13:02,160 –> 00:13:05,120
و جزئیات را ارائه دهید،
379
00:13:05,600 –> 00:13:10,079
خوب فقط هر گونه اطلاعاتی را ارائه دهید،
380
00:13:10,079 –> 00:13:14,160
381
00:13:18,079 –> 00:13:19,920
بنابراین من می خواهم از شناسه ایمیل دیگری استفاده کنم،
382
00:13:19,920 –> 00:13:21,440
زیرا قبلاً
383
00:13:21,440 –> 00:13:23,279
من با
384
00:13:23,279 –> 00:13:26,480
شناسههای ایمیل مختلف ثبتنام کردهام، میخواهم از این شناسه ایمیل استفاده کنم
385
00:13:26,480 –> 00:13:29,760
و روی شروع به کار کلیک کنم، بنابراین اطلاعات اولیه را وارد کنید
386
00:13:29,760 –> 00:13:31,680
هر چیزی که
387
00:13:31,680 –> 00:13:32,000
علامت ستاره را
388
00:13:32,000 –> 00:13:35,279
میبینید، بسیار خوب است، پس ایمیل آن m است.
389
00:13:35,279 –> 00:13:39,440
ش