در این مطلب، ویدئو ابزارهای GeoAnalytics: تجزیه و تحلیل کلان داده خود را با پایتون گسترش دهید با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
مدت زمان فیلم: 00:32:12
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:02,000 –> 00:00:04,160
بسیار خوب، این جلسه ای است
2
00:00:04,160 –> 00:00:06,000
به نام گسترش تجزیه و تحلیل داده های بزرگ خود را
3
00:00:06,000 –> 00:00:08,160
از طریق ابزارهای پایتون و
4
00:00:08,160 –> 00:00:10,559
geoanalytics نام من نوح است.
5
00:00:10,559 –> 00:00:11,599
6
00:00:11,599 –> 00:00:13,920
7
00:00:13,920 –> 00:00:15,360
8
00:00:15,360 –> 00:00:17,520
شما
9
00:00:17,520 –> 00:00:18,880
در
10
00:00:18,880 –> 00:00:21,840
مورد روشی که میتوانید اسکریپتهای پایتون را در
11
00:00:21,840 –> 00:00:24,240
سرور جغرافیایی خود اجرا کنید و
12
00:00:24,240 –> 00:00:27,599
در حین انجام این کار به اسپارک آپاچی دسترسی پیدا کنید تا
13
00:00:27,599 –> 00:00:27,920
14
00:00:27,920 –> 00:00:29,519
فقط یک نمای کلی از آنچه
15
00:00:29,519 –> 00:00:31,599
امروز در مورد آن
16
00:00:31,599 –> 00:00:32,640
صحبت میکنیم شروع کنید، ابتدا پیشزمینهای در مورد آن به شما ارائه خواهیم کرد.
17
00:00:32,640 –> 00:00:34,559
سرور geoanalytics فقط
18
00:00:34,559 –> 00:00:37,200
برای اینکه زمینه ای را به شما ارائه
19
00:00:37,200 –> 00:00:40,239
دهیم و سپس به
20
00:00:40,239 –> 00:00:41,600
مرور سطح بالایی از اسپارک
21
00:00:41,600 –> 00:00:43,520
و نحوه کار فریم های داده اسپارک می پردازیم، فقط در
22
00:00:43,520 –> 00:00:46,480
صورتی که با آن آشنا نباشید
23
00:00:46,480 –> 00:00:48,559
و سپس بیشتر جلسه نمایشی خواهد بود،
24
00:00:48,559 –> 00:00:50,640
بنابراین ما ما به شما نشان خواهیم داد که
25
00:00:50,640 –> 00:00:53,680
چگونه میتوانید دادهها
26
00:00:53,680 –> 00:00:56,000
را در این محیط پایتون که
27
00:00:56,000 –> 00:00:58,480
در مورد آن صحبت
28
00:00:58,480 –> 00:01:01,120
میکنیم از arcgis شرکت بخوانید و از آن در اسپارک استفاده کنید
29
00:01:01,120 –> 00:01:02,160
30
00:01:02,160 –> 00:01:03,280
و سپس در مورد
31
00:01:03,280 –> 00:01:05,760
نوشتن دادهها از
32
00:01:05,760 –> 00:01:07,439
این محیط صحبت خواهیم کرد. قوس gis
33
00:01:07,439 –> 00:01:08,960
enterprise
34
00:01:08,960 –> 00:01:10,960
و سپس ما قصد داریم به
35
00:01:10,960 –> 00:01:13,600
زنجیرهسازی ابزارهای تحلیل جغرافیایی با هم بپردازیم
36
00:01:13,600 –> 00:01:15,520
که چگونه میتوانید این کار را با اسپارک و
37
00:01:15,520 –> 00:01:16,880
پایتون و
38
00:01:16,880 –> 00:01:19,600
مزایای این نوع گردش کار انجام دهید و
39
00:01:19,600 –> 00:01:21,840
سپس در نهایت به
40
00:01:21,840 –> 00:01:24,560
نحوه اتصال به دادههای خارج از محیط میپردازیم. arcgis
41
00:01:24,560 –> 00:01:25,520
با
42
00:01:25,520 –> 00:01:28,240
این api،
43
00:01:28,720 –> 00:01:31,680
بنابراین محیط پایتون که
44
00:01:31,680 –> 00:01:33,040
امروز در مورد آن صحبت
45
00:01:33,040 –> 00:01:35,920
خواهیم کرد، اگر با سرور geoanalytics آشنایی ندارید، روی سرور geoanalytics اجرا می شود،
46
00:01:35,920 –> 00:01:38,400
47
00:01:38,400 –> 00:01:39,920
هدف آن اساساً توزیع
48
00:01:39,920 –> 00:01:41,759
محاسبات برای تجزیه و تحلیل سریع
49
00:01:41,759 –> 00:01:43,759
مقادیر زیادی از داده های برداری و جدولی
50
00:01:43,759 –> 00:01:44,880
در سراسر است.
51
00:01:44,880 –> 00:01:46,880
هسته های متعدد یک سرور یا چندین
52
00:01:46,880 –> 00:01:47,920
سرور،
53
00:01:47,920 –> 00:01:50,399
بنابراین ما با تصاویر کار نمی کنیم، فقط
54
00:01:50,399 –> 00:01:52,079
چند ضلعی
55
00:01:52,079 –> 00:01:55,520
ها و جداول را خط می کشیم و بخش عمده ای از
56
00:01:55,520 –> 00:01:58,799
این محصول ما به نوعی در این
57
00:01:58,799 –> 00:02:01,360
ابزارهای تحلیلی است که ما داریم که می تواند
58
00:02:01,360 –> 00:02:02,719
به شما کمک کند
59
00:02:02,719 –> 00:02:05,520
حجم زیادی از داده ها را مدیریت کنید، اما همچنین شامل
60
00:02:05,520 –> 00:02:06,320
برخی
61
00:02:06,320 –> 00:02:08,160
تجزیه و تحلیل های پیشرفته تر برای کمک به شما در شناسایی الگوها
62
00:02:08,160 –> 00:02:10,160
و روابط و ناهنجاری ها
63
00:02:10,160 –> 00:02:12,319
و حوادث می شود و چون این ابزارها
64
00:02:12,319 –> 00:02:15,200
همه به صورت توزیع شده کار
65
00:02:15,200 –> 00:02:17,520
می کنند می توانند داده های بزرگ را به خوبی مقیاس بندی کنید و به
66
00:02:17,520 –> 00:02:18,720
67
00:02:18,720 –> 00:02:22,080
خوبی مدیریت کنید، بنابراین ابزارهای تجزیه و تحلیل
68
00:02:22,080 –> 00:02:24,480
ما در اینجا هستند که ما
69
00:02:24,480 –> 00:02:25,599
از آنها پشتیبانی می
70
00:02:25,599 –> 00:02:28,319
کنیم. این لیست تا 10 9 یا
71
00:02:28,319 –> 00:02:30,000
فقط سازمانی 10 9
72
00:02:30,000 –> 00:02:33,519
جاری است.
73
00:02:33,519 –> 00:02:34,800
ابزارها و نحوه کار آنها
74
00:02:34,800 –> 00:02:37,280
اگر به توضیحات مربوط به این و
75
00:02:37,280 –> 00:02:39,040
چند نسخه نمایشی دیگر علاقه دارید، جلسات ما را
76
00:02:39,040 –> 00:02:40,080
77
00:02:40,080 –> 00:02:42,400
در سرور geoanalytics یا geoanalytics
78
00:02:42,400 –> 00:02:43,440
در حرفه ای بررسی می کنم
79
00:02:43,440 –> 00:02:45,599
که در آن برخی از این تجزیه و تحلیل ها و
80
00:02:45,599 –> 00:02:47,040
کارهایی که برخی از این ابزار انجام می دهند را نشان می دهیم،
81
00:02:47,040 –> 00:02:49,200
اما در اینجا موارد زیادی وجود دارد. هم برای مدیریت
82
00:02:49,200 –> 00:02:50,800
خلاصه کردن دادههایتان و هم برای انجام
83
00:02:50,800 –> 00:02:51,599
برخی گردشهای
84
00:02:51,599 –> 00:02:53,519
کاری پیشرفتهتر از نوع یادگیری ماشینی
85
00:02:53,519 –> 00:02:55,760
و همچنین
86
00:02:56,000 –> 00:02:58,400
از نظر ورودی و خروجی،
87
00:02:58,400 –> 00:03:00,959
سرور جغرافیایی از
88
00:03:00,959 –> 00:03:02,800
دادههای gis استانداردی پشتیبانی میکند که در
89
00:03:02,800 –> 00:03:04,000
شرکت arcgis دارید، برای
90
00:03:04,000 –> 00:03:06,159
مثال خدمات ویژگی میزبانی شده و
91
00:03:06,159 –> 00:03:07,920
سرویسهای جریان،
92
00:03:07,920 –> 00:03:09,519
اما اگر ما از یک
93
00:03:09,519 –> 00:03:11,280
دنیای بزرگ داده های جرقه ای می آییم، ما همچنین از
94
00:03:11,280 –> 00:03:14,000
برخی منابع داده رایج که
95
00:03:14,000 –> 00:03:15,920
از Spark پشتیبانی می کنند و همچنین
96
00:03:15,920 –> 00:03:18,319
فضای ذخیره سازی ابری مانند azure blob amazon
97
00:03:18,319 –> 00:03:19,120
s3
98
00:03:19,120 –> 00:03:21,760
و همچنین hdfs و hive و فقط یک
99
00:03:21,760 –> 00:03:22,959
sta پشتیبانی می کنیم.
100
00:03:22,959 –> 00:03:26,480
پوشه dard یا درایو شبکه از نظر اینکه
101
00:03:26,480 –> 00:03:29,040
geoanalytic می تواند به چه چیزی بنویسد، البته
102
00:03:29,040 –> 00:03:30,959
ما می توانیم در لایه های ویژگی میزبانی شده
103
00:03:30,959 –> 00:03:33,760
در سازمانی بنویسیم، اما همچنین برخی از
104
00:03:33,760 –> 00:03:35,680
منابع داده ای که ذکر کردیم مانند
105
00:03:35,680 –> 00:03:36,799
hdfs
106
00:03:36,799 –> 00:03:41,760
و فروشگاه های ابری، بنابراین
107
00:03:41,760 –> 00:03:43,920
وقتی سرور geoanalytics را نصب می کنید و
108
00:03:43,920 –> 00:03:45,120
شروع به استفاده می کنید.
109
00:03:45,120 –> 00:03:46,799
این ابزارهایی که چند اسلاید قبل نشان دادم
110
00:03:46,799 –> 00:03:50,640
به صورت مستقل
111
00:03:50,640 –> 00:03:52,720
در یک رابط مستقل در
112
00:03:52,720 –> 00:03:54,080
arcgis pro موجود است
113
00:03:54,080 –> 00:03:55,680
اگر وارد اینترپریزی شدید در اینجا می توانید
114
00:03:55,680 –> 00:03:58,640
از آنها مانند هر ابزار gp دیگری استفاده
115
00:03:58,640 –> 00:04:00,159
کنید اگر در یک مرورگر وب هستید می توانید استفاده کنید.
116
00:04:00,159 –> 00:04:02,799
آنها یا در پورتال سازمانی arcgis
117
00:04:02,799 –> 00:04:04,159
، یک رابط کاربری خوب وجود دارد، اگر
118
00:04:04,159 –> 00:04:05,840
با
119
00:04:05,840 –> 00:04:08,640
arcgis آنلاین آشنا هستید، بسیار شبیه است و
120
00:04:08,640 –> 00:04:09,120
121
00:04:09,120 –> 00:04:10,959
سپس ابزارها را می توان از
122
00:04:10,959 –> 00:04:12,319
طریق rest
123
00:04:12,319 –> 00:04:15,439
api، arcgis rest api و همچنین arcgis
124
00:04:15,439 –> 00:04:19,680
api برای پایتون، دسترسی داشت، بنابراین در اینجا می توانید
125
00:04:19,680 –> 00:04:21,519
api پایتون را ببینید که در یک نوت بوک استفاده می شود
126
00:04:21,519 –> 00:04:22,639
، چیزی که امروز از آن
127
00:04:22,639 –> 00:04:23,600
برای راه
128
00:04:23,600 –> 00:04:26,560
اندازی دموهای خود استفاده می کنیم، بنابراین ابزاری که در
129
00:04:26,560 –> 00:04:28,080
واقع امروز اینجا هستیم تا در مورد آن صحبت کنیم و
130
00:04:28,080 –> 00:04:32,240
به شما امکان دسترسی به جرقه و جرقه را می دهد.
131
00:04:32,240 –> 00:04:34,080
می دانید آنچه که ما به آن علاقه مندیم
132
00:04:34,080 –> 00:04:36,000
اجرای اسکریپت پایتون نامیده می شود
133
00:04:36,000 –> 00:04:38,880
و چیزی که این ابزار به شما اجازه می دهد انجام دهید این است که
134
00:04:38,880 –> 00:04:39,600
135
00:04:39,600 –> 00:04:42,160
کد پایتون را بر روی سرور جغرافیایی خود
136
00:04:42,160 –> 00:04:44,320
در محیطی اجرا کنید که در آن
137
00:04:44,320 –> 00:04:47,120
به اسپارک آپاچی دسترسی دارید که موتور محاسباتی توزیع شده
138
00:04:47,120 –> 00:04:48,160
است
139
00:04:48,160 –> 00:04:51,440
که ژئوآنالیتیک را هدایت می کند.
140
00:04:51,440 –> 00:04:54,000
شما کد پایتون را در این ابزار
141
00:04:54,000 –> 00:04:56,400
اجرا می کنید،
142
00:04:56,400 –> 00:04:59,280
در python36 که با
143
00:04:59,280 –> 00:05:01,120
سرور arcgis ارسال می شود اجرا می شود، اگرچه اگر بخواهید می توانید
144
00:05:01,120 –> 00:05:03,759
به درایور دیگری اشاره کنید
145
00:05:03,759 –> 00:05:05,440
و در این محیط پایتون
146
00:05:05,440 –> 00:05:07,199
به ماژولی
147
00:05:07,199 –> 00:05:08,639
به نام geoanalytics دسترسی خواهید داشت.
148
00:05:08,639 –> 00:05:10,320
که همه آن یا بیشتر
149
00:05:10,320 –> 00:05:11,680
ابزارهای تحلیل جغرافیایی است
150
00:05:11,680 –> 00:05:13,919
که چند اسلاید پیش نشان دادم که
151
00:05:13,919 –> 00:05:17,039
به عنوان توابع پایتون در دسترس هستند،
152
00:05:17,039 –> 00:05:20,880
این ابزارها با فریم های داده جرقه ای کار می کنند
153
00:05:20,880 –> 00:05:22,320
که مایک قرار است کمی در مورد آنها صحبت کند،
154
00:05:22,320 –> 00:05:24,639
155
00:05:24,639 –> 00:05:26,000
اما ما ادغام آن را واقعا آسان کرده ایم.
156
00:05:26,000 –> 00:05:29,120
منابع دادههای سازمانی arcgis
157
00:05:29,120 –> 00:05:29,759
مانند
158
00:05:29,759 –> 00:05:32,880
سرویسهای ویژگی با فریمهای داده جرقهای هستند،
159
00:05:32,880 –> 00:05:34,000
به طوری که
160
00:05:34,000 –> 00:05:36,479
انتقال دادهها به داخل و
161
00:05:36,479 –> 00:05:37,520
خارج از این محیط
162
00:05:37,520 –> 00:05:40,880
از سازمان و علاوه بر
163
00:05:40,880 –> 00:05:43,199
آن ماژول geoanalytics، شما همچنین
164
00:05:43,199 –> 00:05:46,000
همه ماژولهایی را که با pi
165
00:05:46,000 –> 00:05:47,039
spark api ارائه میشوند، دریافت میکنید
166
00:05:47,039 –> 00:05:50,800
که شامل یک ماژول sql بسیار قوی است
167
00:05:50,800 –> 00:05:51,520
که به شما کمک میکند تا
168
00:05:51,520 –> 00:05:54,960
دادههای خود را مدیریت و پرس و جو کنید و همچنین یک
169
00:05:54,960 –> 00:05:56,479
ماژول یادگیری ماشینی که دارای
170
00:05:56,479 –> 00:05:58,080
171
00:05:58,080 –> 00:06:01,120
ابزارهای جالب زیادی
172
00:06:01,120 –> 00:06:03,280
است. که ما فقط میخواهیم وارد
173
00:06:03,280 –> 00:06:05,039
چند نسخه نمایشی شویم، اما قبل از انجام آن
174
00:06:05,039 –> 00:06:05,520
175
00:06:05,520 –> 00:06:07,520
، مایک را به ما میدهم که کمی
176
00:06:07,520 –> 00:06:08,720
پیشزمینه فنی
177
00:06:08,720 –> 00:06:11,280
در مورد اینکه فریم دادههای جرقه چیست و چگونه
178
00:06:11,280 –> 00:06:13,039
179
00:06:13,039 –> 00:06:17,440
از نظر تحلیل فضایی سودمند است، به ما میدهد، بنابراین
180
00:06:17,440 –> 00:06:20,479
مایک با تشکر
181
00:06:20,479 –> 00:06:23,919
فریمهای داده noah so spark
182
00:06:23,919 –> 00:06:26,960
شبیه بسیاری از مفاهیم فریم داده دیگر
183
00:06:26,960 –> 00:06:29,199
هستند، از جمله
184
00:06:29,199 –> 00:06:32,000
فریمهای داده پاندا، اما از این نظر
185
00:06:32,000 –> 00:06:33,840
متفاوت
186
00:06:33,840 –> 00:06:36,720
هستند که از جرقه استفاده میکنند
187
00:06:36,720 –> 00:06:38,960
و اسپارک یک موتور محاسباتی توزیعشده
188
00:06:38,960 –> 00:06:40,080
است،
189
00:06:40,080 –> 00:06:42,880
بنابراین وقتی یک فریم داده جرقه دارید،
190
00:06:42,880 –> 00:06:43,120
191
00:06:43,120 –> 00:06:46,000
شیئی که نشان دهنده داده هایی است که
192
00:06:46,000 –> 00:06:47,280
در
193
00:06:47,280 –> 00:06:50,960
کل خوشه شما توزیع شده است
194
00:06:50,960 –> 00:06:53,599
و نکته جالب در مورد
195
00:06:53,599 –> 00:06:54,560
فریم های داده اسپارک این است که
196
00:06:54,560 –> 00:06:57,039
آنها قدرت محاسبات توزیع شده
197
00:06:57,039 –> 00:06:58,400
را
198
00:06:58,400 –> 00:07:01,520
با یک t ساده به شما می دهند. o
199
00:07:01,520 –> 00:07:03,919
اگر
200
00:07:03,919 –> 00:07:05,199
با فریم های داده
201
00:07:05,199 –> 00:07:08,720
در زبان های دیگر یا بسته های دیگر آشنا هستید، از رابط بصری استفاده کنید،
202
00:07:08,720 –> 00:07:10,960
203
00:07:10,960 –> 00:07:11,759
انتقال
204
00:07:11,759 –> 00:07:15,520
به استفاده از اسپارک بسیار آسان است و لازم نیست
205
00:07:15,520 –> 00:07:18,880
چیزی در مورد اسپارک و نحوه عملکرد آن بدانید
206
00:07:18,880 –> 00:07:19,520
207
00:07:19,520 –> 00:07:23,360
تا از آن استفاده کنید. اضافه کردن
208
00:07:23,360 –> 00:07:24,479
به فریمهای
209
00:07:24,479 –> 00:07:28,240
داده مفهوم هندسه و زمان است،
210
00:07:28,240 –> 00:07:29,759
بسیار شبیه به مواردی که در
211
00:07:29,759 –> 00:07:31,759
geoanalytics اضافه کردهایم، بنابراین
212
00:07:31,759 –> 00:07:33,520
ستونهای ویژهای وجود دارد که در اختیار داریم
213
00:07:33,520 –> 00:07:35,599
که حاوی فیلدهای هندسه و فیلدهای زمانی
214
00:07:35,599 –> 00:07:37,919
است،
215
00:07:37,919 –> 00:07:39,680
اما فقط پیشزمینهای در مورد نحوه
216
00:07:39,680 –> 00:07:42,400
کار و دلیل آنها وجود دارد.
217
00:07:42,400 –> 00:07:45,120
در مثال اینجا مهم است که ما یک
218
00:07:45,120 –> 00:07:46,879
مجموعه داده زلزله را بارگذاری می
219
00:07:46,879 –> 00:07:50,000
کنیم، آن را 10 مایلی بافر می کنیم،
220
00:07:50,000 –> 00:07:53,599
آن را به وبمرکاتر می فرستیم
221
00:07:53,599 –> 00:07:55,199
و سپس آن را در چیزی ذخیره می
222
00:07:55,199 –> 00:07:56,840
کنیم
223
00:07:56,840 –> 00:08:00,639
که چارچوب داده های سنتی است
224
00:08:00,639 –> 00:08:04,560
یا باید بگویم esri gp
225
00:08:04,560 –> 00:08:06,319
راه ابزار برای انجام این کار فراخوانی
226
00:08:06,319 –> 00:08:08,479
ابزار بافر و سپس فراخوانی
227
00:08:08,479 –> 00:08:09,840
ابزار پروژه است
228
00:08:09,840 –> 00:08:13,120
و یکی از معایب آن این است
229
00:08:13,120 –> 00:08:15,280
که ابزار بافر خروجی ایجاد می کند که در
230
00:08:15,280 –> 00:08:16,720
جایی
231
00:08:16,720 –> 00:08:19,680
روی دیسک به عنوان یک سرویس ویژگی ذخیره
232
00:08:19,680 –> 00:08:20,720
می شود.
233
00:08:20,720 –> 00:08:22,479
um و سپس ابزار پروژه در
234
00:08:22,479 –> 00:08:24,160
واقع آن را می خواند
235
00:08:24,160 –> 00:08:27,199
و سپس خروجی خود را ایجاد می کند، اما در
236
00:08:27,199 –> 00:08:28,639
237
00:08:28,639 –> 00:08:30,800
فریم های داده جرقه در واقع
238
00:08:30,800 –> 00:08:32,320
همه چیز را در یک
239
00:08:32,320 –> 00:08:35,440
عملیات خط لوله می کند و بنابراین می توانید اینجا را در
240
00:08:35,440 –> 00:08:38,640
سمت چپ با یک ماشین و چهار هسته
241
00:08:38,640 –> 00:08:42,000
مشاهده کنید. در حال
242
00:08:42,000 –> 00:08:45,519
تبدیل شدن به چهار قسمت،
243
00:08:45,519 –> 00:08:48,560
هر قطعه در سراسر
244
00:08:48,560 –> 00:08:50,560
خوشه
245
00:08:50,560 –> 00:08:52,000
246
00:08:52,000 –> 00:08:53,279
247
00:08:53,279 –> 00:08:56,720
248
00:08:56,720 –> 00:08:58,959
شما توزیع شده است. روی آن
249
00:08:58,959 –> 00:09:00,640
و سپس بلافاصله وارد
250
00:09:00,640 –> 00:09:02,080
عملیات پروژه می شود
251
00:09:02,080 –> 00:09:06,080
و سپس خروجی ایجاد می شود
252
00:09:06,480 –> 00:09:08,480
این یک ماشین با چهار هسته است
253
00:09:08,480 –> 00:09:10,080
حالا اگر به سمت راست نگاه کنید دو
254
00:09:10,080 –> 00:09:12,080
ماشین با دو هسته هر کدام
255
00:09:12,080 –> 00:09:13,839
یک توان عملیاتی دارند اما به جای
256
00:09:13,839 –> 00:09:15,440
اینکه روی یک ماشین کار کنند اکنون در حال اجرا
257
00:09:15,440 –> 00:09:17,120
بر روی دو ماشین
258
00:09:17,120 –> 00:09:20,399
و بنابراین مهم نیست که چه چیزی را
259
00:09:20,399 –> 00:09:21,200
روی
260
00:09:21,200 –> 00:09:25,040
آن اجرا می کنید، عملیات منطقی
261
00:09:25,040 –> 00:09:28,399
یکسان است، به نظر شما یکسان است، اما
262
00:09:28,399 –> 00:09:28,800
263
00:09:28,800 –> 00:09:30,880
اگر ماشین های بیشتری اضافه کنید، کارهای بیشتری
264
00:09:30,880 –> 00:09:32,240
انجام می دهید. قرار دادن
265
00:09:32,240 –> 00:09:35,440
و غیره و این تمام چیزی است که من در قاب های داده دارم
266
00:09:35,440 –> 00:09:36,320
267
00:09:36,320 –> 00:09:38,800
با تشکر مایک بله و ماشینی
268
00:09:38,800 –> 00:09:39,920
که امروز قرار است از آن برای
269
00:09:39,920 –> 00:09:40,720
نسخه ی
270
00:09:40,720 –> 00:09:42,880
نمایشی استفاده کنیم یک ماشین تجزیه و تحلیل جغرافیایی تک با
271
00:09:42,880 –> 00:09:44,560
شش هسته برای جرقه است،
272
00:09:44,560 –> 00:09:46,000
بنابراین فقط برای مرجع این چیزی است که شما باید انجام دهید.
273
00:09:46,000 –> 00:09:48,560
ببینید، اکنون میخواهم به یک
274
00:09:48,560 –> 00:09:51,760
نوتبوک میزبان سوئیچ
275
00:09:51,760 –> 00:09:54,080
کنم، بنابراین در یک نوتبوک میزبانی شده در سرور نوتبوک arcgis خود هستم
276
00:09:54,080 –> 00:09:55,440
277
00:09:55,440 –> 00:09:57,440
و برای شروع با این نسخه آزمایشی،
278
00:09:57,440 –> 00:09:58,880
فقط میخواهم به gis خود متصل شده و
279
00:09:58,880 –> 00:10:01,200
ماژول geoanalytics را وارد کنم
280
00:10:01,200 –> 00:10:03,360
و سپس اسکریپت run python فقط
281
00:10:03,360 –> 00:10:06,240
در آن ماژول گنجانده شده است،
282
00:10:06,240 –> 00:10:09,519
بنابراین اگر من این را اجرا کنم، فقط
283
00:10:09,519 –> 00:10:10,000
284
00:10:10,000 –> 00:10:11,920
یک دستور چاپ ساده را چاپ می کنم و
285
00:10:11,920 –> 00:10:13,760
از این تابعی
286
00:10:13,760 –> 00:10:16,320
که نوشتیم برای پاک کردن پیام هایی استفاده می
287
00:10:16,320 –> 00:10:17,600
کنیم که از آن بازگردانده
288
00:10:17,600 –> 00:10:20,880
می شوند. بقیه api اما همانطور که می بینید
289
00:10:20,880 –> 00:10:22,560
دستور چاپ پایتون
290
00:10:22,560 –> 00:10:25,839
به عنوان یک پیام gp برگردانده شد و بنابراین
291
00:10:25,839 –> 00:10:29,600
این کد در اینجا به عنوان یک رشته در سرور geoanalytics من اجرا شد،
292
00:10:29,600 –> 00:10:31,040
293
00:10:31,040 –> 00:10:33,600
بنابراین خیلی خوب است، ما می دانیم که می
294
00:10:33,600 –> 00:10:35,680
توانیم از ابزار استفاده کنیم
295
00:10:35,680 –> 00:10:37,920
اکنون بیایید خواندن یک ویژگی را امتحان کنیم.
296
00:10:37,920 –> 00:10:39,839
سرویس و ایجاد یک قاب داده بیرون
297
00:10:39,839 –> 00:10:41,360
298
00:10:41,360 –> 00:10:43,360
بنابراین علاوه بر ارسال فقط
299
00:10:43,360 –> 00:10:44,560
اسکریپت ها به عنوان یک رشته
300
00:10:44,560 –> 00:10:46,800
برای اجرای اسکریپت پایتون، می توانید
301
00:10:46,800 –> 00:10:49,040
در یک تابع پایتون نیز ارسال
302
00:10:49,040 –> 00:10:50,720
کنید، بنابراین در اینجا من تابعی دارم
303
00:10:50,720 –> 00:10:52,240
که در آن
304
00:10:52,240 –> 00:10:56,399
آدرس یک لایه سرویس ویژگی را تعریف می کنم، این یک
305
00:10:56,399 –> 00:11:00,959
مجموعه داده نقطه ای است. درختان در شهر نیویورک
306
00:11:00,959 –> 00:11:02,720
و برای خواندن آن اگر
307
00:11:02,720 –> 00:11:05,360
با اسپارک آشنایی دارید قبلاً از spark.read.load استفاده کرده اید
308
00:11:05,360 –> 00:11:06,160
309
00:11:06,160 –> 00:11:08,640
و ما یک سرویس
310
00:11:08,640 –> 00:11:11,279
خوان برای استفاده از آن ارائه کرده ایم که می
311
00:11:11,279 –> 00:11:13,680
توانید فقط با مشخص کردن این قالب webgis
312
00:11:13,680 –> 00:11:14,959
313
00:11:14,959 –> 00:11:16,720
و غیره از آن استفاده کنید. با آن جرقه به طور خودکار
314
00:11:16,720 –> 00:11:18,399
میداند که ما در حال خواندن یک سرویس ویژگی هستیم
315
00:11:18,399 –> 00:11:19,600
316
00:11:19,600 –> 00:11:21,360
و این فریم دادههای جرقهای را
317
00:11:21,360 –> 00:11:22,800
درست مانند چیزی که مایک
318
00:11:22,800 –> 00:11:25,600
قبلاً در مورد آن صحبت کرده بود، برمیگرداند، بنابراین با آن
319
00:11:25,600 –> 00:11:27,200
فریم داده جرقه، من تمام
320
00:11:27,200 –> 00:11:30,079
روشهای داخلی و عملیات sql را دارم
321
00:11:30,079 –> 00:11:31,920
که همراه با آن است. pi spark
322
00:11:31,920 –> 00:11:33,360
بنابراین در این تابع من فقط میخواهم
323
00:11:33,360 –> 00:11:35,519
طرحواره مجموعه دادههای بررسی درختی را چاپ کنم
324
00:11:35,519 –> 00:11:36,800
325
00:11:36,800 –> 00:11:38,720
و سپس تعداد ویژگیهای موجود در
326
00:11:38,720 –> 00:11:40,480
آن را با استفاده از روش شمارش نقطه بشمارم
327
00:11:40,480 –> 00:11:42,880
تا بتوانیم ببینیم چه فیلدهایی در
328
00:11:42,880 –> 00:11:44,160
مجموعه دادهها
329
00:11:44,160 –> 00:11:48,480
و تعداد آنها وجود دارد. از ویژگی های موجود در آن نیز
330
00:11:50,480 –> 00:11:53,440
سرد است همانطور که می بینید ما
331
00:11:53,440 –> 00:11:54,160
ابزار را اجرا کردیم
332
00:11:54,160 –> 00:11:57,200
و طرحواره در پایتون چاپ شد،
333
00:11:57,200 –> 00:11:58,560
ما طرح را به عنوان پیام کار دریافت کردیم،
334
00:11:58,560 –> 00:12:01,839
بنابراین اینها همه
335
00:12:01,839 –> 00:12:04,959
فیلدهای مجموعه داده من هستند همانطور که می توانید
336
00:12:04,959 –> 00:12:05,760
در اینجا مشاهده
337
00:12:05,760 –> 00:12:07,760
کنید اطلاعات هندسه از سرویس ویژگی
338
00:12:07,760 –> 00:12:09,839
بود. در فیلدی به نام هندسه علامت دلار ذخیره شده است،
339
00:12:09,839 –> 00:12:11,920
340
00:12:11,920 –> 00:12:14,639
علامت دلار فقط نام فیلد
341
00:12:14,639 –> 00:12:15,279
را منحصر به فرد می کند
342
00:12:15,279 –> 00:12:17,920
و این همان چیزی است که
343
00:12:17,920 –> 00:12:18,480
344
00:12:18,480 –> 00:12:20,240
اگر از این قاب داده در یک
345
00:12:20,240 –> 00:12:22,160
تابع ابزار geoanalytics استفاده کنید، ابزارهای geoanalytics
346
00:12:22,160 –> 00:12:23,680
به دنبال آن خواهند بود، همانطور که می بینید این یک لایه نقطه است،
347
00:12:23,680 –> 00:12:26,880
بنابراین هندسه دارای یک لایه است. x و y
348
00:12:26,880 –> 00:12:28,800
و سپس شمارش چاپ شد و
349
00:12:28,800 –> 00:12:31,200
ما حدود 680
350
00:12:31,200 –> 00:12:34,399
000 درخت در شهر نیویورک داریم،
351
00:12:34,399 –> 00:12:36,320
بنابراین اکنون می دانیم که می توانیم داده ها را بخوانیم،
352
00:12:36,320 –> 00:12:37,760
اما در مورد
353
00:12:37,760 –> 00:12:42,480
بازنویسی فریم های داده به سازمان arcgis
354
00:12:42,480 –> 00:12:44,800
در این تابع، من یک بار دیگر به آن خواهم پرداخت.
355
00:12:44,800 –> 00:12:48,000
در مجموعه دادههای سرشماری درختی بخوانم
356
00:12:48,000 –> 00:12:50,800
و سپس وقتی چارچوب داده را از
357
00:12:50,800 –> 00:12:51,279
خواندن
358
00:12:51,279 –> 00:12:52,639
دریافت میکنم، وقتی چارچوب داده را دریافت میکنم،
359
00:12:52,639 –> 00:12:55,600
فقط از برخی عملیات داخلی sql استفاده
360
00:12:55,600 –> 00:12:57,760
میکنم، همه درختهایی را که سالم هستند فیلتر میکنم.
361
00:12:57,760 –> 00:12:59,200
362
00:12:59,200 –> 00:13:01,680
منافذ و سپس من قصد دارم انجام دهم گروهی
363
00:13:01,680 –> 00:13:03,360
را با تعداد درختان با
364
00:13:03,360 –> 00:13:05,040
سلامت ضعیف
365
00:13:05,040 –> 00:13:08,480
برای هر گونه درختی شمارش
366
00:13:09,200 –> 00:13:10,959
کنید که یک قاب داده
367
00:13:10,959 –> 00:13:12,720
را برمیگرداند که سپس آن را به شرکت arcgis مینویسم
368
00:13:12,720 –> 00:13:14,720
369
00:13:14,720 –> 00:13:16,399
و برای انجام این کار، right
370
00:13:16,399 –> 00:13:19,200
save و یکبار فراخوانی میکنم. دو
371
00:13:19,200 –> 00:13:22,240
این فرمت web gis را مشخص کنید تا اسپارک
372
00:13:22,240 –> 00:13:23,680
بداند از
373
00:13:23,680 –> 00:13:24,959
ویژگی نویسنده سرویسی
374
00:13:24,959 –> 00:13:28,160
که در این محیط قرار داده ایم استفاده کند،
375
00:13:28,240 –> 00:13:31,200
بنابراین اگر این را اجرا
376
00:13:31,440 –> 00:13:33,839
کنم، کار به سرور geoanalytics من ارسال می شود
377
00:13:33,839 –> 00:13:34,639
378
00:13:34,639 –> 00:13:36,480
و این اسکریپت را اجرا می کند و
379
00:13:36,480 –> 00:13:38,320
تعداد آنها را می شمارد. درختان
380
00:13:38,320 –> 00:13:41,680
و سپس اگر به محتویات پورتال من
381
00:13:41,680 –> 00:13:42,480
382
00:13:42,480 –> 00:13:45,360
برویم، باید ببینیم که لایه بعد
383
00:13:45,360 –> 00:13:46,839
از
384
00:13:46,839 –> 00:13:50,560
نوشته شدن
385
00:13:53,920 –> 00:13:56,959
در اینجا ظاهر می شود، بنابراین در اینجا تعداد درختان آمده است
386
00:14:01,760 –> 00:14:04,480
و می توانید ببینید که
387
00:14:05,920 –> 00:14:08,079
افرای نروژی بیشترین درختان بیمار
388
00:14:08,079 –> 00:14:09,760
را دارد، به نظر می رسد مطمئن نیستم
389
00:14:09,760 –> 00:14:12,639
روند وجود دارد. اوه این به
390
00:14:12,639 –> 00:14:14,079
شما نشان میدهد که چگونه
391
00:14:14,079 –> 00:14:16,480
به راحتی یک قاب داده را به یک
392
00:14:16,480 –> 00:14:18,240
سرویس ویژگی
393
00:14:18,240 –> 00:14:21,760
با آیتم پورتال خود تبدیل کنید و واقعاً
394
00:14:21,760 –> 00:14:23,440
میدانید که فریمهای داده را با سیستم اطلاعات خود ادغام میکنید،
395
00:14:23,440 –> 00:14:25,600
396
00:14:25,600 –> 00:14:26,959
بنابراین در مورد انجام
397
00:14:26,959 –> 00:14:30,000
تجزیه و تحلیل بر روی این فریمهای داده
398
00:14:30,000 –> 00:14:32,480
به شما نشان میدهم که چگونه
399
00:14:32,480 –> 00:14:34,240
استفاده مفاهیمی را که مایک
400
00:14:34,240 –> 00:14:36,079
قبلا توضیح داد، جایی که میتوانید
401
00:14:36,079 –> 00:14:38,399
عملکردهای تجزیه و تحلیل خط لوله را انجام دهید و هرگز
402
00:14:38,399 –> 00:14:40,240
یک نتیجه میانی ایجاد نکنید،
403
00:14:40,240 –> 00:14:43,279
من تراکم
404
00:14:43,279 –> 00:14:45,440
درختان مرده را در نیویورک محاسبه میکنم و سپس
405
00:14:45,440 –> 00:14:46,560
نتیجه را
406
00:14:46,560 –> 00:14:50,480
به منهتن میبرم تا
407
00:14:50,480 –> 00:14:53,760
خروجی خوبی برای تجسم آن به دست آوریم. برای انجام این
408
00:14:53,760 –> 00:14:55,839
کار، ابتدا در
409
00:14:55,839 –> 00:14:57,680
آن لایه سرشماری درختی میخوانم، همچنین میخواهم
410
00:14:57,680 –> 00:14:59,760
در یک
411
00:14:59,760 –> 00:15:03,600
لایه چندضلعی از مرزهای حفرهها در شهر نیویورک بخوانم،
412
00:15:03,600 –> 00:15:05,519
بنابراین کاری که میخواهم با هر دوی
413
00:15:05,519 –> 00:15:07,959
این لایهها انجام دهم این است که ابتدا آنها را طراحی کنم. با
414
00:15:07,959 –> 00:15:10,000
geoanalytics.project
415
00:15:10,000 –> 00:15:12,079
که یک ابزار geoanalytics مستقل نیست
416
00:15:12,079 –> 00:15:14,639
اما در اینجا فقط برای
417
00:15:14,639 –> 00:15:16,560
کمک به تولید خارج از تجزیه
418
00:15:16,560 –> 00:15:18,079
419
00:15:18,079 –> 00:15:20,480
و تحلیل گنجانده شده است و سپس من می خواهم چگالی را
420
00:15:20,480 –> 00:15:21,839
در
421
00:15:21,839 –> 00:15:24,800
چارچوب داده های بررسی درختی محاسبه