در این مطلب، ویدئو درخواست های پایتون – 1. تجزیه و تحلیل و خراش دادن با درخواست های پایتون با زیرنویس فارسی را برای دانلود قرار داده ام. شما میتوانید با پرداخت 15 هزار تومان ، این ویدیو به علاوه تمامی فیلم های سایت را دانلود کنید.اکثر فیلم های سایت به زبان انگلیسی می باشند. این ویدئو دارای زیرنویس فارسی ترجمه شده توسط هوش مصنوعی می باشد که میتوانید نمونه ای از آن را در قسمت پایانی این مطلب مشاهده کنید.
تصاویر این ویدئو:
قسمتی از زیرنویس این فیلم:
00:00:14,280 –> 00:00:17,240
سلام بچه ها چه خبر به یک
2
00:00:17,240 –> 00:00:19,850
آموزش اسکراپی در مورد نحوه استفاده از درخواست های پایتون
3
00:00:19,850 –> 00:00:24,020
و همچنین نحوه ارزیابی
4
00:00:24,020 –> 00:00:28,090
وب سایت های مبتنی بر Ajax برای اتوماسیون یا برای
5
00:00:28,090 –> 00:00:32,570
ارتباطات داده یا خراش دادن داده های
6
00:00:32,570 –> 00:00:34,640
بسیاری از اصطلاحات برای آن خوش آمدید، بنابراین آنچه ما
7
00:00:34,640 –> 00:00:36,080
در اینجا به آن نگاه خواهیم کرد این است. ما به سایت مبتنی بر Ajax نگاه می کنیم
8
00:00:36,080 –> 00:00:39,110
و در ویدیوهای قبلی من
9
00:00:39,110 –> 00:00:41,390
از وب سایت Applebees فقط به عنوان یک
10
00:00:41,390 –> 00:00:46,660
11
00:00:46,660 –> 00:00:48,680
12
00:00:48,680 –> 00:00:50,120
13
00:00:50,120 –> 00:00:53,510
مثال ساده استفاده کرده ام. ابزارهایی
14
00:00:53,510 –> 00:00:57,470
برای تجزیه و تحلیل وبسایتی که دادههای جک دارد
15
00:00:57,470 –> 00:01:01,519
که از سروری میآید که
16
00:01:01,519 –> 00:01:02,989
نمیتوانید در کد منبع آن را دریافت کنید و
17
00:01:02,989 –> 00:01:04,220
معنی آن زمانی است که راست
18
00:01:04,220 –> 00:01:06,350
کلیک میکنید و منبع صفحه وب را روی دادههای مورد نظر مشاهده
19
00:01:06,350 –> 00:01:07,850
میکنید. در واقع در
20
00:01:07,850 –> 00:01:09,680
اینجا نیست زیرا فقط در داخل مرورگر وجود دارد
21
00:01:09,680 –> 00:01:12,200
و دلیل آن این است که
22
00:01:12,200 –> 00:01:15,290
فقط در جاوا اسکریپت وجود دارد و این همان
23
00:01:15,290 –> 00:01:18,950
چیزی است که Jason است، فقط اوه
24
00:01:18,950 –> 00:01:21,770
بیشتر معمولاً با جاوا اسکریپت استفاده می شود
25
00:01:21,770 –> 00:01:27,920
و فقط یک دستور داده شبیه به XML
26
00:01:27,920 –> 00:01:29,719
b است. بسیار سبک است و می توان
27
00:01:29,719 –> 00:01:31,340
آن را با استفاده از جاوا اسکریپت خیلی
28
00:01:31,340 –> 00:01:33,079
راحت جابه جا کرد، بنابراین به هر حال من واقعاً به این فکر نکردم که
29
00:01:33,079 –> 00:01:35,659
چگونه آن را به خوبی بیان کنم، بنابراین
30
00:01:35,659 –> 00:01:37,820
به هر حال اگر گیج کننده است عذرخواهی می کنم،
31
00:01:37,820 –> 00:01:39,829
اما من به آنچه در اینجا صحبت می کنم می پردازم
32
00:01:39,829 –> 00:01:41,359
بلافاصله
33
00:01:41,359 –> 00:01:43,249
وقتی عنصری را در این صفحه بررسی
34
00:01:43,249 –> 00:01:44,899
می کنیم، چیزی که قرار است به آن نگاه کنیم،
35
00:01:44,899 –> 00:01:46,640
مکان است، بنابراین روی مکان کلیک کنید و می
36
00:01:46,640 –> 00:01:48,100
توانید ببینید که در واقع نزدیکترین محلی
37
00:01:48,100 –> 00:01:51,200
را به جایی که من در آن هستم می گیرد، این کار را
38
00:01:51,200 –> 00:01:53,499
بر اساس موقعیت جغرافیایی من انجام می دهد
39
00:01:53,499 –> 00:01:56,990
و این کار را به صورت خودکار انجام میدهد، وقتی
40
00:01:56,990 –> 00:01:59,539
از Chrome استفاده میکنید، یک پانل شبکه وجود دارد،
41
00:01:59,539 –> 00:02:01,399
وقتی روی عنصر راست کلیک میکنید و
42
00:02:01,399 –> 00:02:04,189
اینجا را بررسی میکنید، میتوانید روی شبکه کلیک کنید
43
00:02:04,189 –> 00:02:06,409
و این
44
00:02:06,409 –> 00:02:07,639
دکمه قرمز کوچک اینجا به این معنی است که
45
00:02:07,639 –> 00:02:09,288
همه درخواستهایی را که خارج میشوند ضبط
46
00:02:09,288 –> 00:02:11,000
میکند. و سپس می توانید بر اساس دریافت و
47
00:02:11,000 –> 00:02:13,100
پست و وضعیت پاسخ و
48
00:02:13,100 –> 00:02:14,900
هر چیزی که می توانید روی این
49
00:02:14,900 –> 00:02:16,340
دکمه کوچک Clear کلیک کنید مرتب کنید و
50
00:02:16,340 –> 00:02:17,300
همه چیزهایی را که
51
00:02:17,300 –> 00:02:22,400
اکنون می خواهید انجام دهید حذف می کند وقتی ما یک کد پستی
52
00:02:22,400 –> 00:02:24,680
در اینجا انجام می دهیم. مکان I میتوانم یک
53
00:02:24,680 –> 00:02:26,330
مکان را همین الان وارد کنم، بنابراین من ادامه میدهم و
54
00:02:26,330 –> 00:02:28,910
یک آدرس میدهم، بنابراین میگویم دو دو،
55
00:02:28,910 –> 00:02:29,810
یک هفت،
56
00:02:29,810 –> 00:02:33,040
من فقط این را میدانم یا کد پستی خوبی دارم یا نه،
57
00:02:33,040 –> 00:02:36,200
و دو و یک هفت کمی خوب، فکر
58
00:02:36,200 –> 00:02:36,800
میکنم این مرلین است،
59
00:02:36,800 –> 00:02:39,620
بله، مرلین اشکالی ندارد. بنابراین میتوانید ببینید
60
00:02:39,620 –> 00:02:42,500
که بسیاری از درخواستها ارسال شده
61
00:02:42,500 –> 00:02:44,390
و همه چیز ارسال شده است، اما وقتی به این نگاه
62
00:02:44,390 –> 00:02:46,280
میکنیم وقتی راست کلیک میکنیم و میگوییم
63
00:02:46,280 –> 00:02:47,989
عنصر را بازرسی میکنیم، میبینید که کد پستی
64
00:02:47,989 –> 00:02:49,580
و همه چیز وجود دارد و میتوانید ببینید
65
00:02:49,580 –> 00:02:50,840
که مرورگر را ارسال میکند. مثل
66
00:02:50,840 –> 00:02:52,220
اینکه داخل کد منبع باشد، اما
67
00:02:52,220 –> 00:02:54,560
وقتی منبع صفحه را مشاهده میکنید و ما
68
00:02:54,560 –> 00:02:58,940
کد پستی را جستجو میکنیم، میبینید که در
69
00:02:58,940 –> 00:03:01,040
واقع
70
00:03:01,040 –> 00:03:05,540
بر اساس موقعیت مکانی من در کد پستی پاییز قرار میگیرد، اما
71
00:03:05,540 –> 00:03:07,010
دادههای فردریک مریلند که همین الان
72
00:03:07,010 –> 00:03:09,080
جستجو کردیم، وجود ندارد. در منبع وجود داشته باشد،
73
00:03:09,080 –> 00:03:10,760
بنابراین شما نمی توانید از چیزی مانند
74
00:03:10,760 –> 00:03:12,739
Python beautifulsoup استفاده کنید
75
00:03:12,739 –> 00:03:16,310
تا فقط موقعیت Appleby را
76
00:03:16,310 –> 00:03:18,769
بگیرید و داده ها را پس بگیرید، باید کارهای بیشتری انجام دهید
77
00:03:18,769 –> 00:03:20,150
و به همین دلیل است که ما از درخواست های Python استفاده می کنیم تا
78
00:03:20,150 –> 00:03:21,920
79
00:03:21,920 –> 00:03:23,750
آنچه شما نیاز دارید را ارزیابی کنیم. انجام دادن به این نوع
80
00:03:23,750 –> 00:03:25,489
دادهها را دریافت کنید که بازگردانده میشوند و
81
00:03:25,489 –> 00:03:26,930
در مرورگر شماره یک وجود دارد، میتوانید
82
00:03:26,930 –> 00:03:29,660
از سلنیوم استفاده کنید، اما سلنیوم کند است و من
83
00:03:29,660 –> 00:03:31,310
ویدیوهایی دارم که به شما نشان میدهد چگونه این کار را
84
00:03:31,310 –> 00:03:32,750
با سلنیوم انجام دهید تا بتوانید در واقع ببینید
85
00:03:32,750 –> 00:03:34,489
چه اتفاقی میافتد و دادههای بیرون را میگیرد.
86
00:03:34,489 –> 00:03:35,930
مرورگر عالی کار میکند، اما اگر
87
00:03:35,930 –> 00:03:37,700
برای گرفتن سریع دادهها به آن نیاز دارید،
88
00:03:37,700 –> 00:03:41,510
خوب نیست، بنابراین وقتی به
89
00:03:41,510 –> 00:03:43,940
پنل شبکه میرویم و مطمئن میشویم دکمه قرمز کوچک روشن
90
00:03:43,940 –> 00:03:45,799
است تا در حال ضبط باشیم و
91
00:03:45,799 –> 00:03:48,019
اگر ادامه دهم و میخواهم این کار را دوباره انجام دهید،
92
00:03:48,019 –> 00:03:49,730
این را فشار دهید، میتوانید ببینید
93
00:03:49,730 –> 00:03:51,769
که درخواستهایی که در حال انجام هستند
94
00:03:51,769 –> 00:03:54,260
را بر اساس روش در اینجا مرتب میکنم تا
95
00:03:54,260 –> 00:03:56,840
بتوانم درخواست پست را در بالا دریافت کنم زیرا
96
00:03:56,840 –> 00:03:58,870
این همان چیزی است که من در اینجا به دنبال آن هستم و
97
00:03:58,870 –> 00:04:00,980
وقتی به این موارد نگاه میکنید. چیزهایی که میتوانید
98
00:04:00,980 –> 00:04:03,319
روی هر یک از آنها کلیک کنید موقعیت مکانی را دریافت
99
00:04:03,319 –> 00:04:06,769
کنید که میبینید وضعیتی است که به 200 برمیگردد،
100
00:04:06,769 –> 00:04:08,420
میتوانید دادههای پاسخ را ببینید
101
00:04:08,420 –> 00:04:12,370
که نزدیکترین Appleby یا نزدیکترین
102
00:04:12,370 –> 00:04:14,930
شهر به آن کد پستی را میگیرد، در
103
00:04:14,930 –> 00:04:17,510
واقع طول و عرض جغرافیایی را با
104
00:04:17,510 –> 00:04:20,060
کد پستی دریافت میکند. به طوری که آن راه می تواند ت مرغ از
105
00:04:20,060 –> 00:04:21,500
طول و عرض جغرافیایی استفاده می کند تا تمام
106
00:04:21,500 –> 00:04:24,830
رستوران های اطراف را دریافت کند و به
107
00:04:24,830 –> 00:04:26,389
همین دلیل است که فردریک مریلند را
108
00:04:26,389 –> 00:04:29,120
نزدیک به کد پستی دو یک هفت هفت یک
109
00:04:29,120 –> 00:04:32,060
می داند، بنابراین می توانید اینجا را ببینید که کوه
110
00:04:32,060 –> 00:04:35,060
ایری مریلند است، اما مکانی که
111
00:04:35,060 –> 00:04:36,289
باز می گردد فردریک است زیرا
112
00:04:36,289 –> 00:04:37,669
بدیهی است که در Mount Airy وجود ندارد،
113
00:04:37,669 –> 00:04:39,169
آنها اساساً گفتند باشه اجازه دهید
114
00:04:39,169 –> 00:04:40,940
طول جغرافیایی را از زیپ دریافت کنم و سپس
115
00:04:40,940 –> 00:04:42,020
ما ادامه می دهیم و این
116
00:04:42,020 –> 00:04:43,370
مکان را دریافت با پرش صدا
117
00:04:43,370 –> 00:04:45,110
می زنیم، بنابراین اگر طول و عرض جغرافیایی را از
118
00:04:45,110 –> 00:04:48,980
قبل داشته باشیم، می خواهیم چه کاری انجام دهیم. یک درخواست
119
00:04:48,980 –> 00:04:53,570
این است که ادامه دهید و با تعادل تماس بگیرید،
120
00:04:53,570 –> 00:04:55,250
بنابراین این نشانی اینترنتی است که ما در
121
00:04:55,250 –> 00:04:59,120
واقع به دنبال برقراری ارتباط با آن
122
00:04:59,120 –> 00:05:02,210
هستیم، بنابراین وقتی به اینجا میآییم، چیزی که میخواهیم
123
00:05:02,210 –> 00:05:05,960
استفاده کنیم ابزاری است مانند fiddler و فقط
124
00:05:05,960 –> 00:05:07,729
fiddler را دانلود کنید، این یک برنامه رایگان است.
125
00:05:07,729 –> 00:05:10,490
این به شما امکان می دهد
126
00:05:10,490 –> 00:05:12,320
بدون استفاده از
127
00:05:12,320 –> 00:05:14,150
چیزی مانند درخواست های پایتون به راحتی این درخواست های um را انجام دهید زیرا
128
00:05:14,150 –> 00:05:15,740
می توانید مشاهده کنید که داده ها برمی گردند و
129
00:05:15,740 –> 00:05:17,840
هر چیزی که خوب است اجازه دهید من ادامه دهم
130
00:05:17,840 –> 00:05:19,340
و همه این موارد را پاک کنم. پس من آن را حذف
131
00:05:19,340 –> 00:05:21,470
می کنم، وقتی صفحه کمانچه
132
00:05:21,470 –> 00:05:22,310
داری دارید، می خواهید به
133
00:05:22,310 –> 00:05:26,900
آهنگساز بروید و سپس روی نوشتن کلیک کنید
134
00:05:26,900 –> 00:05:28,280
و در واقع احتمالاً به
135
00:05:28,280 –> 00:05:31,490
صورت پیش فرض دریافت خواهد شد، اما اینجا URL
136
00:05:31,490 –> 00:05:33,410
مربوط به آن مکان دروازه است. با محدودیت هایی که
137
00:05:33,410 –> 00:05:35,570
در مورد آن صحبت می کردیم که دقیقاً در اینجا است،
138
00:05:35,570 –> 00:05:37,930
بنابراین ما می توانیم آدرس پیوند را کپی کنیم
139
00:05:37,930 –> 00:05:43,010
و شما فقط آن را در
140
00:05:43,010 –> 00:05:44,930
اینجا بچسبانید، اکنون یک درخواست پست است، بنابراین
141
00:05:44,930 –> 00:05:47,720
آن را تغییر دهید تا اکنون سرصفحه های درخواست را ارسال
142
00:05:47,720 –> 00:05:49,130
کنید که در واقع آن را دریافت خواهید کرد.
143
00:05:49,130 –> 00:05:50,930
هنگامی که روی آن کلیک می کنیم و
144
00:05:50,930 –> 00:05:54,100
به سرفصل ها می رویم، یکی از چیزهای مهم شما
145
00:05:54,100 –> 00:05:56,060
وقتی به این نگاه می کنیم، می بینید که
146
00:05:56,060 –> 00:05:58,430
در حال جمع کردن داده های فرم است، به این معنی
147
00:05:58,430 –> 00:05:59,870
که ما باید در واقع این
148
00:05:59,870 –> 00:06:04,370
نوع محتوا را درج کنیم که می گوید این یک
149
00:06:04,370 –> 00:06:08,539
داده رمزگذاری شده با فرم است، بنابراین فرم URL کدگذاری شده است، بنابراین
150
00:06:08,539 –> 00:06:09,620
میخواهیم آن را کپی
151
00:06:09,620 –> 00:06:14,169
کنیم و میخواهیم آن را در
152
00:06:14,169 –> 00:06:21,110
سرفصلهای درخواست Fiddler در اینجا قرار دهیم و اکنون
153
00:06:21,110 –> 00:06:23,000
بدنه درخواست مانند خوب است، خوب چگونه
154
00:06:23,000 –> 00:06:26,599
این دادهها را به امتداد ارسال کنیم، بنابراین
155
00:06:26,599 –> 00:06:28,580
باید طول و عرض جغرافیایی و طول و عرض جغرافیایی را داشته باشیم.
156
00:06:28,580 –> 00:06:31,280
شما حدود n ببینید که از قبل
157
00:06:31,280 –> 00:06:33,500
بر اساس موقعیت مکانی برای ما ساخته شده است، بنابراین
158
00:06:33,50