Web Scraping Tutorial #5 | Complete Scrapy Project with Infinite Scroll | How To Scrape "Load More"

Опубликовано: 14 Июль 2020
на канале: Python 360

135

Part 5 of our latest Scrapy project / Web Scraping Tutorial. Getting the hidden text.

Web Scraping a large site with "infinite scroll" aka "AJAX load more".
(This is based on a real world project from Upwork).

** PART 5 of 7 **

This video covers the getting the hidden text, hidden until "click for more" is used in a browser. We get it from the json...

Yet again we can use :
res = response.xpath("//script[@type='application/ld+json']/text()").get();

This extracts json and allows us to parse the dictionary that we get from it.

Please comment, subscribe, like, as this is taking a lot of effort and the more comments/feedback the better we can tailor future videos to you.

GitHub Code
https://github.com/RGGH/Scrapy6/blob/...

Cheers,
Dr Pi.

#scrapy #infinitescroll #loadmore

Смотрите видео Web Scraping Tutorial #5 | Complete Scrapy Project with Infinite Scroll | How To Scrape "Load More" онлайн, длительностью часов минут секунд в хорошем качестве, которое загружено на канал Python 360 14 Июль 2020. Делитесь ссылкой на видео в социальных сетях, чтобы ваши подписчики и друзья так же посмотрели это видео. Данный видеоклип посмотрели 135 раз и оно понравилось 1 посетителям.

42,610

1.9 тыс