Python爬虫bs4+WebDriver自动化控制浏览器模拟真实请求
# 前言 在前面是实战中,我们都是爬取的没有人机校验机制的网站,如果遇到有人机验证的网站是无法爬取的,具体我们在 bs4 基础上,增加 Web Driver 自动化调用浏览器模拟我们的真人请求,对内容进行爬取。 前面的内容:点击跳转 # 实战内容 爬取的网站:http://www.beqege.com/28970/ 还是笔趣阁,不过这个比起之前的有人机校验,反爬虫机制,使用之前的代码框架显然不足以满足我们的需求,只会给你返回错误。 # 给代码加入 WebDriver 使用以下代码可实现对这种人机校验简单爬取,同时加入了自动化控制浏览器的 WebDriver...
more...