当前位置:首页>维修大全>综合>

如何通过网络爬虫获取网站相关数据(如何使用爬虫获得网上的数据)

如何通过网络爬虫获取网站相关数据(如何使用爬虫获得网上的数据)

更新时间:2024-01-12 13:14:41

如何通过网络爬虫获取网站相关数据

1、在站内寻找API入口;

2、用搜索引擎搜索“某网站API”;

3、抓包,有的网站虽然用到了ajax,但是通过抓包还是能够获取XHR里的json数据的(可用抓包工具抓包,也可以通过浏览器按F12抓包:F12-Network-F5刷新)。二、不开放API的网站1、如果网站是静态页面,那么可以用requests库发送请求,再通过HTML解析库(lxml、parsel等)来解析响应的text;解析库强烈推荐parsel,不仅语法和css选择器类似,而且速度也挺快,Scrapy用的就是它。2、如果网站是动态页面,可以先用selenium来渲染JS,再用HTML解析库来解析driver的page_source。

更多栏目