3款你必须知道的爬虫工具

JSON-handle1.解读:我们前面提到过,当客户端向服务器端提出ajax异步请求(比如xhr)时,会在响应里返回json格式的数据。在开发者工具中,我们会看到json格式数据的可视化效果很差,就是一段冗长的字符串,难以直接看出关键信息。那么为了直接有效的找到关键信息,JSON-handle工具会将繁杂的json格式数据变成简单清晰的树状图,极大的提高可视化效果。2.使用说明:方法很简单,如果你已经安装好了小工具,点开图标弹出框框,把json数据复制进去即可。3.实例:就以天猫网站为例,随便找出一个异步的请求,response是下面这样的。jsonp_({:{data:[{_pos_:1,entityType:13,acm:..1.,title:Apple/苹果iPhoneX全网通4G智能手机苹果10苹果X,typ.......把代码放进框框里,点击OK,就变成下面这样了数(据比较长,只截取一部分)。User-AgentSwitcher1.解读:上篇解读爬虫中HTTP的秘密(基础篇)我们介绍了请求头,而这个工具就是针对请求头中的User-Agent字段的。它的作用是可以随意更换浏览器的User-Agent。比如,你用Chrome浏览器浏览网页,浏览器默认身份是Chrome,但是你可以通过这个工具更换成其它任何身份。这个最大的好处就是可以直接更换成手机身份浏览网页,而不必用开发者工具来回切换。2.使用说明:使用Chrome浏览器安装插件,点开图标,选择你需要的身份即可。3.实例:(默认Chrome浏览器是这样的)(变换为IOS-iphone6)Xpath-Helper1.解读:针对Xpath解析方法,Xpath-Helper可提供当前网页指定Xpath语句的查询结果。2.使用说明:点开图标,出现黑色框框。QUERY:Xpath语句RESULTS:查询结果3.实例:1.假设目标为


转载请注明:http://www.aierlanlan.com/rzfs/8467.html