Python爬虫工具篇 – 必会用的6款Chrome插件
编辑:浏览器知识来源:千锋python学院
在日常 PC 端的Python爬虫过程工作中,Chrome 浏览器是我们常用的一款工具。
鉴于 Chrome 浏览器的强大,Chrome 网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫。
今天推荐的 6 款 Chrome 插件,可以大大提升我们的爬虫效率。
EditThisCookie
可以将登录后的 Cookies 先保存到本地,借助 cookielib 库,直接爬取登录后的数据。
避免了抓包和模拟登录,帮助我们快速地进行爬虫。
Web Scraper
操作简单,只需要鼠标点击和简单的配置,就能快速的爬取 Web 端的数据。它支持复杂的网站结构,数据支持文本、连接、数据块、下拉加载数据块等各种数据类型。
此外,还能将爬取的数据导出到 CSV 文件中。
Xpath Helper
它可以快速地定位网页元素。
对比 Beautiful Soup,由于 Xpath 网页元素查找性能更有优势;Xpath 相比正则表达式编写起来更方便。
编写 Xpath 之后会实时显示匹配的数目和对应的位置,方便我们判断语句是否编写正确。
Toggle JavaScript
使用它可以快速在容许加载 JS 、禁止加载 JS 两种模式中切换。
User-Agent Switcher for Chrome
可以模拟不同的浏览器、客户端,包含 Android、IOS 去模拟请求。
对于一些特殊网站,切换 User-Agent 可以更方便地进行数据爬取。
JSON-handle
它以简单清晰的树形图样式展现 JSON 文档,并可实时编辑。
针对数据量大的场景,可以做局部选取分析。
文章TAG:python 爬虫 工具 chrome Python爬虫工具篇 必会用的6款Chrome插件加载全部内容