加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 移动互联 > 正文

如何使用Photon高效率提取网站数据

发布时间:2018-08-18 01:53:06 所属栏目:移动互联 来源:佚名
导读:技术沙龙 | 邀您于8月25日与国美/AWS/转转三位专家共同探讨小程序电商实战 Photon是一种高效率的的网络爬虫,可从目标中提取URL,文件以及各类情报。其通过多线程大大加快数据提取进程。 项目地址: https://github.com/s0md3v/Photon 主要特点 Photon提供

选项 –exclude,使用示例:

  1. python photon.py -u "http://example.com" --exclude="/blog/20[17|18]" 

匹配指定正则表达式的网址将不会被抓取及显示在结果中。

指定子url

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读