公司头条

工作日志工作日志
关注: 0贴子:231 排名: 19 
0 回复贴,43 次查看
<返回列表

2019/1/17 解决querylist爬虫遇到的https问题

72

主题

72

帖子

362

积分

实习版主

Rank: 7Rank: 7Rank: 7

积分
362
发表于 2019-1-18 18:59:44
1.解决querylist的访问https域名会报出错误60,原因是因为curl的option中没把无视ssl安全证书关闭,在option中加入一个CURLOPT_SSL_VERIFYPEER,这样就能访问
2.querylist爬虫百度搜索引擎的排名,遇到带有https的域名无法爬取结果,应该在爬取百度的时候curl的option中加入一个CURLOPT_USERAGENT,设置一个user-agent,让https的网站以为这是用户请求,就不会拦截掉你的访问ip,从而进行爬取百度排名。
回复

使用道具 举报

快速回帖 使用高级回帖 (可批量传图、还有插入视频等功能哦!)

您需要登录后才可以回帖 登录 | 立即注册

©2001-2018 公司头条 https://www.ewxf.com中国互联网举报中心沪ICP备14046342号-13 本站内容均来自网络转载或网友提供,如有侵权请及时联系我们,Cxy@izhiben.CN 公安网备|网站地图 企业map 产品map 新闻map 其他map
Archiver手机版小黑屋广告合作QQ:864633495
发帖 客服 微信 手机版 举报