如何处理反爬？

自己做了个爬虫，每次面试都会被问到反爬的问题，但是我用的webmagic爬取的过程中没有遇到过反爬这个问题（可能爬的比较少），想问问大家怎么处理反爬的情况（爬取大量数据），除了***ip，这个貌似不稳。
全部评论
1.  明确网站是对单位时间访问量还是一段时间内访问总量做限制 2.  ip***池，轮询 3.  修改http头模拟浏览器访问 4.  从小到大逐步提高线程数目去探测网站的临界值
点赞 回复 分享
发布于 2018-05-14 23:29
这个。。百度一搜一大把的吧。。
1 回复 分享
发布于 2018-05-14 22:03
分布式爬取，设置间隔时间
点赞 回复 分享
发布于 2018-05-16 16:51
***IP 
点赞 回复 分享
发布于 2018-05-16 16:50
好像有个叫布隆过滤器的结构专门处理反爬虫
点赞 回复 分享
发布于 2018-05-16 02:08
速度不要太快啊 多线程模拟随机时间 一定不要太快了 拉别人数据还要速度 就真的。。
点赞 回复 分享
发布于 2018-05-14 23:16
常见的就是 换useragent+ip，ip验证有效过后再用，不稳定的情况具体看下，一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数，如果几天能够抓完应该也在可接受范围之内。
点赞 回复 分享
发布于 2018-05-14 22:42

相关推荐

昨天 20:32
影石Insta360_深度学习算法工程师(准入职员工)
OPPO内推，OPPO内推码
关于工作环境：base深圳前海 内部配置绝了。一整栋50层都是oppo哒，我的工位可以看到欢乐港湾和大海，零食柜自给，很感动的是每层都提供独立的隔音室，3层饭堂里，23楼是最好吃的 周边很繁华。楼下三层是大商场，午饭后我一般会和其他实习生姐妹去citywalk，好多奶茶店，茶救，奈雪 喜茶，瑞幸，奶白，煲珠公每天换着喝，好幸福 关于工作氛围 感受到相当年轻，相当扁平的氛围，我们组（销售运营部）有三个哥哥姐姐直接对接我，她们人真的很nice，笨笨的我不会时，问她们都会耐心解答~~ 关于工作内容 感觉出入还是有的，问了哥哥姐姐，他们收到五六十份简历，面了6个，最后选了我，好感动好幸运。偏大客户运营...
OPPO公司福利 1085人发布
点赞 评论 收藏
分享
今天 10:12
联想（北京）有限公司_后端开发部_JAVA开发工程师(准入职员工)
康冠科技内推，康冠科技内推码
康冠科技硬件工程师面经8.7  一面终面    只有一次面试决定是否通过1.为什么选择珠三角这个地方来工作（改开前列，经济发达地区有更多机会，也有更多的资源）2.珠三角和长三角在同等条件下，会选择哪个区域，为什么3.平时有什么兴趣爱好4.个人有什么缺点（决策不够决断，指定目标的时候有些太远，可实施性不高）5.从哪里了解到的康冠6.对STM32单片机了解的多吗，32的GPIO口在我们使用的时候，需要进行哪些初始化动作（引脚复用的上下拉电阻，代码也需要确定使用输入输出；单功能接口不需要设置）7.STM32单片机的输入输出IO口最高工作速度，大概是多少兆8.项目中使用的传感器与单片机是怎么通信的，用...
点赞 评论 收藏
分享
02-02 13:15
迅雷_后端开发工程师(准入职员工)
shein内推，shein内推码
整体的感受还是拆分四个板块吧 1.个人成长-目前业务也在快速扩张期，有很多空白板块可以继续进行搭建，所以在背靠跨境的业务的同时也是可以积累非常可视化的经验，数据分析，项目管理，团队管理，绩效达成落地方案，都是必须需要掌握的技能 2.工作氛围-没有PUA也没有精神内耗，团队偏年轻化领导接近一线业务，没有精神鸿沟的同时具有亲和力的，下班时间和同事相处十分融洽，所以从整体感受来讲会比较轻松 3.福利待遇-位置在四海城附近整体周围的基础设施还是比较齐全，附近大型商场，免费下午茶 4.思维转变-从怕犯错再到勇于去尝试，只要在shein能够有想法且方案足够落地，即使会有踩坑，环境上大家还是比较包容，且结果...
SHEIN希音公司福利 370人发布
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 在大厂上班是一种什么样的体验 #
5852次浏览 78人参与
# 机械人避雷的岗位/公司 #
41413次浏览 270人参与
# 程序员找工作至少要刷多少题？ #
10801次浏览 169人参与
# 过年最难忘的一件事 #
22897次浏览 174人参与
# 论秋招对个人心气的改变 #
6511次浏览 110人参与
# 为了减少AI幻觉，你注入过哪些设定？ #
2184次浏览 80人参与
# 牛客AI体验站 #
3955次浏览 115人参与
# 刚入职的你踩过哪些坑 #
4762次浏览 100人参与
# AI Coding的使用心得 #
2900次浏览 83人参与
# 找工作的破防时刻 #
252604次浏览 1959人参与
# 一张图晒一下你的AI员工 #
3361次浏览 79人参与
# 我现在比当时_，你想录用我吗 #
4410次浏览 73人参与
# 关于春招/暑期实习，你想知道哪些信息？ #
4747次浏览 88人参与
# 程序员能干到多少岁？ #
6269次浏览 93人参与
# 12306一秒售罄，你抢到回家的票了吗？ #
769次浏览 22人参与
# 晒晒你司的新年福利 #
4639次浏览 75人参与
# 大家实习每天都在干啥 #
119145次浏览 627人参与
# 我的工作日记 #
172817次浏览 1680人参与
# 黄金这个事上，你学到了什么 #
1051次浏览 31人参与
# 机械人你知道哪些单休企业 #
85082次浏览 427人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务