爬虫老司机看过来，请教个问题

最近在用Java爬知乎，买的阿布云的***。但是爬虫速度大概在一小时一万条左右，几百万的数据得几百小时啊，感觉有点慢。。请问下各位爬虫速度大概在多少？目前开更多线程速度也没提升，是不是我用的***ip池每秒ip数太少呢，目前不知道怎么优化
全部评论
我在自己的台式机i5配置上爬过微博，一天差不多是1000w个页面，你这个速度太慢了。是不是爬重复了?多线程我开了20个线程。 主要还是要爬取解析入库等各个步骤异步分开。 建议用框架爬取吧，自己写会比较慢。不过自己写技术会更提高~~
点赞 回复 分享
发布于 2017-04-28 10:47

相关推荐

12-25 14:02
老板电器_软件开发(准入职员工)
点赞 评论 收藏
分享
12-22 21:05
迅雷_X-PEP 产品星(准入职员工)
沐瞳科技内推，沐瞳科技内推码
游戏运营问题：看你以往经历没有涉及游戏，为什么想进入这行？深挖活动运营经历：评估效果会关注哪些指标？新游戏上线后，你会优先关注哪些数据？如果游戏下载量、留存、回流同时出问题，先解决哪个？平时玩什么游戏？为什么喜欢它？（建议提前准备游戏分析）你觉得《MLBB》有哪些可以改进的地方？📚 高频考点整理▪️ 游戏运营理解：内容搭建、版本迭代、用户/渠道运营、数据分析缺一不可。▪️ 数据指标：留存率、ARPU、付费率、活跃玩家分析是核心。▪️ 新手引导设计：简洁提示+适当奖励+难度梯度是关键。▪️ 活动策划：节日活动、社区互动、召回机制都能提升在线人数。🔍 行业工具推荐数据分析常用：七麦、蝉大师、S...
点赞 评论 收藏
分享
11-11 21:37
字节跳动_Seed_项目经理
字节开奖了
这下子要离开鹅了😭😭
给🐭🐭个面试机会...：我擦seed✌🏻
点赞 评论 收藏
分享
12-24 18:45
北京邮电大学 算法工程师
点赞 评论 收藏
分享
评论
点赞
5
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 牛客2025仙途报告 #
10905次浏览 220人参与
# 我们是不是被“优绩主义”绑架了？ #
1256次浏览 53人参与
# 2025年终总结 #
190678次浏览 3203人参与
# 找工作，行业重要还是岗位重要？ #
86915次浏览 1736人参与
# 你面试体验感最差/最好的公司 #
27477次浏览 455人参与
# 今年你最想重开的一场面试是？ #
10470次浏览 119人参与
# 礼物开箱Plog #
2886次浏览 99人参与
# 为了秋招你都做了哪些准备？ #
29491次浏览 524人参与
# 一人说一个提前实习的好处 #
19770次浏览 287人参与
# 秋招落幕，你是He or Be #
20961次浏览 362人参与
# 机械人晒出你的简历 #
147857次浏览 883人参与
# 重来一次，你会对开始求职的自己说 #
9438次浏览 234人参与
# 工作中听到最受打击的一句话 #
11619次浏览 169人参与
# 实习没事做是福还是祸？ #
22403次浏览 328人参与
# 工作两年，想和老板谈涨薪怎么说 #
39088次浏览 176人参与
# 离家近房租贵VS离家远但房租低，怎么选 #
13915次浏览 130人参与
# 25届暑期实习 #
1039207次浏览 20592人参与
# 实习的内耗时刻 #
212618次浏览 1579人参与
# 拿到offer之后，可以做些什么 #
81383次浏览 431人参与
# 这些公司卡简历很严格 #
82634次浏览 375人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务