全球人工智能
文章来源：GitHub 作者：modm 翻译：张智伟
文章投稿：news@top25.cn
SpiderKeeper：针对爬虫服务的可升级管理界面
项目特点：
通过主控面板来管理爬虫。调度爬虫以使爬虫服务运行过程自动化
通过点击鼠标就能完成scrapy的部署
可以显示爬虫的运行统计数据
提供api
当前支持的爬虫服务：
Scrapy（使用scrapyd部署）（https://github.com/scrapy/scrapy）
如何开始搭建？
安装：
部署：
使用方法：
待开发功能：
支持过滤的作业控制面板
用户验证
收集&显示scrapy的爬取统计
优化负载均衡过程
版本管理：
我们使用SemVer（https://semver.org/）来进行版本控制。对于可获取的版本，查看此库的标签（https://github.com/DormyMo/SpiderKeeper/tags）。
GitHub资源：https://github.com/DormyMo/SpiderKeeper
AIJob社是《全球人工智能》旗下专门为AI开发工程师免费服务的求职平台。我们将竭尽全力帮助每一个ai工程师对接自己喜欢的企业，推荐给你喜欢的直接领导，帮你谈一个最好的薪资待遇。
微信咨询：aihr007简历投递:hr@top25.cn企业合作:job@top25.cn
《全球人工智能》招聘5名兼职翻译：图像技术、语音技术、自然语言、机器学习、数据挖掘等专业技术领域，工作内容及待遇请添加工作人员微信：C691993。
热门文章推荐
重磅|微博终结者爬虫
重磅|AeroMobil首推商用飞行汽车：空陆两栖 2017年底就可预定
最新|Google新推AutoDraw，用机器学习帮你画画（附精彩视频）
重磅|读博不易！约1/3博士生面临或者潜伏有精神问题
重磅|申通快递分拣机器人效率惊人，70%工人直接下岗
最新|教育部公布2016年度440名“长江学者”入选名单：人工智能专家约占10%
重磅|DeepMind开源DL框架Sonnet：快速构建神经网络模块
本文来自作者[闵晴美]投稿，不代表调研号立场，如若转载，请注明出处：https://kydy.org.cn/miao/9858.html
评论列表（4条）
我是调研号的签约作者“闵晴美”！
希望本篇文章《【python爬虫快速入门,python爬虫最全教程】》能对你有所帮助！
本站[调研号]内容主要涵盖：调研号,生活百科,小常识,生活小窍门,百科大全,经验网
本文概览： 全球人工智能文章来源：GitHub作者：modm翻译：张智伟文章投稿：news@top25.cn SpiderKeeper：针...