平台简介
Crawlab是一款功能强大的网络爬虫管理平台(WCMP)，支持多种编程语言（包括 Python、Go、Node.js、Java、C#）和爬虫框架（如 Scrapy、Colly、Selenium、Puppeteer）开发的爬虫任务。
此外，Crawlab还提供了完善的爬虫任务调度、执行和监控功能，十分适用于那些对可溯性、可扩展性和稳定性有严格要求的生产环境，帮助使用者更全面管理爬虫任务的全生命周期。
工作原理
Crawlab作为一款分布式系统，主要由几个模块组成即：主节点，工作节点， 数据库，文件系统 以及 前端。每个模块（目前除了节点）都具有可扩展性， 因此整个分布式系统能够被灵活扩展以支持高性能需求。
例如，爬虫抓取任务被分配到工作节点集群，然后工作节点集群可以根据资源需求的变化来调整节点数量。
主节点是Crawlab分布式系统中的中心部分，主要负责管理工作节点、派发爬虫任务、以及接受发送信息给工作节点。
工作节点的主要负责任务执行，它从主节点接收爬虫任务并执行目标网站抓取爬虫程序。因此，您可以将工作节点看作执行器。它们并不会处理 API 请求、任务派发、以及其他主节点上的功能。
主节点通过高性能的RPC框架gRPC和工作节点进行通信
谁能使用
Crawlab设计的初心就是想要让人人都能爬虫，体系化低管理大量爬虫时出现的各类问题。
网络爬虫工程师： 通过集成爬虫程序到Crawlab，您可以聚焦于爬虫的核心解析逻辑，从而避免浪费过多时间在开发通用模块上，例如任务队列、存储、日志、消息通知等。
运维工程师： Crawlab对于运维工程师来说最大的好处是部署便利（对于爬虫程序和 Crawlab 本身）。Crawlab支持Docker或Kubernetes一键安装。
数据分析师： 数据分析师如果能写代码（例如 Python），则可以开发爬虫程序（例如 Scrapy）然后上传到 Crawlab，然后就可以把所有脏活累活交给Crawlab，它能够自动帮您抓取数据。
人人都能用： 准确地说，任何人都能够享受 Crawlab 自动化带来的便利。虽然 Crawlab 尤其擅长执行网络爬虫任务，但它不仅限于此，它能够被用来运行其他类型的任务，例如数据处理和自动化。
平台特点
1、自定义爬虫管理： 用户可以自定义爬虫以针对特定数据，满足各种需求和应用，从市场研究到竞争分析。
2、在线编辑器： 集成了文件编辑器，提供了一个用户友好的界面，用户可以直接在Crawlab中创建、修改和管理爬虫脚本和其他文件。
3、任务日志： 提供日志让用户对爬虫性能有详细洞察，有助于故障排除和确保平稳运行。
4、结果可视： 提供了一个集中式平台来管理提取的数据，使其易于组织、访问和分析。
5、性能可控： 跟踪实时性能指标，识别瓶颈，并优化操作以实现最佳性能。内置直观的仪表板展示了全面的概述，让您能够迅速做出数据驱动的决策，提高整体生产力。
6、依赖管理： 平台保障了项目的各个组件之间实现无缝集成和协调。它会自动管理和更新依赖项，减少手动监督，并将冲突或错误的风险降至最低。
7、定时任务： 可自动化常规任务并设置定定制化时间表，提高运营效率。在保持对关键操作的控制的同时，享受自动化的自由，最终提高生产力和一致性。
主要功能
功能展示
Crawlab操作爬虫的典型流程：
依赖管理
监控指标
权限管理
数据源
消息通知
软件获取
关注后 到个人主页置顶的 微头条 获取！
写在最后
+优质开源项目更新进度：/。如需更多类型优质项目推荐，请在文章后留言。