一款分布式爬虫管理平台,支持多种语言和框架

大家好,我是 Java陈序员

今天,给大家介绍一个分布式的爬虫平台,支持多种编程语言、框架!

关注微信公众号:【Java陈序员】,获取开源项目分享、AI副业分享、超200本经典计算机电子书籍等。

项目介绍

Crawlab —— 一个基于 Golang 的分布式爬虫管理平台,支持PythonNodeJSGoJavaPHP 等多种编程语言以及多种爬虫框架。

主要功能:

项目截图

登录页

主页

节点

项目

爬虫

任务

插件

快速上手

最快安装 Crawlab 的方式是 Docker.推荐使用 Docker Compose.

1、创建配置文件并命名为 docker-compose.yml

version: '3.3'
services:
  master:
    image: crawlabteam/crawlab
    container_name: crawlab_master
    environment:
      CRAWLAB_NODE_MASTER: "Y"
      CRAWLAB_MONGO_HOST: "mongo"
    ports:
      - "8080:8080"
    depends_on:
      - mongo
  mongo:
    image: mongo:4.2

2、一键启动 Crawlab

docker-compose up -d

3、浏览器访问

http://IP:8080

这是最小化配置的 Crawlab,支持体验大多数功能,但是不建议在生产环境中配置,生产环境部署 Crawlab 可参考官方文档。

Crawlab 适用于网路爬虫工程师、运维工程师、数据分析师等,是一款功能强大的爬虫平台!更多的使用功能,可自行部署体验~

项目地址:https://github.com/crawlab-team/crawlab
在线体验:https://demo.crawlab.cn/#/home
在线文档:https://docs.crawlab.cn/zh/guide/

最后

推荐的开源项目已经收录到 GitHub 项目,欢迎 Star

https://github.com/chenyl8848/great-open-source-project

或者访问网站,进行在线浏览:

https://chencoding.top:8090/#/

大家的点赞、收藏和评论都是对作者的支持,如文章对你有帮助还请点赞转发支持下,谢谢!

热门相关:小姐   神话版三国   婚婚欲醉:腹黑老公萌宠妻   原来你喜欢我呀   以权谋妻