# taskpyro

**Repository Path**: taskPyroer/taskpyrodocker

## Basic Information

- **Project Name**: taskpyro
- **Description**: 爬虫管理系统,爬虫管理平台,分布式爬虫管理平台,可视化操作,完整监控,灵活的Python环境管理,,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持node环境下的js逆向代码,支持windows分布式调度
- **Primary Language**: Python
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: https://docs.taskpyro.cn/
- **GVP Project**: No

## Statistics

- **Stars**: 13
- **Forks**: 1
- **Created**: 2025-02-28
- **Last Updated**: 2025-07-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Python, Web, Selenium, playwright

## README

## TaskPyro 是什么？

TaskPyro 是一个轻量级的 Python 任务调度平台，专注于提供简单易用的任务管理和爬虫调度解决方案。它能够帮助您轻松管理和调度 Python 任务，特别适合需要定时执行的爬虫任务和数据处理任务。

> 官网文档：https://docs.taskpyro.cn/

![登录界面](https://pic1.imgdb.cn/item/686a6c9358cb8da5c8928c94.png)
![主界面](https://pic1.imgdb.cn/item/686a6bc658cb8da5c8928c41.png)


## 开发背景

在当今数字化时代，自动化数据采集和处理变得越来越重要。然而，现有的任务调度解决方案要么过于复杂，要么缺乏针对 Python 环境的特定优化。特别是许多用户的代码需要在 Windows 环境下才能更好地运行（如使用特定的 Windows API、COM 组件或依赖 Windows 特有的软件或一些浏览器自动化爬虫代码），但却缺乏合适的系统来进行统一的管理、调度和监控。TaskPyro 正是为了解决这些痛点而诞生的，旨在为 Python 开发者提供一个简单、高效、可靠的跨平台任务调度平台。

## 为什么选择TaskPyro？

- 🏢 **大型企业**：需要跨机器、跨地域的分布式任务调度管理
- 🔍 **数据工程师**：需要在多台服务器上执行大规模数据采集和处理任务
- 🕷️ **爬虫开发者**：需要管理分布在不同节点的爬虫任务集群
- 📊 **数据分析师**：需要在多个计算节点上并行执行数据分析任务
- 🛠️ **系统运维人员**：需要统一管理多台服务器的定时维护任务
- 👥 **开发团队**：需要多用户协作和权限管理的任务调度平台
- 🌐 **混合环境**：需要同时管理 Windows 和 Linux 服务器的任务调度


## 使用流程
- 部署主控节点（Docker）
- 配置分布式工作节点（Windows/Linux）（可选，不配置也可以直接本机部署任务）
- 配置Python环境和版本
- 创建项目并分发到工作节点
- 配置用户权限和访问控制
- 配置消息通知和监控告警
- 创建本机/分布式定时任务

## 核心功能

TaskPyro 专业版提供了一系列企业级功能，帮助您构建高可用的分布式任务调度系统：

- 🌐 **分布式架构**
  - 支持 Windows 和 Linux 混合节点部署
  - 无需 Docker 环境的轻量级工作节点
  - 通过 Docker 一键安装主控节点统一管理所有分布式节点
  - 跨平台任务调度和执行

- 📊 **企业级监控**
  - 系统概览：实时展示集群整体状态
  - 性能指标：CPU、内存、磁盘使用率监控
  - 任务统计：成功率、执行时间、错误分析
  - 工作节点：节点状态、资源使用、连接状态
  - 指标图表：历史趋势分析和性能报表

- 📅 **任务调度**
  - 支持 Cron 表达式定时调度
  - 自主选择节点和任务分发
  - 支持任务依赖关系配置
  - 支持一次性和周期性任务

- 🔧 **环境管理**
  - 跨节点 Python 虚拟环境管理
  - 环境配置自动同步和分发
  - 主机支持多版本 Python 环境
  - 依赖包统一管理和安装
  - 环境隔离，避免依赖冲突

- 📁 **项目管理与代码分发**
  - 项目文件自动分发到工作节点
  - 在线代码浏览和编辑功能
  - 支持多种项目类型和框架
  - 代码同步状态实时监控

- 👥 **用户权限管理**
  - 多用户角色和权限控制
  - 页面访问权限精细化配置
  - 管理员可分配用户访问范围

- 🔐 **环境变量管理**
  - 集中化环境变量配置
  - 敏感信息加密存储
  - 支持动态配置更新
  - 账号密码等敏感信息安全管理

- 🕷️ **爬虫框架支持**
  - 支持 Scrapy 等主流爬虫框架
  - 支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具
  - 提供完整的框架运行环境配置
  - 内置 Node.js 环境，支持 JS 逆向
  - 支持 PyExecJS 等常用逆向库
  - 支持 Python 与 JS 代码无缝集成

- 📈 **高级监控与告警**
  - 实时任务状态监控
  - 详细的执行日志记录
  - 任务执行统计分析
  - 支持钉钉、飞书、企业微信通知
  - 异常告警和执行结果推送
  - 性能瓶颈分析和优化建议

- 💼 **企业级特性**
  - 高可用架构设计
  - 集群扩展和缩容
  - 详细的使用文档和技术支持
  - 1.x 版本无缝升级支持

# 系统安装

## 标准版安装

> https://docs.taskpyro.cn/guide/install.html

## 专业版安装

> https://docs.taskpyro.cn/professional/install.html

# 系统运行截图

## 监控仪表盘

### 性能指标监控
专业版仪表盘提供全面的性能指标监控，实时展示系统CPU、内存、磁盘使用率等关键指标，帮助您及时发现性能瓶颈。

![专业版仪表盘-性能指标界面](https://pic1.imgdb.cn/item/686a6c8458cb8da5c8928c87.png)

### 任务统计分析
通过直观的图表展示任务执行情况，包括成功率、失败原因分析、平均执行时间等统计数据，助您全面了解任务运行状况。

![专业版仪表盘-任务统计界面](https://pic1.imgdb.cn/item/686a6c8458cb8da5c8928c88.png)

### 任务执行趋势
展示任务执行的历史趋势，帮助您分析任务执行模式和优化调度策略，提高系统整体效率。

![专业版仪表盘-任务统计界面](https://pic1.imgdb.cn/item/686a6c8458cb8da5c8928c86.png)

### 工作节点状态
实时监控所有工作节点的运行状态、资源使用情况和连接状态，确保分布式系统的稳定运行。

![专业版仪表盘-工作节点界面](https://pic1.imgdb.cn/item/686a6c8658cb8da5c8928c8a.png)

### 每日任务调度统计
按日期统计任务调度情况，展示每日任务数量、成功率和执行时间分布，帮助您了解系统负载情况。

![专业版仪表盘-每日调度任务统计界面](https://pic1.imgdb.cn/item/686a6bc558cb8da5c8928c3e.png)

### 任务日历视图
通过日历形式直观展示任务分布情况，不同颜色代表不同任务状态，方便您快速识别任务执行模式。

![专业版仪表盘-日历图界面](https://pic1.imgdb.cn/item/686a6bc558cb8da5c8928c3f.png)

### 任务详情查看
点击日历中的具体日期，可查看该天所有任务的详细执行情况，包括开始时间、结束时间、执行状态等信息。

![专业版仪表盘-点击查看一整天任务详细界面](https://pic1.imgdb.cn/item/686a6bc658cb8da5c8928c40.png)

### 24小时任务分布
展示24小时内定时任务的分布情况，帮助您了解系统在不同时段的负载情况，优化任务调度策略。

![专业版仪表盘-24小时定时任务分布界面](https://pic1.imgdb.cn/item/686a6bc658cb8da5c8928c42.png)

### 小时级任务详情
展示每小时内定时任务的详细分布，精确到分钟级别，帮助您分析任务执行的时间模式。

![专业版仪表盘-每小时定时任务详细分布界面](https://pic1.imgdb.cn/item/686a6c8258cb8da5c8928c84.png)

### 甘特图
展示24内定时任务的耗时分布，方便查看或对比每天不同任务耗时分布

![专业版仪表盘-甘特图任务耗时详细分布界面](https://pic1.imgdb.cn/item/6870cc3358cb8da5c89c96a4.png)


## 项目管理功能

### 项目总览
专业版提供强大的项目管理功能，支持多种项目类型，集中展示所有项目的状态、类型和最近更新时间，方便您快速查找和管理项目。

![专业版项目界面](https://pic1.imgdb.cn/item/686a6c9b58cb8da5c8928c9d.png)

### ZIP项目创建
支持通过上传ZIP压缩包快速创建项目，系统会自动解压并部署到指定节点，简化项目部署流程。

![新建ZIP项目界面](https://pic1.imgdb.cn/item/686a6c9258cb8da5c8928c92.png)

### GIT项目集成
支持通过Git仓库地址创建项目，自动拉取代码并部署，支持私有仓库认证，实现代码与任务平台的无缝集成。

![新建GIT项目界面](https://pic1.imgdb.cn/item/686a6c9258cb8da5c8928c91.png)

### 在线代码编辑
提供功能强大的在线代码编辑器，让您无需本地IDE即可进行代码修改和调试。

![代码在线编辑界面](https://pic1.imgdb.cn/item/686a6c9c58cb8da5c8928c9e.png)

## Python版本管理

### 多版本Python管理
TaskPyro支持在同一系统中管理多个Python版本，您可以轻松添加、删除和切换不同版本的Python解释器，满足不同项目的环境需求。

![添加Python版本界面](https://pic1.imgdb.cn/item/686a735958cb8da5c8928ec8.jpg)


## Python虚拟环境管理

### 虚拟环境总览
专业版提供全面的虚拟环境管理功能，集中展示所有环境的状态、Python版本和包数量，方便您快速查找和管理虚拟环境。

![专业版环境管理界面](https://pic1.imgdb.cn/item/686a6c9c58cb8da5c8928c9f.png)

### 环境快速创建
支持一键创建虚拟环境，可选择Python版本和预安装的依赖包，大幅简化环境配置流程，提高开发效率。

![环境创建](https://pic1.imgdb.cn/item/686a6c9158cb8da5c8928c90.png)

### 安装过程日志
提供详细的包安装日志，实时展示安装进度和可能出现的错误信息，帮助您快速定位和解决环境配置问题。

![安装日志](https://pic1.imgdb.cn/item/67c123b1d0e0a243d407a5b3.png)

### 智能镜像源配置
内置多个常用PyPI镜像源，自动选择最快的源进行包安装，支持自定义镜像源，加速依赖包的安装过程。

![智能镜像源管理](https://pic1.imgdb.cn/item/67c123b1d0e0a243d407a5b4.png)


## 任务管理

### 任务创建配置
专业版提供强大的任务创建功能，支持多种调度方式（Cron表达式、固定间隔、一次性执行），可选择执行节点、Python环境和依赖任务，满足复杂的任务调度需求。

![专业版新建任务界面](https://pic1.imgdb.cn/item/686a6c9a58cb8da5c8928c99.png)

### 任务列表管理
集中展示所有任务的状态、调度规则和最近执行情况，支持按状态、节点等条件筛选，提供批量操作功能，方便您高效管理大量任务。

![任务列表界面](https://pic1.imgdb.cn/item/686a6c9d58cb8da5c8928ca0.png)

### 执行历史记录
详细记录每个任务的历史执行情况，包括开始时间、结束时间、执行状态和耗时，帮助您分析任务执行模式和性能瓶颈。

![执行历史界面](https://pic1.imgdb.cn/item/67c1240dd0e0a243d407a5c1.png)

### 运行日志查看
提供实时的任务运行日志，支持在线查看和下载，方便您监控任务执行过程和排查问题，提高故障诊断效率。

![运行日志界面](https://pic1.imgdb.cn/item/67c1240ed0e0a243d407a5c3.png)


## 分布式节点管理

### 节点总览
集中展示所有工作节点的状态、类型和资源使用情况，支持按状态、地域等条件筛选，方便您快速了解整个分布式集群的运行状况。

![节点界面](https://pic1.imgdb.cn/item/686a6c9b58cb8da5c8928c9c.png)

### 节点添加配置
支持快速添加新的工作节点，配置节点名称、地址和认证信息，系统会自动检测节点连接状态，确保节点正常接入集群。

![添加节点](https://pic1.imgdb.cn/item/686a6bc558cb8da5c8928c3d.png)

### 微服务节点管理
TaskPyro支持微服务架构，可将不同功能部署到专用节点，提高系统可扩展性和容错能力，满足大规模分布式部署需求。

![TaskPyro微服务节点界面](https://pic1.imgdb.cn/item/686a6ca058cb8da5c8928ca2.png)

### 节点性能监控
实时监控各节点的CPU、内存、磁盘使用率等性能指标，支持历史数据查询和趋势分析，帮助您及时发现并解决性能问题。

![节点监控](https://pic1.imgdb.cn/item/686a6c8658cb8da5c8928c8a.png)


## 日志管理

### 系统日志中心
集中管理所有系统日志，包括任务执行日志、节点连接日志和系统操作日志，支持多条件筛选和全文搜索，方便您快速定位和排查问题。

![日志管理界面](https://pic1.imgdb.cn/item/686a733358cb8da5c8928eaa.jpg)

## 系统设置

### 用户管理
专业版支持多用户管理，可设置不同用户角色和权限，控制用户对系统功能和资源的访问权限，满足企业级多用户协作需求。

![用户设置界面](https://pic1.imgdb.cn/item/686a6c9f58cb8da5c8928ca1.png)

### 用户权限配置
提供精细化的权限控制功能，可为每个用户或用户组分配特定的操作权限，确保系统安全性和数据隔离性。

![用户设置界面](https://pic1.imgdb.cn/item/686a6c9258cb8da5c8928c93.png)

### 邮件通知配置
支持配置邮件服务器和通知规则，系统可在任务执行完成、出现异常等情况下自动发送邮件通知，确保您及时了解系统状态。

![邮件设置界面](https://pic1.imgdb.cn/item/686a6c8358cb8da5c8928c85.png)

### 系统信息设置
提供系统基本信息配置，包括系统名称、Logo和界面主题等，支持自定义系统外观，打造专属的任务调度平台。

![信息设置界面](https://pic1.imgdb.cn/item/686a6c9158cb8da5c8928c8f.png)

# 订阅方案

## 版本对比

TaskPyro提供三个版本，满足不同用户的需求：

| 功能/版本 | 免费版 | 标准版 | 专业版 |
| --- | :---: | :---: | :---: |
| **基础限制** | | | |
| 定时任务数量 | 5个 | 无限制 | 无限制 |
| 项目数量 | 2个 | 无限制 | 无限制 |
| 虚拟环境数量 | 2个 | 无限制 | 无限制 |
| **核心功能** | | | |
| Cron表达式调度 | ✅ | ✅ | ✅ |
| 固定间隔调度 | ✅ | ✅ | ✅ |
| 一次性任务执行 | ✅ | ✅ | ✅ |
| 任务依赖配置 | ✅ | ✅ | ✅ |
| Python多版本管理 | ✅ | ✅ | ✅ |
| 虚拟环境管理 | ✅ | ✅ | ✅ |
| **监控与通知** | | | |
| 任务状态监控 | ✅ | ✅ | ✅ |
| 执行日志记录 | ✅ | ✅ | ✅ |
| 执行统计分析 | ✅ | ✅ | ✅ |
| 钉钉/飞书/企微通知 | ✅ | ✅ | ✅ |
| 异常告警推送 | ✅ | ✅ | ✅ |
| **高级功能** | | | |
| 项目代码在线编辑 | ❌ | ❌ | ✅ |
| 多用户管理 | ✅ | ✅ | ✅ |
| 权限控制 | ❌ | ❌ | ✅ |
| 分布式架构 | ❌ | ❌ | ✅ |
| 跨平台节点部署 | ❌ | ❌ | ✅ |
| 企业级监控面板 | ❌ | ❌ | ✅ |
| 节点资源监控 | ❌ | ❌ | ✅ |
| 环境变量 | ❌ | ❌ | ✅ |
| 技术支持服务 | ❌ | ✅ | ✅ |
| 持续更新新功能 | ❌ | ❌ | ✅ |

## 价格方案

### 标准版

提供多种灵活的付费方案，满足您不同的需求：

- 半年付：86元/6个月
- 年付：129元/年
- 永久授权：688元

::: tip 重要提示
在授权有效期内，您可以享受完全无限制的功能，并且支持更换绑定的服务器。
:::

### 专业版

专业版提供更强大的分布式架构和企业级功能：

- 年付：568元/年
- 永久授权：1688元

::: tip 专业版特权
在授权有效期内，您可以享受完全无限制的功能，并且支持更换绑定的服务器；专业版也会持续更新和优化更多功能。
:::


> 以上付费均支持开发票

## 版本选择建议

- **免费版**：适合个人学习和小型项目，希望体验TaskPyro基本功能的用户
- **标准版**：适合中小型团队和企业，需要完整任务调度功能和通知机制的用户
- **专业版**：适合大型企业和组织，需要分布式架构、跨平台部署和高级监控的用户

::: warning 升级提示
您可以随时从低版本升级到高版本，会根据剩余授权时间提供对应的折扣。
:::

## 咨询方式

请添加微信：**PJ221BBB**

::: tip 备注说明
加好友时请备注：taskpyro
:::

# 学习交流

| 微信：PJ221BBB | 公众号：布鲁的Python之旅 |
|-------------|-----------------|
| ![个人微信](https://www.helloimg.com/i/2025/03/06/67c8f41cc017f.png) | ![公众号](https://www.helloimg.com/i/2025/03/06/67c8f41ca7f2a.png) |