# RocketMQ-Kettle-Plugin

**Repository Path**: three-c-platform/rocket-mq-kettle-plugin

## Basic Information

- **Project Name**: RocketMQ-Kettle-Plugin
- **Description**: 自建 rocketmq 消费者插件，kettle 流处理插件
- **Primary Language**: Java
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-07-12
- **Last Updated**: 2025-07-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

fork from https://github.com/zukaitang/Ali-RocketMQ-Kettle-Plugin （这个项目是针对阿里云-云服务rocketMq版本）
依次为基准修改为私有部署的 rocketMq 流式订阅

# RocketMQ-Kettle-Plugin
适用于私有部署的 RocketMq 服务，kettle 流式数据处理 rocketMq 插件

# 构建
使用 `mvn clean package` 构建本插件

构建完成后插件代码在 target 目录下

# 安装插件

构建完成之后，将 target 下的 RocketMQKettlePlugin 文件夹复制到 Kettle (Pentaho Data Integration / PDI) 安装目录下的 plugins/ 文件夹中

# 说明

1. pom.xml 中的 kettle 依赖包版本号请根据自己 Kettle 的版本号进行修改，rocketmq-client 依赖包版本号请根据自己 RocketMQ 的版本号进行修改

2. kettle 9 之前的版本，Streaming 组件需要指定 Transformation (子转换)，子转换接收数据处理

3. Options 选项卡下的参数说明：

   3.1. ConsumeThreadNums 参数设置默认为 1，表示创建1个消费线程消费数据；注意：如果订阅的topic数据量非常大，不建议修  
   可能会导致背压队列溢出异常。如果需要多线程，建议使用 Batch 选项卡中设置多线程任务。

   3.2. consumeFromWhere 参数，当测试时，可以设置为 CONSUME_FROM_FIRST_OFFSET，每次重启从头消费；生产环境则不配置；