# dataline

**Repository Path**: mark93/dataline

## Basic Information

- **Project Name**: dataline
- **Description**: 提供易用的框架处理自定义的ETL任务，比如以下场景：

从csv导入到kafka
从csv导入到mysql
从mysql导入到elasticSearch
..........
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2023-07-18
- **Last Updated**: 2023-08-08

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 愿景
提供易用的框架处理简单的离线ETL任务，比如以下场景：

- 从csv转换成json转发到kafka
- 从csv导入到mysql
- 从mysql导入到elasticSearch
- ..........

# QuickStart
## 概览

```mermaid
flowchart LR
	源 -->Source
	subgraph dataline
		Source --SourceRecord--> Transform
		Transform --SinkRecord--> Sink
	end
	Sink --> 目标
```


## 打包命令
```
mvn clean install -Dmaven.test.skip=true -Drevision=0.0.2 -Dchangelist=-RELEASE
```
## 启动命令
```
java -jar dataline.jar config.json
```
# 用户手册
[UserGuide](./docs/UserGuide.md)
# Features
- 支持CSV、JSON、TEXT文件读取和解析
- 支持将数据按照CSV、JSON、TEXT格式输出到文件、控制台、KAFKA


# Release Notes
## 0.0.8
- 新增schema中字段处理器handler属性，通过实现FieldHandler接口，支持对字段进行自定义处理
## 0.0.7
- 更新文档
## 0.0.6
- 合并CsvSource、JsonSource到FileSource中
## 0.0.5
- 更新sink对text文本输出格式化
## 0.0.4
- 新增file纯文本转发功能
## 0.0.3
- 新增csv、json格式的文件互转功能
## 0.0.2
- 改用json配置文件方式，支持对csv每个字段配置
- 新增了字符串替换转换器
## 0.0.1
- 满足csv文件转发kafka，字段需要字段名一一对应