# dataprocess-spring-boot-starter

**Repository Path**: lang_junnan/dataprocess-spring-boot-starter

## Basic Information

- **Project Name**: dataprocess-spring-boot-starter
- **Description**: 为了更好的 完善，提升，B/S架构系统的性能和实用性，系统在完成部分业务的同时尽可能的使用缓存或其它分布式容器高效率的做数据计算，ES查询等，尽量为关系型数据库减少压力，dataprocess是基于SpringBoot为基础做的Binlog，MQ数据适配，解析，校验，托管，异常捕获，为使用者提供两种方案，监听器模式和责任链模式并提供出 crud接口 使用者只需要按自己的需求同步到其它容器中即可
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 4
- **Forks**: 1
- **Created**: 2022-03-31
- **Last Updated**: 2024-10-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

 **dataprocess-spring-boot-starter简介**
        dataprocess-spring-boot-starter得前身是dataprocess 为了方便使用者使用，作为开源领域得一部分 应了一些网友得诉求，
   集成了SpringBoot  引入依赖
   
     <dependency>
         <groupId>com.lonelylang.dataprocess</groupId>
         <artifactId>dataprocess-spring-boot-starter</artifactId>
         <version>1.2.RELEASE</version>
     </dependency>

   **dataprocess：** 
        在了解dataprocess-spring-boot-starter 之前请必须了解dataprocess,
   地址：https://gitee.com/lang_junnan/dataprocess

   **dataprocess角色：** 
        Mysql-》Canal-》RocketMQ-》dataproces提供监听器模式和责任链模式，其中监听器模式自动订阅数据，使用者按要求使用即可。
    两种模式都对外提供  增 删 改 索引 回滚 异常捕获 前置拦截器 后置拦截器 等接口，其中拦截器功能默认不开启，使用者自己可以在配置文件中设置 
    dataprocess主要充当着监听数据来源 适配数据源 解析数据 检验数据 托管代理本次执行的数据 然后创建执行责任链或者订阅监听器模式，
    两种模式其中一种就可以实现业务逻辑了,都是由使用者自己去定义的，只要编写的类实现了ChainTemplate责任链模板或者实现ObserverTemplate监听器
    模板并且是在com.lonelylang.databases.某个库包下的表包下的所有实现类都会形成一条链或者都会被监听器通知到，当前执行的链条或监听器是可以被
    dataprocess和Spring共同来管理的，没有执行的链条或监听器类由Spring自己来管理，所谓的当前执行链条或观察类就是监听到某个库中的某个表中的
    某一批或一条记录发生了变更，针对当前数据表的链条或观察类是会被dataprocess来执行的，每个链条或监听器的实现类都对外开放了一些接口方法 
    例如:  添加 修改 删除 创建索引 异常捕获 拦截器 等操作，当某个 表发生了变化，就会以过滤链或者监听器的形式给使用者提供了 添加/修改/删除 
    异常捕获 拦截器 等接口方法，使用者只需要 专注去做自己想要做的添加功能 删除功能  修改功能  异常记录功能 就可以了，另外dataproces也提供了
    缓存查询 和 ElasticSearch 复杂查询案例展示
    
 **项目涉及到的技术点：**  
  1. 基础环境 jdk1.8
  2. MySQL 5.5
  3. Canal.deployer-1.1.5  
  4. RocketMQ-all-4.3.0-bin-release
  5. ElasticSearch-7.16.2-windows-x86_64     
  6. Redis-x64-5.0.14
  7. SpringBoot2.6 集成ElasticSearch & Redis做CRUD
  8. SpringBoot2.6 集成ElasticSearch 复杂查询案例

 
**快速集成**
  1. 使用者应该在本地maven项目当中得main/resources目录下创建application.yml文件并且添加配置参数
     ![](image/yml.png)
  2. dataprocess.config.dbpackage=配置参数是使用者本地得包路径，使用者在该包下创建 数据库包名，数据表包名，就可以在该包下创建具体得业务类了
  具体使用说明 请参考dataprocess项目,该包下得实现类提供得两种继承得方式ChainTemplate或者ObserverTemplate ，具体参议请参考dataprocess
  3. dataprocess.config.openProxy=配置参数是是否开启前置拦截器模式，设置为true开启，默认不开启，该参数为true得时候，可以使用框架提供得
     ProxyBefore前置拦截器接口和ProxyAfter后置拦截器接口
  4. 可以去Spring容器中获取DataProcessTemplate模板 把rocketmq监听到得message数据 交给DataProcessTemplate得analysis()方法
  5. 框架会通知或组装dataprocess.config.dbpackage包下的某个库下的某个表下的所有实现类
   
**系统架构图1** 

 ![](image/jiagou.png)
 
**系统架构图2** 

 ![](image/yewujiagou.png)

**内部依赖图**

 ![](image/neibuzhixingguocheng.png)

**系统安装依赖** 
1.  相关的资源地址: 链接：https://pan.baidu.com/s/18V38e4h9_BncyqYu1yp2BA   提取码：1234
2.  准备环境 必备条件本地应安装好jdk1.8 并且配置好环境变量
3.  以下安装链接是我个人博客园提供，描述比较简单，不保证您也能这么畅通，相信你也能遇到问题解决问题
3.  下载ElasticSearch并配置 https://www.cnblogs.com/langjunnan/articles/15798379.html
4.  下载Canal到本地并配置 https://www.cnblogs.com/langjunnan/articles/15798583.html
5.  下载RocketMQ并配置 https://www.cnblogs.com/langjunnan/articles/15798518.html
6.  下载Redis并启动 https://www.cnblogs.com/langjunnan/articles/15798670.html
7.  下载dataprocess也就是当前项目到本地，并且找到SpringBoot的运行类 点击运行
8.   成功案例介绍:    https://www.cnblogs.com/langjunnan/articles/15799285.html


**贡献代码（欢迎您的加入）** 

如果你有兴趣参与项目开发，请联系我个人邮箱: 1419052183@qq.com   编码不易 如果觉得对您有帮助请点一下Star 
同时 也接受您宝贵的建议  接受批评   谢谢！

**交流社区群** 

![](image/jiaoliu.png)