# SegmentData

**Repository Path**: danni505/SegmentData

## Basic Information

- **Project Name**: SegmentData
- **Description**: 分布式数据读模型、分段锁
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2019-06-09
- **Last Updated**: 2023-10-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# SegmentData

### 介绍
数据分段，给分段配置锁，进行多线程环境数据访问；


### 场景描述：

数据迁移，应用会部署多个实例，具体几个不确定，每个应用为提高处理效率要求使用多线程处理，读取的数据来源为同一个DB2数据库中的同一个表，表数据量1亿，读取到的数据写入到NoSQL存储中；

### 设计分析：

需要支持水平扩展，实例数量可以随时调整，每个应用的线程数也可以根据部署实例所在机器性能调整，读取的又是同一个大表的数据，需要考虑的问题有：
1、多实例间处理数据不能重复，线程间处理数据不能重复；
2、如果设计为外来请求触发数据迁移，需要考虑负载均衡产生请求倾斜问题，要求每个实例地位对等；
 
### 更多详见：
《分布式环境下多实例多线程读取同一张表的分析设计》 
https://www.jianshu.com/p/eb279f3151ff