# vstore

**Repository Path**: wangboa/vstore

## Basic Information

- **Project Name**: vstore
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2025-05-28
- **Last Updated**: 2025-07-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 数据库架构设计文档
## 1. 系统概述
- 类型 ：分布式分析型分布式数据库
- 计算框架 ：DataFusion
- 存储架构 ：Parquet + LSM + 混合存储（本地/远端）
- 部署模式 ：云原生架构

## 2. 架构设计
### 2.1 整体架构
```
[客户端层]
↓
[查询接口层] (MySQL协议兼容)
↓
[计算引擎层] (DataFusion)
├─ 协调节点(Coordinator)
│   - 接收客户端请求
│   - 生成分布式执行计划
│   - 执行最终聚合操作
│   - 返回最终结果
├─ 查询节点(Worker)
│   - 执行分布式计划中的表扫描
│   - 执行部分聚合操作
│   - 本地数据过滤和计算
└─ Compact节点
- 执行LSM树的合并压缩
- 管理SSTable文件生命周期
- 冷热数据分层管理
↓
[存储引擎层]
├─ 内存: MemTable (LSM)
├─ 本地存储: SSTable (Parquet格式)
└─ 远端存储: 对象存储(如S3)
```

### 2.2 核心组件
#### 计算层 (DataFusion)
- SQL解析与逻辑计划生成
- 分布式查询优化器
- 并行执行引擎

#### 存储层
1. 写入路径:
   - 先写入MemTable
   - 达到阈值后flush为SSTable(Parquet格式)
   - 冷数据自动下沉到远端存储
2. 读取路径:
   - 多级缓存机制(MemTable → 本地SSTable → 远端存储)
   - 基于LSM的合并压缩策略

### 2.3 云原生特性
- 容器化部署（Docker/K8s）
- 存储计算分离架构
- 弹性伸缩能力
- 基于Prometheus的监控体系

## 3. 关键技术
### 3.1 DataFusion集成
- 利用其分布式执行能力
- 自定义UDF/UDAF支持
- 向量化执行优化

### 3.2 存储优化
- Parquet特性:
  - 列式存储
  - 谓词下推
  - 高效的压缩编码
- LSM优化:
  - 分层压缩策略
  - 后台合并任务调度
  - 写放大控制