# CloudEntropyStorageSystem

**Repository Path**: ops30/cloud-entropy-storage-system

## Basic Information

- **Project Name**: CloudEntropyStorageSystem
- **Description**: 云熵存储系统（CESS）是一个基于 Go、Gin 和 gRPC 实现的高性能分布式文件存储系统。该系统设计用于处理海量文件存储，具有高效率、高可靠性和可扩展性。
- **Primary Language**: Go
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-08-23
- **Last Updated**: 2024-08-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# cloud-entropy-storage-system 云熵存储系统

云熵存储系统（CESS）是一个基于 Go、Gin 和 gRPC 实现的高性能分布式文件存储系统。该系统设计用于处理海量文件存储，具有高效率、高可靠性和可扩展性。

## 项目特点

![](docs/流程图.png)

- 使用 Go 语言开发，性能优异
- 采用 Gin 框架提供 HTTP 服务
- 使用 gRPC 进行节点间通信
- 分布式架构，包含文件交互节点和文件存储节点
- 高效的文件存储和检索机制
- 支持文件去重和秒传
- 智能的存储块管理和空间分配
- 文件删除和存储块重组机制

## 系统架构

系统主要由两种节点组成：

1. 文件交互节点：处理外部请求，管理文件上传、下载和删除操作。
2. 文件存储节点：负责实际的文件存储和管理，包括存储块的初始化、维护和优化。

## 主要功能

- 文件上传：支持海量文件上传，自动进行文件去重和秒传判断
- 文件下载：高效的文件检索和读取机制
- 文件删除：支持文件软删除和存储块重组
- 心跳检测：确保存储节点的在线状态和可用性
- 存储块管理：自动初始化、扩展和优化存储块

## 性能优势

- 高效的磁盘 I/O：大多数情况下，只需一次磁盘 I/O 即可读取文件
- 内存映射：使用缓存存储索引文件，加快启动和恢复速度
- 顺序读写：保证文件的顺序读写，提高磁盘数据读取速度
- 智能存储管理：自动管理存储块，优化存储空间利用率