# sdfs **Repository Path**: yun-lark/sdfs ## Basic Information - **Project Name**: sdfs - **Description**: 短小精干的分布式存储系统 高容错性 数据自动保存多个副本 副本丢失后,自动恢复 适合批处理 移动计算而非数据 数据位置暴露给计算框架 适合小数据处理 kb,m级数据的数据存储 海量规模以上的文件数量 海量节点规模 流式文件访问 一次性写入,多次读取 保证数据一致性 可构建在廉价机器上 通过多副本提高可靠性 提供了容错和恢复机制 - **Primary Language**: Java - **License**: Apache-2.0 - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 11 - **Forks**: 2 - **Created**: 2021-01-14 - **Last Updated**: 2023-11-27 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # SDFS #### 介绍 1. SDFS优点 高容错性 数据自动保存多个副本 副本丢失后,自动恢复 适合批处理 移动计算而非数据 数据位置暴露给计算框架 适合小数据处理 kb,m级数据的数据存储 海量规模以上的文件数量 海量节点规模 流式文件访问 一次性写入,多次读取 保证数据一致性 可构建在廉价机器上 通过多副本提高可靠性 提供了容错和恢复机制 2. SDFS缺点,不适合以下操作方式: 低延迟数据访问 比如毫秒级 低延迟与高吞吐率 小文件存取 占用NameNode大量内存 一个节点的内存是有限的 寻道时间超过读取时间 并发写入、文件随机修改 一个文件只能有一个写者 #### 软件架构 软件架构说明 #### 安装教程 1. xxxx 2. xxxx 3. xxxx #### 使用说明 1. xxxx 2. xxxx 3. xxxx #### 参与贡献 1. Fork 本仓库 2. 新建 Feat_xxx 分支 3. 提交代码 4. 新建 Pull Request 修改内容