**下载地址：**
| 文件名 | 下载地址 | 版本号 |
| ---------------- | ------------------------------------------------------------ | -------------- |
| Server-win-x64 | https://sqlite-file-mana.oss-cn-hangzhou.aliyuncs.com/Release/Server-win-x64.rar | v2.1（发行版） |
| Server-linux-x64 | https://sqlite-file-mana.oss-cn-hangzhou.aliyuncs.com/Release/Server-linux-x64.rar | v2.1（发行版） |
| WinUI-win32-x64 | https://sqlite-file-mana.oss-cn-hangzhou.aliyuncs.com/Release/WinUI-win32-x64.rar | v2.1（发行版） |
Windows **使用指南：**
- 第一步：双击启动：Release\Server-win-x64\app.exe
- 第二步：双击启动：Release\WinUI-win32-x64\WinUI.exe
linux **使用指南：**
- 执行命令：【./app】
## 二、🚀愿景
> 前言：我是GIS行业的一名普通程序🐶，喜欢追逐新鲜的技术，渴望做一些好玩、有用的东西。这项目是我开源的第一个作品，虽然技术能力有限，但很高兴有这么多人能 Start 我的项目，非常欢迎有时间有精力的小伙伴能与我一起构建这个项目。
### 1、管理 GIS 海量数据
> ① 有人问：为什么不使用【mongodb】或者其他更高级的【分布式文件系统】管理数据 ？
>
> 答：这些技术方案的性能当然非常强大，但还需要进行大量的环境部署工作。而我只希望能有一个轻量级的资源托管程序，把我的 WebGIS 项目直接存放在我的 U 盘里，无需部署环境和安装程序，一点击就能启动。点击拷贝，仅需要10分钟，很快就能部署到云服务器上。甚至可以把这个程序直接部署到 【安卓平板】上，在断网环境下使用 Cesium Web应用。
>
>
>
>② CesiumLab 也有散列文件转紧凑文件的功能，甚至有能一站式发布 HTTP 服务等强大的功能，这个项目是重复造轮子吗？
>
>答：我也有过这个困惑，但一步步完善这个项目后。我的编程技能是还是有了成长的。至于重复造轮子的问题，我发现网上还是 **没有好用** 的资源托管程序（开源）。而 JunFang 、BaoMi 项目更看重的是 **数据安全性**以及程序 **源码的可控性** 。至少我的领导是不会允许我把 CesiumLab 软件安装到内网 BaoMi 机的服务器上。而这个 SQLiteFileMana 项目，可以作为一个方案补充。
### 2、技术路线
> ③ 项目采用的 Sqlite 存储方案是 MbTiles 吗？
>
> 答：不是。MBTiles 仅支持矢量或图像瓦片数据，其通用性较差。本项目借鉴其数据库结构，另设计了一套简易的表结构规范（具体参见源码），新的存储方案性能与 MbTiles 无区别。
>
>
>
> ④ 关于全平台
>
> 答：开发初衷是这个服务程序是可以的兼容运行在【Windows、Linux、安卓】上的。
>
> NodeJS 技术体系中的【PKG】和【Electron】是两个令人激动的工具，他们使 JavaScript 能运行在多平台的系统上，甚至构建出：
>
> - 在 Windows 系统上，能直接访问磁盘的 win 窗体程序
>
> - 在 Android 系统上可运行的 arm 程序包
>
### 3、使用说明
> ⑤ 这个程序目前还有什么缺陷吗?
>
> 答：有的，这个项目目前是个人独立开发做的，整体架构略显粗糙。其中，WinUI 程序基于 Election 开发，即便里面也没有多少业务代码，打包后的程序仍然有 200MB 的大小。后期再想办法优化这个问题吧。
>
>
>
> ⑥ 软件是免费使用吗？
>
> 答：本项目于2021年8月发起，作者耗费大量业余的时间、精力进行开发。软件免费使用，包含两个独立的程序：服务端程序、操作面板程序，如下：
>
> - Server-win-x64.exe
>
> 应用程序的核心服务程序，包含了：数据库访问、文件管理、权限管理、发布 HTTP 静态资源等后端功能模块。**代码完全开源**，允许其他开发者基于主版本进行二次开发、业务功能拓展、数据安全模块拓展，但需保留作者署名。
>
>
>
> - WinUI-win32-x64.exe
>
> 为运维人员开发的一个管理资源库的操作面板，基于 Election 开发，可直接弹起系统自带的 【选择文件】、【选中文件夹】对话框，更便于用户操作，需要在本机上使用。后续会继续进行新功能的开发、修复BUG，不定期升级，**代码闭源**，每 2个月发布一版免费使用的发行版，也可购买专业版。
>
>
>
> 备注：如果您是具备基本的开发能力的程序员，阅读源码后完全可以使用服务端暴露出的接口调用全部功能。
## 三、🐨技术选型
| 技术 | 名称 | 官网 |
| ------- | ------------------------- | --------------------------------- |
| PKG | NodeJs 程序跨平台打包工具 | https://www.npmjs.com/package/pkg |
| NodeJs | NodeJS V16.14.2+ | http://nodejs.cn/ |
| Koa2 | web 后台开发框架 | https://koa.bootcss.com/ |
| SQLite3 | 是一款轻型的本地数据库 | http://www.sqlite.org/ |
## 五、🐷 开发指南
### 1、开发指南
```
cnpm install pkg -g
```
### 2、测试平台
```
性能测试：SQLiteFileMana\Projects\Server
```
```
平台
系统：windows 10
硬件：i7-10875H、M2 1T固态
素材：
- DEM-wordHeights （3.11GB；2,800,297文件）
- DOM-google （1.39GB；3086文件）
```
### 3、建库性能测试
我们在代码层面对 SQLite【数据建库】操作做了非常多的优化。包括：SQL 语句聚合、开启事务、多线程优化等。单线程 **insert** 平均速度为【1千个文件 / 秒】，多线程 **insert** 【6千个文件 / 秒】的极致优化。
> 目前制约性能的瓶颈主要是计算机物理硬盘的读写速度
| 测试平台 | 测试项 | 结果 |
| -------- | ----------------------------------------------------- | ---- |
| WinRAR | 131,584 个 .terrain 地形文件；.rar 格式，存储方式压缩 | 81s |
| Server | 131,584 个 .terrain 地形文件；开启4线程，建库 | 32s |
### 4、读取性能测试
将文件存入 Sqlite 再读出来，当文件总数特别大时，会不会有性能损失呢？这里直接与业界公认最强 HTTP 服务器 Nginx 做对比。
> 数据库已经对常用字段建立索引了，经测试，相比于直接将海量散列文件放在 nginx 等服务器目录的传统方式，性能相差无几
>
> 因此完全无需担心系统的性能问题
| 测试平台 | 测试项 | 结果 |
| -------- | -------------------------------------------------- | ----- |
| nginx | 单线程，循环 get 请求 1W 次，2kb .terrain地形数据 | 9.1s |
| Server | 单线程，循环 get 请求 1W 次，2kb .terrain地形数据 | 10.8s |
| 测试平台 | 测试项 | 结果 |
| -------- | --------------------------------------------------- | ---- |
| nginx | 50并发，循环 get 请求 200 次，2kb .terrain地形数据 | 6.1s |
| Server | 50并发，循环 get 请求 200 次，2kb .terrain地形数据 | 5.2s |
| 测试平台 | 测试项 | 结果 |
| -------- | ------------------------------------------------------------ | ---- |
| Server | 全球 0-12 级MapBox 卫星瓦片，83.2 GB共计 2236 万零碎文件的资源库，随机读出某个瓦片 | 7ms |
## 六、❓ 应用场景
### 1、GIS 数据托管
```tex
在 Cesium 开发开发过程中，地理资源大都以切片的方式显示地图：
（1）影像地图：预生成一定规格的地图切片【.png】缓存在服务器,用于响应客户端的地图请求。
（2）地形数据：将原始【.tif】地形数据，加工为【.terrain】文件
（3）3Dtile：三维场景中模型的 LOD 格式
软件系统开发完成后，都面临着一个残酷的现实：
将这些数以千万的零散地理数据文件向服务迁移、备份是一件很痛苦的一件事。
```
```
例如：迁移一份2.5GB的全球【.terrain】地形数据，零散文件共计
2, 800, 297个文件，平均每个文件8kb大小，直接拷贝，则需要大约65分钟，
即便使用 WinRAR 软件压缩后再迁移，压缩也最快至少需要 38分钟，
移动压缩包之后仍需解压。
// 硬件环境：金士顿 M.2 SSD，最大传输速度：1.2GB/s
```
>使用 SQLiteFileMana 程序，你可以花费 38分钟，进行散列文件的建库，
>得到一个 2.6GB 的单文件资源包，然后可以花费 5秒 的时间，将你的数据迁移和部署到任何机器。
### 2、数据安全加密
在很多中小型公司的 WebGIS 项目部署时，常将 高精度地图瓦片、3Dtiles 的散列文件直接放到 Nginx，经常很多个项目的资源数据都放到一台云服务器上，运维人员可直接访问原始数据，这时数据安全性无法得到保证。
sqlite 数据库是可以加上密码的，如果将 **数据库密码** 和 **服务器机器码** 进行绑定，即便资源包直接被拷贝走了，也不用担心数据泄露丢失。
## 七、🤝 其他
- WangShan010 代码贡献者，项目创建者
> 如果您觉得还不错请在右上角点一下 star，帮忙转发，谢谢 🙏🙏🙏 大家的支持是开源最大动力