004..导出百万数据.md · zo-gode/.net问题记录

# 导出百万数据

## 一、传统POI的的版本优缺点比较

### 1.1 HSSFWorkbook

```
这个实现类是我们早期使用最多的对象，它可以操作Excel2003以前（包含2003）的所有Excel版本。在2003以前Excel的版本后缀还是.xls
```

* #### 优点
  >不会报内存溢出。（因为数据量还不到7w所以内存一般都够用，首先你得明确知道这种方式是将数据先读取到内存中，然后再操作）。

* #### 缺点
  >最多只能导出 65535行,也就是导出的数据函数超过这个数据就会报错。

* #### 使用场景
  >当我们经常导入导出的数据不超过7w的情况下，可以使用 HSSFWorkbook 或者 XSSFWorkbook都行。

### 1.2 XSSFWorkbook 
```
这个实现类现在在很多公司都可以发现还在使用，它是操作的Excel2003--Excel2007之间的版本，Excel的扩展名是.xlsx
```

* #### 优点
  >这种形式的出现是为了突破HSSFWorkbook的65535行局限，是为了针对Excel2007版本的1048576行，16384列，最多可以导出104w条数据。

* #### 缺点
  >伴随的问题来了，虽然导出数据行数增加了好多倍，但是随之而来的内存溢出问题也成了噩梦。因为你所创建的book，Sheet，row，cell等在写入到Excel之前，都是存放在内存中的（这还没有算Excel的一些样式格式等等），可想而知，内存不溢出就有点不科学了！！
  
* #### 使用场景
  >当数据量查过7w并且导出的Excel中不牵扯对Excel的样式，公式，格式等操作的情况下，推荐使用SXSSFWorkbook。

### 1.3 SXSSFWorkbook
```
这个实现类是POI3.8之后的版本才有的,它可以操作Excel2007以后的所有版本Excel,扩展名是.xlsx
```

* #### 优点
    
    >这种方式不会一般不会出现内存溢出（它使用了硬盘来换取内存空间，
	也就是当内存中数据达到一定程度这些数据会被持久化到硬盘中存储起来，而内存中存的都是最新的数据），
	并且支持大型Excel文件的创建（存储百万条数据绰绰有余）。

* #### 缺点
  >既然一部分数据持久化到了硬盘中，且不能被查看和访问那么就会导致，
	在同一时间点我们只能访问一定数量的数据，也就是内存中存储的数据;
	sheet.clone()方法将不再支持,还是因为持久化的原因;
	不再支持对公式的求值，还是因为持久化的原因，在硬盘中的数据没法读取到内存中进行计算；
	在使用模板方式下载数据的时候，不能改动表头，还是因为持久化的问题，写到了硬盘里就不能改变了。
  
* #### 使用场景
  >当数据量查过7w，并且我们需要操做Excel中的表头，样式，公式等，
这时候我们可以使用 XSSFWorkbook 配合进行分批查询，分批写入Excel的方式来做。

## 二、导入导出百万数据为什么很慢
1. 使用传统的POI方式来完成导入导出很明显会内存溢出，并且效率会非常低；
解决：
  ```

```

2. 数据量大直接使用`select * from tableName`数据一多就很慢；
3. 百万 数据导出到Excel时肯定不能都写在一个Sheet中，这样效率会非常低；估计打开都得几分钟；
4. 百万 数据导出到Excel中肯定不能一行一行的导出到Excel中。频繁IO操作绝对不行；
5. 导入时百万数据存储到DB如果循环一条条插入也肯定不行；
6. 导入时百万数据如果使用Mybatis的批量插入肯定不行，因为Mybatis的批量插入其实就是SQL的循环；一样很慢。

zo-gode/.net问题记录

简介

发行版

贡献者

近期动态

zo-gode/.net问题记录 .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

zo-gode/.net问题记录