在现代大数据处理应用场景中，流数据处理技术的应用十分广泛。消息中间件或消息队列常在流数据处理中起到数据缓冲的作用。Apache Kafka常被用作数据缓冲中间件，Kafka的工作性能在很大程度上决定着应用系统整体的性能。在实际应用中，kafka的上游数据源所产生的数据流量通常是不稳定的，静态的缓存策略不能适应这种多变的生产环境。针对这一问题，如果存在一种策略能根据上游流量变化动态调整数据缓存，就能增强系统对环境的适应能力，实现流数据缓存处理的实时性和吞吐量性能的提升。动态缓存策略采用对上游数据流量监控的方法，通过使用 ARIMA 模型对未来流量进行预测，提前调整流数据存储转发设置。流数据缓存设置参数的最佳值来源于在各压力下对中间件系统性能进行实验得到的结果的多目标优化。

存储检查点中间件

异构数据存储

采用分级存储和根据数据的冷热程度迁移数据存储的优化方式提升系统性能

NEUStore — 面向异构体系结构的分布式数据存储与管理系统，解决异构体系结构的高性能数据分析系统中的数据存储访问技术难题。