申请创建OmniAdaptor/Gluten/OmniOperator/OmniStream/OmniStateStore仓库并提名committer · Pull Request !6664 · openEuler/community

本PR申请创建openeuler/{OmniAdaptor/Gluten/OmniOperator/OmniStream/OmniStateStore}仓库，归属于bigdata SIG下管理。
为便于各仓代码维护，提名committers。

1. OmniAdaptor
OmniAdaptor分为OmniAdaptor-Spark 和OmniAdaptor-Flink两个模块。
OmniAdaptor-Spark 是 Spark 与 OmniOperator 和Flink与OmniStream之间的桥梁组件，作为胶水层承接两者的运行时协作。该模块充分利用 Spark/Flink 的插件化能力，基于接口扩展方式实现对物理计划的替换，无需对 Spark 源码进行侵入式修改，即可将原生物理算子平滑替换为 OmniOperator 的 Native 实现。目前已覆盖 TPC-DS 99 查询中主要算子的 Native 加速路径，同时保留对 Spark 原生算子的兼容执行能力，从而实现稳定、高性能、强兼容的运行体验，助力 OmniOperator 高效集成至 Spark 生态体系。

2. Gluten
本仓库基于开源 Gluten 1.3.0 版本，致力于为 Spark 引擎引入高性能的 Native Backend 支持。该版本遵循 Gluten 社区接口规范，扩展实现了对 OmniOperator 的完整适配，包括 OmniBackend、OmniSubstrait、行列数据转换、算子回退机制等关键模块。通过该集成，OmniOperator 可作为一种全新的 Native 加速后端，无缝嵌入 Spark 执行引擎，有效提升复杂查询场景下的执行性能。

3. OmniOperator
OmniOperator算子加速采用Native Code（C/C++）实现大数据SQL算子。首先，以列式内存数据格式OmniVec进行内存计算，同列数据内存连续，提升数据访问性能，充分利用向量化加速。其次，向量化算子采用C++实现，使用向量化执行思想，算子在进行处理时从逐行处理变为逐批处理，更好利用现代CPU的能力。向量化算子拥有更多机会利用CPU中SIMD指令(单指令多数据)和提高CPU Cache命中率进行向量化执行，提升查询性能和有效提升CPU利用率。此外，算子在核心功能处理，如Hash计算以及聚合值计算时，显式调用SVE、NEON指令以及鲲鹏加速库进行加速，能够基于单条指令对多个数据同时进行操作，进一步提升算子处理性能。

4. OmniStream
大数据实时处理流计算引擎在互联网、金融、物流等各行各业应用广泛，承担不可或缺的重要角色，而随着业务发展，流计算引擎的性能逐渐成为瓶颈。以主流实时流计算引擎Flink为例，主要采用Java/Scala等高级编程语言实现，当前对Flink的优化主要是基于Java进行改进，但Java的本身的性能还是弱于Native Code，并且由于Java的语义的限制，对于整体的类SIMD指令支持较弱，无法完全发挥CPU的算力。此外，Flink采用行式数据结构计算流数据，无法充分利用芯片的向量化指令，执行效率有待提升。
OmniStream算子加速采用Native Code（C/C++）实现Flink SQL和DataStream算子。针对Flink SQL，OmniStream采用C++结合向量化指令实现算子，以列式内存数据格式OmniVec进行内存计算，充分利用向量化加速，提升SQL计算性能。针对Flink DataStream，OmniStream采用C++结合向量化指令实现算子，结合自动Native化工具将UDF翻译成C++程序，充分发挥Native Code性能优势，提升DataStream场景性能。

5. OmniStateStore
OmniStateStore是一个开源且高性能的Flink状态存储引擎，支持Flink 1.16.1/1.16.3/1.17.1三个版本的状态存储接口，可平滑替换RocksDB。
主要特点：
（1）高性能状态读写
目前开源Flink的状态存储引擎是基于RocksDB实现，RocksDB底层采用LSM数据结构，LSM核心设计原则为将磁盘随机读写转换为顺序读写，内存数据结构以二分查找为主。整体上存在状态访问IO性能差、CPU占用高等问题。OminiStateStore采用以磁盘作为主要存储，内存作为Cache的架构方案，其中内存Cache采用紧密内存结构的哈希索引，相比传统排序索引性能提升显著，磁盘存储是基于LSM-Tree重新设计文件格式，改进磁盘数据结构，提升大状态下的文件读写性能。
（2）优化内存访问性能
OminiStateStore内存数据结构以Hash为主，相对于RocksDB二分查找可显著减少内存访问次数。内存Cache中针对流式计算场景，使用哈希表和链表（冲突链）构建了管理最小数据存储单元Slice的索引结构，单个Slice是有序且大小不超过20K，完全支持存放在L1 Cache中，能够加速二分查找性能。
（3）懒加载
目前开源Flink在并行度变更场景下状态恢复慢，导致长时间阻塞Flink作业恢复。OminiStateStore采用懒加载方式，即在恢复流程中仅重构内存Cache的状态数据，而磁盘文件中的数据放在后台进行异步恢复，能够较大减少状态恢复的整体时长，使得Flink作业能够快速恢复。

openEuler/community .gitee-modal { width: 500px !important; }

搜索帮助

openEuler/community