# OmniAdaptor

**Repository Path**: ma-guoxiong/OmniAdaptor

## Basic Information

- **Project Name**: OmniAdaptor
- **Description**: OmniAdaptor is the glue layer component between OmniOperator, Spark, and Flink.
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 20
- **Created**: 2025-09-16
- **Last Updated**: 2025-09-22

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 项目介绍

## OmniAdaptor-Flink介绍

OmniAdaptor-Flink是Flink与OmniStream之间的桥梁组件，作为胶水层承接两者的运行时协作。OmniAdaptor-Flink基于Flink原生算子执行计划生成Native算子执行计划，将Flink原生算子替换为OmniStream的Native算子，使能OmniStream算子加速，并提供Naitve Runtime Framework，调度Native算子完成Flink任务。目前已覆盖Nexmark、wordcount等查询中主要算子的Native加速路径，同时保证了与Flink原生算子的100%兼容。

## OmniAdapter-Spark介绍

OmniAdaptor-Spark是Spark与OmniOperator之间的桥梁组件，作为胶水层承接两者的运行时协作。OmniAdaptor-Spark基于Spark原生算子执行计划生成Native算子执行计划，将Flink原生算子替换为OmniOperator的Native算子，使能OmniOperator算子加速。

# 版本说明

| 开源软件 | 开源版本            |
| -------- | ------------------- |
| Flink    | 1.16.3              |
| spark    | 3.3.1、3.4.3、3.5.2 |

# 快速上手

### OmniAdapter-Flink 快速上手

####  编译命令

OmniAdaptor-Flink编译命令如下。

```
cd omniop-flink-extension
mvn clean package -DskipTests
```

#### 环境部署

OmniAdaptor-Flink部署请参考以下链接：

https://www.hikunpeng.com/document/detail/zh/kunpengbds/appAccelFeatures/sqlqueryaccelf/kunpengbds_omniruntime_20_09018.html

#### 测试验证

1. OmniAdaptor-Flink验证前需要安装OmniStream。进入Flink安装目录下的bin目录，并启动Flink。

```
cd $FLINK_HOME/bin/ && ./start-cluster.sh
```

2. 调用sql-client后，进行测试。

```
./sql-client.sh
```

3. 在命令行中输入。

```
SELECT 'Hello, Flink!';
```

可以正常输出结果即安装正常。

### OmniAdapter-Spark 快速上手

#### 编译命令

````shell
# profile_id可选3.3、3.4、3.5
export profile_id=3.3
cd omniop-spark-extension
mvn clean package -Pspark-${profile_id} -DskipTests -Ddep.os.arch=aarch64 -Dscoverage.skip=true
````

> **须知：**
>
> OmniAdapter-Spark编译和运行均依赖OmniOperator，若未编译部署OmniOperator，请先参考OmniOperator 相关文档进行编译部署。

#### 环境部署

OmniAdaptor-Spark部署请参考以下链接：

https://www.hikunpeng.com/document/detail/zh/kunpengbds/appAccelFeatures/sqlqueryaccelf/kunpengbds_omniruntime_20_0212.html

#### 测试验证

1. 使用hive-testbench导入2GB TPCDS数据集。
2. 参考下面文档链接，添加omni相关配置文件，并提交SQL执行。
3. 检查执行计划中的算子是否包含Omni。

详细测试验证步骤请参考以下链接：

https://www.hikunpeng.com/document/detail/zh/kunpengbds/appAccelFeatures/sqlqueryaccelf/kunpengbds_omniruntime_20_0241.html

# 贡献指南

如果使用过程中有任何问题，或者需要反馈特性需求和bug报告，可以提交issue联系我们，具体贡献方法可参考[这里](https://gitcode.com/boostkit/community/blob/master/docs/contributor/contributing.md)。

# 免责声明

此代码仓计划参与openEuler软件开源，编码风格遵照原生开源软件，继承原生开源软件安全设计，不破坏原生开源软件设计及编码风格和方式，软件的任何漏洞与安全问题，均由相应的上游社区根据其漏洞和安全响应机制解决。请密切关注上游社区发布的通知和版本更新。鲲鹏计算社区对软件的漏洞及安全问题不承担任何责任。

# 许可证书

[https://www.apache.org/licenses/LICENSE-2.0](https://gitee.com/link?target=https%3A%2F%2Fwww.apache.org%2Flicenses%2FLICENSE-2.0)

# 参考文档

[OmniAdapter-Flink 安装指南](https://www.hikunpeng.com/document/detail/zh/kunpengbds/appAccelFeatures/sqlqueryaccelf/kunpengbds_omniruntime_20_09018.html)

[OmniAdapter-Spark 安装文档](https://www.hikunpeng.com/document/detail/zh/kunpengbds/appAccelFeatures/sqlqueryaccelf/kunpengbds_omniruntime_20_0212.html)