# inference

**Repository Path**: aisbench/inference

## Basic Information

- **Project Name**: inference
- **Description**: AISBench推理基准的参考实现，来自各企业贡献者与个人贡献者贡献。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 6
- **Forks**: 4
- **Created**: 2024-02-29
- **Last Updated**: 2025-08-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#  AISBench 推理参考实现
这是AISBench推理基准的参考实现库，来自各企业贡献者与个人贡献者贡献的推理负载代码。这些实现可作为基准实现的起点，但尚未完全优化，不代表对于软件框架或硬件的实际性能测量。
## 名词定义
|名词|定义|
| --- | --- |
|被测试设备|参与AI服务器性能测试的设备|
|Stubs通用包|被测试设备上运行的程序包，统一的性能测试启动入口，负责控制实际训练/推理程序的执行、与Tester、互联互通平台进行对接等|
|推理代码|能在被测试设备直接执行特定推理任务的代码|
|推理负载代码|能直接接入Stubs通用包，通过Stubs通用包启动特定推理任务的代码|
## 介绍

### 如何将我的推理代码接入AISBench Stubs通用包用于性能测试（如何将推理代码转换为推理负载代码）？
参考[Stubs被测试者接入使用文档](docs/DEVELOPER_ACCESS_DOC.md), **着重关注"业务代码接入Stubs"章节**。
### 如何将我的推理负载代码贡献到本仓库？
#### 企业贡献者
如果您是企业贡献者，请您在本仓库先建立企业目录（参考`nvidia/`和`huawei/`），在自己的企业目录中贡献推理负载代码。如果想要在仓库主页添加模型链接，参考"模型链接"章节`nvidia`和`huawei`的格式。
#### 个人贡献者
如果您是企业贡献者，请将你的代码贡献在`personal/`目录下。
## 模型链接
### huawei
#### pytorch
|model|link|
| --- | --- |

### nvidia
#### pytorch
|model|link|
| --- | --- |

## 参与贡献
1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request