# InferenceEngineEvaluator

**Repository Path**: aiconntest/inference-engine-evaluator

## Basic Information

- **Project Name**: InferenceEngineEvaluator
- **Description**: 深度学习推理引擎测评工具
- **Primary Language**: Unknown
- **License**: GPL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 16
- **Forks**: 3
- **Created**: 2025-03-17
- **Last Updated**: 2025-08-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 深度学习推理引擎测评工具

深度学习推理引擎评测工具，用于测试和分析 PaddlePaddle 深度学习推理引擎的性能和推理准确性，旨在帮助用户对深度学习模型进行推理性能评估和验证，以便更好地了解模型在生产环境中的表现。
本工具主要包括以下功能：
1）验证推理引擎测评工具推理结果准确性。
2）测试深度学习推理的性能数据，包括平均时延和QPS。
3）验证被测框架是否适配支持CV和NLP的预置模型。

## 下载
wget https://paddle-qa.bj.bcebos.com/infer/tool_inference.tgz


## 安装
1、解压缩 tool_inference.tgz 文件。
1）tar -xf tool_inference.tgz 
2、配置环境依赖
1）cd tool_inference
2）sh prepare.sh


## 启动
1、执行 sh start.sh 进行启动。


## 执行
1、验证推理引擎测评工具推理结果准确性。
1）sh infer-test-tool.sh -u
2）如果需要回传执行结果：sh infer-test-tool.sh -u -t TOKEN -c ON

2、测试深度学习推理的性能数据，包括平均时延和QPS。
1）sh infer-test-tool.sh -e
2）如果需要回传执行结果：sh infer-test-tool.sh -e -t TOKEN -c ON

3、验证被测框架是否适配支持CV和NLP的预置模型。
1）sh infer-test-tool.sh -p -s MODEL_NAME
2）如果需要回传执行结果：sh infer-test-tool.sh -p - s MODEL_NAME -t TOKEN -c ON
3）MODEL_NAME取值范围：
        "ResNet50",
        "VGG16",
        "bert",
        "ernie",
        "ssdlite_mobilenet",
        "lac",
        "picodet_l_640_coco_lcnet",
        "yolov3_darknet53_270e_coco",
        "yolov5_s_300e_coco",
        "yolov7_l_300e_coco",
        "yolov8_s_500e_coco",
        "ppyolo_r50vd_dcn_1x_coco",
        "rtmdet_l_300e_coco",
        "GhostNet_x0_5",
        "MobileNetV1_x0_25",
        "ShuffleNetV2_x0_25",
        "SqueezeNet1_1",
        "InceptionV3",
        "EfficientNetB0",
        "DenseNet121"。