# ModelConversionEvaluator

**Repository Path**: aiconntest/model-conversion-evaluator

## Basic Information

- **Project Name**: ModelConversionEvaluator
- **Description**: 模型转换测评工具
- **Primary Language**: Unknown
- **License**: GPL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 18
- **Forks**: 5
- **Created**: 2025-03-17
- **Last Updated**: 2025-08-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 深度学习算法模型转换测评⼯具

深度学习算法模型转换测评⼯具，包括框架模型转换⽀持测试⼯具模块和转换结果校验⼯具模块，具体如下：

    1、框架模型转换⽀持测试⼯具模块：测试给定的深度学习开发框架是否⽀持对主流TensorFlow、ONNX、Pytorch 的模型转换，验证转换成功率。

    2、转换结果校验⼯具模块：对给定的基础软件平台和深度学习框架，三⼤框架的⼤级别预测模型转换功能、部署功能、成功呈现预测性能、预测结果正确性，并在服务端和移动端给定的基础软硬件环境中进⾏部署预测，验证结果是否正确。

## 环境准备 
### 1、下载镜像：

```
cd 本地⼯作⽬录
wget https://paddle￾qa.bj.bcebos.com/x2paddle/topic3/baidu_model_transform_tool_image.tar
```

### 2、加载镜像：

```
docker load < baidu_model_transform_tool_image.tar
```

### 3、基于baidu_model_transform_tool_image 镜像在部署服务器上创建容器，可参考：

```
docker run -it --name baidu_model_transform_tool -v /data/model_transform_tool:/workspace --
net=host baidu_model_transform_tool_image:latest /bin/bash
```

### 4、启动容器：

```
docker start baidu_model_transform_tool
```

### 5、进⼊容器：

```
docker exec -it baidu_model_transform_tool /bin/bash
```

## ⼯具安装 
### 1、下载⼯具：

```
cd /workspace 
wget https://paddle-qa.bj.bcebos.com/x2paddle/topic3/model_transform_tool.tar.gz
tar xzvf model_transform_tool.tar.gz
```

### 2、下载模型：

```
cd /workspace 
wget https://paddle-qa.bj.bcebos.com/x2paddle/topic3/benchmark.tar.gz
wget https://paddle-qa.bj.bcebos.com/x2paddle/topic3/binary_opted.tar.gz
tar xzvf benchmark.tar.gz 
tar xzvf binary_opted.tar.gz
```

### 3、配置环境: 

```
cd /workspace/model_transform_tool/server/model_transform_tool
```

修改 settings.py 中的 ALLOWED_HOSTS 为服务器的 IP（⽐如，若服务器 IP 为 192.168.9.190，
则设置 ALLOWED_HOSTS = ['192.168.9.190'], 默认为 127.0.0.1）

### 4 、配置⽤户 token 、结果是否回传平台以及⼯具 IP 和端⼝信息：

/workspace/model_transform_tool/tool/config/config.ini


## ⼯具启动 
### 1、启动⼯具服务：

```
cd /workspace/model_transform_tool/server && bash start_server.sh (可在 start_server.sh 
```
脚本中修改对应端⼝，默认为 8089)

## ⼯具执⾏ 

```
cd /workspace/model_transform_tool/tool
```

### 1、验证模型转换成功率:

```
python run_tool.py --interface_name=getConvertSuccRate --
frame_name=[pytorch/tensorflow/onnx]
```

### 2、测试服务端部署性能和正确性：
```
python run_tool.py --interface_name=getServerDeployResult --
frame_name=[pytorch/tensorflow/onnx] --model_name=[FCN_ResNet50...]
```

### 3、测试移动端部署性能和正确性：
```
python run_tool.py --interface_name=getLiteDeployResult --
frame_name=[pytorch/tensorflow/onnx] --model_name=[FCN_ResNet50...]
```

### 4、查看⼯具版本：

```
python run_tool.py --interface_name=getToolVersion
```

### 5、⼯具默认⽀持的模型列表：
#### 5.1 Pytorch

DBFace,MobileNetV2,CamembertForQuestionAnswering,ElectraModel,ShuffleNetV2,FCN_Re
sNet50,opadd,ResNet18,SqueezeNet,MNasNet,ResNet18_2,SwinTransformer,YOLOX

#### 5.2 Tensorflow
AlBert,frozen,InceptionResNetV2,inceptionv3,InceptionV4,MobileNetV1,MobileNetV2,Mobile
NetV3_large,MTCNN-ONet,MTCNN-PNet,MTCNN￾RNet,pix2pix,ResNetV1,RetinaFace,ShuffleNet,SqueezeNet,ToyUNet-UNet

#### 5.3 ONNX
bert6,best_float32,cifarnet,crnn_lstm,facedetector,FaceNet,hand_landmark_ar,inceptionv1,ML
Perf_ResNet50,mobilefacenet,modelGen,pnasnet_mobile,Poselandmarks,Seg,UnknownMode
lFromOutside0,vgg19,VIT_online

## 模型扩展 
### 1、模型⽬录：
```
cd /workspace/benchmark
```
### 2、Pytorch：
```
wget https://paddle-qa.bj.bcebos.com/x2paddle/topic3/PyTorch.tar.gz
```
### 3、Tensorflow：
```
wget https://paddle-qa.bj.bcebos.com/x2paddle/topic3/TensorFlow.tar.gz
```
### 4、ONNX：
```
wget https://paddle-qa.bj.bcebos.com/x2paddle/topic3/ONNX.tar.gz
```