# HSIP

**Repository Path**: cesiai/hsip

## Basic Information

- **Project Name**: HSIP
- **Description**: 互联互通性能评测工具
- **Primary Language**: Unknown
- **License**: GPL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 7
- **Created**: 2025-08-01
- **Last Updated**: 2025-08-01

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 人工智能互联互通功能与性能测评工具

## 工具介绍 
本文档作为人工智能互联互通项目功能与性能评测工具使用手册，用于介绍该工具所含所有功能，以便于相关人员熟悉使用该评测工具。主要包含：功能模块评测工具、性能模块评测工具。

用户在开展人工智能相关研究和模型训练时，需要对研究的模型功能进行评估，包括对模型输入输出合法性的判断、模型架构是否完整、以及模型在给定数据集下的准确率。

用户在开展人工智能相关研究和模型训练时，需要对研究的模型性能进行评估，包括对模型对硬件的占用率、复杂度与计算量和稀疏度。

## 使用方法

### 环境设置

``````shell
conda activate hlht
``````
安装环境依赖

``````shell
pip install -r required.txt
``````

### 添加模型
将模型权重文件放入model_weights目录下，将模型结构定义在`model.py`文件中，并修改``ptcv_get_model``函数定义。
### 添加数据集
将数据集放入data目录下，并修改`dataset.py`中`load_dataloader`函数定义。
### 运行

测试模型功能：
``````shell
python funtest.py
``````
测试模型性能：
``````shell
python pertest.py
``````
### 工具结构
```angular2html
|-- README.md
|-- data
|   |-- dataset
|   |   |-- imagenet
|   |   |-- meta.txt
|   |-- SST-2
|   |   |-- test.tsv
|   |   |-- train.tsv
|   |   |-- dev.tsv
|-- model_bert
|   |-- config.json
|   |-- pytorch_model.bin
|   |-- tokenizer_config.json
|   |-- train_args.json
|   |-- vocab.txt
|-- function
|   |-- function.py
|   |-- nlp_function.py
|-- performance
|   |-- performance.py
|   |-- nlp_performance.py
|-- model_weights
|   |-- resnet50-0633-b00d1c8e.pth
|   |-- vgg16-0865-5ca155da.pth.pth
|-- dataset.py
|-- funtest.py
|-- pertest.py
|-- model.py
|-- README.md
|-- required.txt
|-- select_imagenetmodel.py
```





### 样例


提供测试例子vgg16、resnet50和bert，模型参数在model_weights目录下。数据集在data目录下，包括imagenet中随机的数据和SST-2两个数据集。
可选择参数为
``````shell
--dataset=imagenet
--aplication=cv
--model=vgg16
--criterion=ocp
``````
本例中使用vgg16模型，imagenet数据集，计算硬件占用率作为评价指标。


### 测试结果
![alt text](image.png)