# transformer-infer

**Repository Path**: echo_lin/transformer-infer

## Basic Information

- **Project Name**: transformer-infer
- **Description**: 给出几个transformer网络的推理代码（基于onnx以及torch框架）
- **Primary Language**: Python
- **License**: 0BSD
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-12-11
- **Last Updated**: 2024-09-09

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# transformer-infer

#### 介绍
当前transformer网络深受大家的喜欢，本仓基于huggingface开源的[transformers](https://github.com/huggingface/transformers)，给出了两个主要网络Electra/T5的使用torch框架以及ONNX框架推理代码。

#### 安装教程

1. 根据[指导链接](./models/README.md)下载Electra和T5的模型权重
2. 安装依赖包 `pip3 install -r requirement_conda.txt`

#### 使用说明

1. 根据[torch2onnx文件](./src/t5/torch2onnx.py)将Torch权重转换成ONNX权重，方便onnxruntime加载及推理
2. 执行 `python3 main.py`