# Decoders-Chinese-TF2.0

**Repository Path**: guinzoo/Decoders-Chinese-TF2.0

## Basic Information

- **Project Name**: Decoders-Chinese-TF2.0
- **Description**: GPT2 training script for Chinese in Tensorflow 2.0
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2020-06-07
- **Last Updated**: 2021-01-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 基于Tensorflow 2.0 与 Huggingface 的 [Transformers](https://github.com/huggingface/transformers) 的 GPT2 与 Transformer-XL 训练代码

- 目前只有GPT2部分可用。
- 目前只在CPU上测试通过。

## 使用方法

- pip install -r requirements.txt
- 将scripts文件夹中的几个sh文件拷贝到拷贝到根目录。
- 运行prepare_data.sh预处理。
- 然后运行train_gpt2_keras.sh训练。
- 运行generate_gpt2_keras.sh生成。

## 数据格式

- 本项目采用的语料格式为一个txt文件，每一行是一个json的列表，这个列表中包含了一篇文章。