# language model

**Repository Path**: darkcorvus/language-model

## Basic Information

- **Project Name**: language model
- **Description**: language model
- **Primary Language**: Python
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-05-30
- **Last Updated**: 2022-05-31

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

**运行代码之前请先检查requirements**



## main

- 运行`main.py`：

```bash
bash run.sh
```

- 会生成`tensorboard`目录，存放`tensorboard`结果
- `out`目录存放了报告中使用的部分实验结果，仅供参考



## gpt-2

- 运行`gpt2.py`：

```bash
python gpt2.py
```

- 会生成`gpt2`目录，目录内有`checkpoint`记录实验结果，可以读取其中`trainer_state.json`以参考实验结果，`runs`目录会记录`tensorboard`结果。
- 由于该代码运行时间较长，如果不想运行，也可以使用提供的`tensorboard`文件查看结果：

```bash
tensorboard --logdir "gpt2_tensorboard"
```