# chat-dataset-builder

**Repository Path**: index103000/chat-dataset-builder

## Basic Information

- **Project Name**: chat-dataset-builder
- **Description**: 用于构建大模型chat训练数据集
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-02-29
- **Last Updated**: 2024-05-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 项目说明

本项目用于提供 大模型训练 所需的 数据集生成、推理、评估 等所需脚本



## 安装项目

```sh
# 更新源 并安装 大模型依赖的第三方库
apt-get update

# 若没有，则需要创建 conda 虚拟环境
conda create -n dataset python=3.10 -y

# 更新 bashrc 中的环境变量
conda init bash && source /root/.bashrc

# 激活 conda环境
conda activate dataset

# 下载项目
git clone https://gitee.com/index103000/chat-dataset-builder.git

# 安装环境依赖，需要 python3.10 以上
cd chat-dataset-builder
pip install -r requirements.txt
```



## 数据集生成

在 dataset 目录下，参见对应 README 查看使用说明



## 推理

在 inference 目录下，参见对应 README 查看使用说明



## 评估

在 evaluate 目录下，参见对应 README 查看使用说明

##