# Build-a-Large-Language-Model

**Repository Path**: daicy/Build-a-Large-Language-Model

## Basic Information

- **Project Name**: Build-a-Large-Language-Model
- **Description**: 《Build a Large Language Model (From Scratch)》（中文译名为《从零构建大语言模型》）是一本深入探讨大语言模型原理与实现的电子书，适合希望深入了解 GPT 等大模型架构、训练过程及应用开发的学习者。本项目是原版的中文版本，主要内容参考了https://skindhu.github.io/Build-A-Large-Language-Model-CN/#/。
- **Primary Language**: Python
- **License**: MIT-0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-11-18
- **Last Updated**: 2025-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Build-a-Large-Language-Model

#### 介绍
[《Build a Large Language Model (From Scratch)》](https://github.com/rasbt/LLMs-from-scratch/tree/main)（中文译名为《从零构建大语言模型》）是一本深入探讨大语言模型原理与实现的电子书，适合希望深入了解 GPT 等大模型架构、训练过程及应用开发的学习者。本项目是原版的中文版本，主要内容参考了[Build a Large Language Model (From Scratch) 中文版](https://skindhu.github.io/Build-A-Large-Language-Model-CN/#/)。本项目在中文版原作者的基础之上修订了部分错误，修改了部分代码使得对大陆的学习者们更加易用，并且增加了部分最新修订的内容。

#### 阅前须知
虽然原书名为“从零开始”，但是我们仍然建议您具备一定的Python编程能力和基础的计算机知识，有了这些基础在阅读本项目时您一定可以对深度学习网络和大语言模型有了更深刻的理解。

此外，[附录A](./appendix_a/pytorch_intro.ipynb)中包含了关于Pytorch的简明教程，如果您此前对Pytorch不甚了解，我们建议您首先阅读这一章内容。

#### 硬件需求
本书的原作者已经充分考虑了代码在不同硬件中的适用性，适配了目前主流的笔记本电脑的硬件配置。
但是在本项目中大部分的代码并没有考虑Apple Mac等使用M系列芯片的电脑设备，并且我们强烈建议您在具备Nvidia GPU的设备上运行代码。


#### 章节
- 从零构建大语言模型
  - [文本处理](./chapter_b/preprocess_text.ipynb)
  - [实现注意力机制](./chapter_c/attention_impl.ipynb)
  - [从零开始实现一个用于文本生成的 GPT 模型](./chapter_d/gpt_impl.ipynb)
  - [在无标记数据集上进行预训练](./chapter_e/pretrain.ipynb)
  - [用于分类任务的微调](./chapter_f/classification.ipynb)
  - [指令遵循微调](./chapter_g/instruct.ipynb)
- 附录
  - [附录A. Pytorch简介](./appendix_a/pytorch_intro.ipynb)
  - [附录B. 参考文献和扩展阅读](./appendix_b/ref_n_further_reading.ipynb)
  - [附录C. 习题解答](./appendix_c/excercise_solutions.ipynb)
  - [附录D. 给训练循环添加高级技巧](./appendix_d/bells_n_whistles.ipynb)
  - [附录E. 使用LoRA的参数高效微调](./appendix_e/ft_lora.ipynb)