# MOSS

**Repository Path**: mooyeh/MOSS

## Basic Information

- **Project Name**: MOSS
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: GPL-3.0
- **Default Branch**: add-license-1
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-08-06
- **Last Updated**: 2024-08-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# MOSS



## Inference


### blitz
提供不带tool版本的推理脚本，以任何你喜欢的方式load模型之后，  
以任何你喜欢的方式运行：  
`python moss_inference.py`
或者直接在moss_infer_demo.ipynb中探索。

当然由于这是一个不带`Tools`的推理，如果你需要用它来服务，那么你需要至少在别的地方将输入的"<|Commands|>"和"<|Results|>"内的值改为None，并且需要修改部分代码使得for能够在遇到"<eor>"时返回。

### Details

对于显存小于48G，提供了hugginface accelerate的model parallelism方法，该方法需要至少两张3090（24G）。  
采样策略包括: temperature, repetition_penalty, top_k, top_p。