# container-llama.cpp

**Repository Path**: openEuler-Intelligence/container-llama.cpp

## Basic Information

- **Project Name**: container-llama.cpp
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-10-15
- **Last Updated**: 2025-10-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# container-llama.cpp

#### 介绍
归档OS领域模型在CPU推理上的container环境

#### 使用说明

1.  clone该项目或者下载所需要的container  
```bash
git clone https://gitee.com/openEuler-Intelligence/container-llama.cpp.git
```  
或者  
```bash
wget https://gitee.com/openEuler-Intelligence/container-llama.cpp/raw/master/llama.cpp_arm64.tar
```
2.  导入镜像
```bash
docker load -i llama.cpp_arm64.tar 
# 查看images
docker images
# 可选：修改镜像tag
docker tag *image_id* llama.cpp_arm64:b5170
```
3.  运行llama.cpp服务
```bash
docker run -v /path/to/models:/models llama.cpp_arm64:b5170 -m /models/openEuler-Intelligence-OS_model-IQ4_NL-00001-of-00009.gguf --port 8999
```

4. 鲲鹏920最佳实践
```bash
# 下载鲲鹏920预购建镜像
# 如果您已经clone该项目，请直接使用文件 b6602-kunpeng920.tar 
# 或者通过wget下载

# 导入镜像
cat b6602-kunpeng920.tar.* > b6602-kunpeng920.tar
docker load -i b6602-kunpeng920.tar
# 查看images
docker images
# 可选：修改镜像tag
docker tag *image_id* llama.cpp-full:b6602-kunpeng920

# 运行
docker run -v /path/to/models:/models llama.cpp-full:b6602-kunpeng920 -s -m /models/openEuler-Intelligence-OS_model-IQ4_NL-00001-of-00009.gguf --jinja -ngl 99 --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -np 4 -n 32768 --no-context-shift -t 32 --port 8999 --host 0.0.0.0
```

#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)