3 Star 18 Fork 3

Gitee 极速下载/fastllm

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
此仓库是为了提升国内下载速度的镜像仓库,每日同步一次。 原始仓库: https://github.com/ztxz16/fastllm
克隆/下载
make_whl.sh 1.55 KB
一键复制 编辑 原始数据 按行查看 历史
黄宇扬 提交于 2025-05-12 16:44 +08:00 . fix
#!/bin/bash
folder="build-fastllm"
# 创建工作文件夹
rm -rf "$folder"
mkdir "$folder"
cd $folder
# cpu
rm -rf CMakeCache.txt CMakeFiles
cmake .. -DMAKE_WHL_X86=ON -DUSE_CUDA=OFF -DUSE_NUMA=ON
make fastllm_tools -j$(nproc)
if [ $? != 0 ]; then
exit -1
fi
cp tools/ftllm/libfastllm_tools.so tools/ftllm/libfastllm_tools-cpu.so
# cuda-10
#rm -rf CMakeCache.txt CMakeFiles
#cmake .. -DMAKE_WHL_X86=ON -DUSE_CUDA=ON -DCUDA_ARCH=70 -D CMAKE_CUDA_COMPILER=/usr/local/cuda-10.1/bin/nvcc
#make fastllm_tools -j$(nproc)
#if [ $? != 0 ]; then
# exit -1
#fi
#cp tools/ftllm/libfastllm_tools.so tools/ftllm/libfastllm_tools-cu10.so
# cuda-11
rm -rf CMakeCache.txt CMakeFiles
cmake .. -DMAKE_WHL_X86=ON -DUSE_CUDA=ON -DUSE_NUMA=ON -DCUDA_ARCH="52;53;70" -D CMAKE_CXX_COMPILER=g++-10 -D CMAKE_CUDA_HOST_COMPILER=/usr/bin/g++-10 -D CMAKE_CUDA_COMPILER=/usr/local/cuda-11.3/bin/nvcc
make fastllm_tools -j$(nproc)
if [ $? != 0 ]; then
exit -1
fi
cp tools/ftllm/libfastllm_tools.so tools/ftllm/libfastllm_tools-cu11.so
# cuda-12
rm -rf CMakeCache.txt CMakeFiles
cmake .. -DMAKE_WHL_X86=ON -DUSE_CUDA=ON -DUSE_NUMA=ON -DCUDA_ARCH="52;53;70;89" -D CMAKE_CXX_COMPILER=g++-11 -D CMAKE_CUDA_HOST_COMPILER=/usr/bin/g++-11 -D CMAKE_CUDA_COMPILER=/usr/local/cuda-12.1/bin/nvcc
make fastllm_tools -j$(nproc)
if [ $? != 0 ]; then
exit -1
fi
cd tools
ldd ftllm/libfastllm_tools.so | grep '=>' | awk '{print $3}' | grep 'libnuma' | xargs -I {} cp -n {} ftllm/.
python3 setup.py sdist build
python3 setup.py bdist_wheel --plat-name manylinux2014_$(uname -m)
#python3 setup.py install --all
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
C/C++
1
https://gitee.com/mirrors/fastllm.git
git@gitee.com:mirrors/fastllm.git
mirrors
fastllm
fastllm
master

搜索帮助