@hugo_code
ChengzeHsiao 暂无简介
Ollama是一个开源的大型语言模型服务工具,可以帮助我们快速在本地运行大语言模型。 并且Ollama支持市面上各种主流的模型,比如llama2、qwen1.5、mixtral、Gemma等等。 所以建议大家本地部署Gemma的时候,都使用Ollama来运行Gemma以获得更快的性能。
使用fastchat 运行 llm 大模型的。
Tabby(原名 Terminus)是一个高度可配置的终端仿真器、SSH 和串行客户端,适用于 Windows、macOS 和 Linux