Shimmy 是一个超轻量级（仅 5MB）的本地 AI 推理服务器，具备与 OpenAI API 兼容的接口、自动模型发现、热切换以及工具调用功能。采用 Rust 编写的单二进制文件方案，支持 GGUF 模型和 LoRA 微调适配器，完全免费且永久开源。
最近更新: 6个月前Trae Agent 是一个基于 LLM 通用软件工程任务的智能体。它提供了一个 CLI 界面，可以理解自然语言指令，并使用各种工具和 LLM 提供商执行复杂的软件工程工作流。
最近更新: 7个月前一个社区驱动的深度研究框架，它建立在开源社区的杰出工作基础之上。我们的目标是将语言模型与专业工具（如网络搜索、爬虫和 Python 代码执行）相结合，同时回馈使这一切成为可能的社区
最近更新: 7个月前高吞吐、低内存大模型推理引擎，其设计初衷直击行业痛点：传统推理框架在处理多请求并发时，普遍存在KV缓存内存碎片化严重、GPU利用率低下等问题。通过 PagedAttention 这一革命性技术，vLLM实现了近零浪费的KV缓存管理，同时完美兼容OpenAI API协议，让开发者无需改造现有生态...
最近更新: 7个月前LocalAI是免费的开源 OpenAI 替代品。LocalAI 可作为替代 REST API，与 OpenAI（Elevenlabs、Anthropic……）API 规范兼容，用于本地 AI 推理。它允许您在本地或使用消费级硬件运行 LLM、生成图像、音频（不止于此），支持多种模型系列。不需...
最近更新: 7个月前一个基于纯C/C++实现的高性能大语言模型推理引擎，专为优化本地及云端部署而设计。其核心目标在于通过底层硬件加速和量化技术，实现在多样化硬件平台上的高效推理，同时保持低资源占用与易用性。
最近更新: 7个月前整合主流的各种高效训练微调技术，适配市场主流开源模型，形成一个功能丰富，适配性好的训练框架。项目提供了多个高层次抽象的调用接口，包含多阶段训练，推理测试，benchmark评测，API Server等，使开发者开箱即用。同时借鉴 Stable Diffsion WebUI相关，本项目提供了基于...
最近更新: 7个月前ScrapeGraphAI 是一款创新的网络爬虫 Python 库，它巧妙地结合了大型语言模型和直接图逻辑，为网站和本地文档（如 XML、HTML、JSON 等）创建高效的爬取管道。这个工具的核心优势在于其简单性和强大功能的完美结合 - 用户只需告诉库想要提取哪些信息，ScrapeGraphA...
最近更新: 7个月前旨在让 AI 代理能够控制浏览器，从而实现自动化任务。它通过结合语言模型（如 ChatOpenAI）和浏览器自动化工具（如 Playwright），使 AI 代理能够与网页进行交互，完成各种复杂的任务。例如，它可以用于自动化数据抓取、表单填写、网页浏览等操作
最近更新: 7个月前一个 “模型即服务”(MaaS) 平台，旨在汇集来自 AI 社区的最先进的机器学习模型，并简化在实际应用中使用 AI 模型的流程。ModelScope 库使开发人员能够通过丰富的 API 设计执行推理、训练和评估，从而促进跨不同 AI 领域的最先进模型的统一体验。
最近更新: 7个月前基于一个开源基于 transformer 模型结构提供的预训练语言库，它支持 Pytorch，Tensorflow2.0，并且支持两个框架的相互转换。框架支持了最新的各种NLP预训练语言模型，使用者可以很快速的进行模型的调用，并且支持模型further pretraining 和 下游任务fi...
最近更新: 7个月前
