@normalcoder
技术布道/独立开发者 Technical Evangelism / independent developers
高度优化的 LLM 推理加速引擎,适用于Llama及其变种。
An orm library support nGQL for Golang
TLLM_QMM 剥离了 Nvidia 的 TensorRT-LLM 中量化内核的实现,去除了对 NVInfer 的依赖,并提供了易于使用的 Pytorch 模块。我们修改了去量化和权重预处理,以与流行的量化算法(如 AWQ 和 GPTQ)对齐,并将它们与新的 FP8 量化结合在一起。
Facebook 开发工具的早期版本。
Zetta Table Store
Graphite On VictoriaMetrics
一种通过挖掘排名候选之间信息的高效有效的学习排序算法。此仓库包含 SERank 模型的 tensorflow 实现。代码基于 TF-Ranking 开发
Zetta Table Store 的 Go 客户端
Zetta Table Store 的 Protobuf 文件
用于 QA 人员的内部检查工具