llama.cpp v1.0.0 与 ggml v1.0.0 发布,为本地 AI 生态提供更稳固基础
llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem
llama.cpp 与 ggml 发布 v1.0.0 版本,明确语义化版本规则与 API 兼容边界。目前支持超过 150 种架构变体及主流推测解码方法,并通过 Linux、macOS 等渠道分发。这是项目诞生 3.5 年来的重要里程碑。
llama.cpp与ggml发布v1.0.0并明确API兼容边界,依赖本地推理的开发者可更稳定地规划集成与升级。
llama.cpp 使得在从消费级本地机器到高端企业服务器的广泛硬件上运行多模态 LLM 成为可能。通过量化、优化的后端以及可移植的 C/C++ 实现,我们让 AI 推理在软件栈的每一层都触手可及。我们相信这是构建跨平台且私有的 AI 产品最轻量、最通用且最合理的平台。
自 创立 以来的 3.5 年里,该项目取得了巨大发展,许多下游应用已经依赖于我们的工作。随着本地 AI 和隐私在日常生活中的重要性日益增加,我们预计这一趋势将持续下去。每一次新的集成都意味着更多开发者依赖于我们的库接口,因此拥有一个灵活但稳定的 API 至关重要。
今天我们发布了库 v1.0.0,体现了我们对这些开发者的责任感。未来,llama.cpp 和 ggml 将在主要版本升级时反映 API 和 ABI 的不兼容性。随着采用率的提高,我们将更严格地确保下游消费者能够看到这些边界。
发布
| 发布 | 库 | 公共头文件 |
|---|---|---|
| llama.cpp v1.0.0 - C/C++ 中的 LLM 推理 | libllama |
llama.cpp/include/ |
| ggml v1.0.0 - 用于机器学习的张量库 | libggml |
ggml/include/ |
语义化版本更新规则
以下规则适用于所有使用 语义化版本控制 的 ggml-org 项目:
| 变更类型 | 升级 |
|---|---|
| 主版本 (MAJOR) | ./include 中公共 C API 的破坏性变更 |
| 次版本 (MINOR) | 向后兼容的功能、后端更新、模型支持或 API 添加 |
| 修订版本 (PATCH) | 无 API 变更的 Bug 修复 |
分发
我们期待扩展 ggml-org 软件的分发方式,使其触达更多开发者和最终用户。有关如何将 ggml-org 项目添加到您的打包和发布流水线中的更多信息,请查看以下 讨论。
| 渠道 | 平台 |
|---|---|
| 预发布工件 | Linux, macOS, Windows, Android, iOS |
| Docker | Linux |
| Debian | Linux |
| Homebrew | macOS, Linux |
| conda-forge | Windows, macOS, Linux |
| MacPorts | macOS |
| Winget | Windows |
| XCFramework | iOS, macOS |
开发
该项目培育了一个拥有高技能和才华横溢贡献者的出色开源社区。随着 AI 能力在软件工程领域的快速进步,我们继续以深思熟虑和合理的方式在开发周期中适应并集成 LLM。维护高质量的代码库、掌控架构并理解实现细节将始终是我们的首要任务。
为了强化更快的开发节奏,我们继续投入更多资源来改进项目背后的 CI 基础设施。得益于 HF Buckets 和 HF Jobs 等 HF 技术,我们能够扩展必要的容量,以确保落在 master 分支上的每个变更的正确性。在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬件支持下,我们继续在所有主要硬件平台上注册更多的自托管运行器。
后端和模型覆盖范围
llama.cpp - ggml 的底层机器学习引擎旨在几乎可以在任何现有硬件上运行。这是通过实现专用的 ggml 后端来实现的。每个后端都可以编译为动态库,并可选择在运行时加载。
当前已实现的完整后端列表可在此处找到。
我们致力于持续支持所有模型架构。目前,llama.cpp 支持超过 150 种架构变体,以及所有主流投机解码方法。
致谢
Hugging Face 的 llama.cpp 团队感谢社区提供的巨大支持。特别感谢该项目的长期维护者以及所有贡献者。这是一个重要的里程碑,没有我们的共同努力,这一切将不可能实现!
更多资源
- llama.cpp 示例
- Hugging Face 上的 ggml-org
- Github 上的 ggml-org
- 查看 Llama 的 MacOS 和 Windows 桌面应用,由 llama.cpp 和 Hugging Face 背后的团队精心打造。
来源:Hugging Face Blog · huggingface.co