跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
Hugging Face 宣布 transformers 库新增对 GGUF 格式模型的支持，允许用户通过 from_pretrained 接口在本地加载并运行量化模型。该功能目前主要面向 Apple Silicon 设备，通过复用 ggml 内核实现接近 llama.cpp 的推理性能，并支持通过 transformers serve 暴露 OpenAI 兼容 API。
推荐理由：原文展示了在 transformers 中直接加载 GGUF 量化模型的方法，并给出了 Apple Silicon 上的性能对比数据。
Google DeepMind 发布多语种手语转文本模型 SL2T，首次将手语 AI 带入消费级产品，在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语（ASL）转英文听写，后续将扩展更多设备与语言。
推荐理由：SL2T 把多语种手语翻译从实验室带进 Gboard 与 Live Transcribe，读者可了解其数据规模与隐私设计。
Google Research 发布一种新架构，把多 Token 预测（MTP）头接到已冻结的 Gemini Nano v3 模型上，在不改动主干权重的前提下加速端侧推理。
推荐理由：Google 把 MTP 头接到冻结的 Gemini Nano v3 上，给出端侧推理在内存与能耗约束下的具体优化路径。
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本电脑的智能体多模态模型，介于 E4B 与 26B MoE 之间，是首个支持原生音频输入的中等规模 Gemma 模型。
推荐理由：Gemma 4 12B 去掉多模态编码器并把视觉音频直接接入 LLM，读者可据此判断本地多模态智能体的硬件门槛。
Google Research 在 Nature 发表研究，提出 PHRM 系统，利用手机前置摄像头在面部解锁后采集 8 秒面部视频，通过端侧深度学习估算心率，与心电图对比的平均绝对百分比误差低于 10%，覆盖所有肤色人群。
推荐理由：Google 用手机前摄在解锁后被动测心率，并公开迄今最大规模手机视频数据集与预训练模型。
Mistral 发布 Mistral 3 系列，包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3，后者为稀疏 MoE，41B 激活参数、675B 总参数，全部以 Apache 2.0 许可开源。
推荐理由：Mistral 3 全系以 Apache 2.0 开源并给出从 3B 到 675B 的规格与部署路径，读者可据此判断开源前沿模型的可用边界。
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上提升文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens/s，以 Apache 2.0 许可开源。
推荐理由：官方给出 128k 上下文、150 tokens/s 与 Apache 2.0 开源等参数，可据此判断小模型在端侧与多模态场景的可用性。