跳到正文

技术方向

端侧 AI 最新动态

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

19 条精选近 30 天 6 条共收录 431 条

更新

端侧 AI的精选

11月17日周二
  1. AWS Machine Learning Blog63

    多智能体系统设计模式、反模式与制造经验分类

    AWS Machine Learning Blog 梳理了多智能体系统的确定性工作流、自主编排、混合架构、5 类反模式和制造场景选型约束。文中用 10 个步骤各 95 percent 可靠时端到端只有 59.9 percent、20 个步骤只有 35.8 percent 的例子说明依赖交接会放大风险。

    推荐理由:原文给出多智能体模式与反模式的分类和决策树,帮助读者按任务确定性、专业分工与风险边界选择最简架构。

11月5日周四
  1. Hugging Face Blog62

    Phonon TTS 深度解析:设备端高质量语音模型登顶基准

    Gradium 解析其两周前开放的设备端 TTS 模型 Phonon,给出它在 Hugging Face Open TTS Leaderboard 的评测与离线演示。Phonon 31m 约 65MB 且 Apache 2.0 开源,在德语西班牙语 intelligibility 排名第一,CPU 流式延迟领先。这是 Phonon 首个开源发布,两周下载超 200,000 次。

    推荐理由:文章详细列出 Phonon 在 Hugging Face Open TTS Leaderboard 的多语种 intelligibility 排名与 CPU 流式延迟优势,便于评估小体积语音模型端侧落地可行性。

10月29日周四
  1. Hugging Face Blog63

    Hugging Face 发布 AnySpeechRecognizer 和 AnyDecisionModel:Apple 平台语音识别与决策 Swift 包

    Hugging Face 发布 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,让 Apple 平台开发者用熟悉 API 在设备端运行开源语音识别和决策模型。

    推荐理由:这两个 Swift 包让 Apple 平台开发者用熟悉 API 在设备端运行多种开源语音与决策模型,扩展原生能力并支持说话人分离。

10月28日周三
  1. NVIDIA Blog60

    NVIDIA RTX Spark 笔记本新增 Nemotron 3.5 Transcribe 语音模型、智能体工具与游戏

    NVIDIA 发布 Nemotron 3.5 Transcribe 开放权重语音模型,单个提示词模型处理转录、说话人标注与翻译,登顶 Hugging Face Open ASR。该模型约43亿活跃参数,较头部开放模型少80%资源,便于本地硬件运行;RTX Spark 笔记本同步新增代理 GPU 资源分配及 Phantom Blade Zero 等游戏 RTX 支持。

    推荐理由:NVIDIA Nemotron 3.5 Transcribe 以约43亿活跃参数登顶 Hugging Face Open ASR,较榜首开放模型省八成参数,便于本地转录。

  2. Hugging Face Blog76

    用 LFM3 构建专用多模态模型

    LFM3 提供文本、视觉、音频、omni 和决策等六种 2B 参数级模型,基于统一骨干,可用于构建专用多模态智能体。相比 LFM2 家族,LFM3-1.7B 用少 35% 参数超越 LFM2.5-2.6B;所有模型今天在 Hugging Face 开放权重。

    推荐理由:LFM3以统一骨干提供六种2B级模态模型,可在单GPU微调并端侧部署,降低专用多模态智能体构建门槛。

10月20日周二
  1. Hugging Face Blog69

    PyTorch 2.15 发布 MPS 后端更新:Mac 支持 FP8 与模型解码加速

    PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与专用 Metal 内核,MoE 模型解码较 2.14 提速 5–6.5 倍,Wan2.2 视频 VAE 解码显存从 270 GiB 降至 8 GiB。softmax 与线性代数运算也显著加快,并新增 Python 层 MPS 流控制。

    推荐理由:PyTorch 2.15 在 Mac 的 MPS 后端加入 FP8 与 Metal 内核,使 MoE 模型解码提速 5 至 6.5 倍,视频生成显存由 270 GiB 降至 8 GiB。

10月16日周五
  1. NVIDIA Blog65

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 模型,覆盖从数据中心到边缘的智能体部署

    NVIDIA 今日发布 Nemotron 3.5 Super VL 与两款 Bolt 边缘模型,覆盖从企业服务器到边缘的智能体部署。Super VL 为 120B 参数多模态模型,速度快达同类 5x 且以约五分之一参数量媲美 NVIDIA 最大推理模型精度;Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 针对本地硬件优化,后者 10 月 23 日推出。

    推荐理由:NVIDIA 新发 Nemotron 3.5 Super VL 以约五分之一参数量媲美自家最大推理模型精度,并开放权重供组织在自有设施微调部署。

10月14日周三
  1. Hugging Face Blog65

    LFM2.5-24B-A2B发布:24B参数MoE仅2B活跃,支持端侧私有智能体

    LFM2.5-24B-A2B发布,一个24B参数MoE推理模型,仅2B活跃参数,专为端侧快速私有智能体设计。该模型在LiveClaw智能体基准得分48.09,高于Qwen3.6-35B-A3B的38.19,并在Apple M5 Max上实现184 tok/s解码速度。它基于LFM2-24B-A2B架构,将上下文窗口从32K扩展至131K tokens,今日起在Hugging Face开放权重。

    推荐理由:该24B参数MoE模型仅2B活跃参数,在智能体任务上接近参数多50%的Qwen3.6-35B-A3B,并支持端侧184 tok/s运行。

10月8日周四
  1. Hugging Face Blog63

    Liquid AI 发布多模态开放 d1 边缘决策模型 d1-3B 与 d1-omni-600M

    今日 Liquid AI 发布开放权重 d1 决策模型 d1-3B 与实验性 d1-omni-600M,可在边缘设备做多模态决策。d1-3B 在 Decision Index 0.2.1 得 48.57 分超 Decider 35B-A3B,于 Jetson 延迟低至 16 毫秒。模型基于 LFM 单前向传播不生成 token,已在 Hugging Face 开放。

    推荐理由:Liquid AI 开放 d1-3B 等决策模型权重,以单前向传播在 Jetson 实现低于 50 毫秒多模态推理。

10月7日周三
  1. Google DeepMind66

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数、基于 Gemma 4 架构并采用 Apache 2.0 许可的开源多模态嵌入模型,可将文本、代码、图像、视频和音频统一映射到嵌入空间。

    推荐理由:原文给出了轻量多模态嵌入模型的端侧性能指标与模块化设计,读者可据此评估本地 RAG 与跨模态搜索的可行性。

10月2日周五
9月22日周二
  1. Hugging Face Blog82

    Transformers 支持运行 llama.cpp GGUF 量化模型

    Hugging Face 宣布 transformers 库新增对 GGUF 格式模型的支持,允许用户通过 from_pretrained 接口在本地加载并运行量化模型。该功能目前主要面向 Apple Silicon 设备,通过复用 ggml 内核实现接近 llama.cpp 的推理性能,并支持通过 transformers serve 暴露 OpenAI 兼容 API。

    推荐理由:原文展示了在 transformers 中直接加载 GGUF 量化模型的方法,并给出了 Apple Silicon 上的性能对比数据。

8月12日周三
  1. Google DeepMind78

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:SL2T 把多语种手语翻译从实验室带进 Gboard 与 Live Transcribe,读者可了解其数据规模与隐私设计。

6月27日周六
6月9日周二
6月5日周五
  1. Google Research71

    Google 研究用手机摄像头实现被动心脏健康监测

    Google Research 在 Nature 发表研究,提出 PHRM 系统,利用手机前置摄像头在面部解锁后采集 8 秒面部视频,通过端侧深度学习估算心率,与心电图对比的平均绝对百分比误差低于 10%,覆盖所有肤色人群。

    推荐理由:Google 用手机前摄在解锁后被动测心率,并公开迄今最大规模手机视频数据集与预训练模型。

2025年12月3日周三
  1. Mistral AI82

    Mistral 发布 Mistral 3 系列模型,含 675B 参数 Mistral Large 3 与 3B/8B/14B Ministral 3

    Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 全系以 Apache 2.0 开源并给出从 3B 到 675B 的规格与部署路径,读者可据此判断开源前沿模型的可用边界。

2025年3月17日周一
2025年1月30日周四

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有