Edge0 开源 Edge0-145B 与 Edge0-120B 端侧大模型及统一推理框架
Edge0 开源 Edge0-145B 与 Edge0-120B 端侧大模型及统一推理框架,Edge0-145B 是全球首个 145B 参数开源端侧模型。其在兼容笔记本上峰值内存 29GB、解码超 80 tokens/s,编码推理与 Agent 能力可比特定前沿云模型;模型权重与推理框架分别发布于 Hugging Face 和 GitHub。
Edge0 开源 Edge0-145B 与 Edge0-120B 端侧大模型及统一推理框架,Edge0-145B 是全球首个 145B 参数开源端侧模型。其在兼容笔记本上峰值内存 29GB、解码超 80 tokens/s,编码推理与 Agent 能力可比特定前沿云模型;模型权重与推理框架分别发布于 Hugging Face 和 GitHub。
英伟达被曝正准备罢免 CEO 黄仁勋,受此消息影响公司股价盘后大跌。华为官宣全新子品牌 OSTA 星芒,将于 11 月 20 日发布会首次亮相。此外,苹果 20 周年款 iPhone 前瞻显示整机如整块玻璃,家电维修乱象及腾讯元宝搜索上线等资讯亦在列。
Tether AI Research 推出 BotPsy,一个基于 Qwen3.5-0.8B 的 0.8B 参数端侧智能体语言模型,在工具调用与智能体任务上达到同尺寸 SOTA。它在 BFCL v4、ACEBench 等六项基准中五项超过 2.5 倍大小的 Qwen3.5-2B-Think,并以 Apache 2.0 许可证开源权重。
魔芯科技在乌镇世界互联网大会发布新一代通用4D世界模型MoWorld 2.0,将重力、流体等十余种物理要素融入同一模型,实时视频推理速度从50 FPS提升至70 FPS。模型可输出3D/4D高斯资产供下游编辑与机器人仿真,推理成本最低为同规模GPU方案的30%。该版本是继今年7月MoWorld 1.0后的迭代,依托华为昇腾NPU优化实现芯模协同。
Underdog 在新演示中展示其 32MB 语音模型 Woof,该模型可在浏览器离线运行于端侧。模型有 31 million parameters 并开放下载,此次演示数周前公司推出了 167 MB 语音转文本模型 Bark。
淘宝 MNN 团队开源 MNN-Pocket-0.3B 轻量语言模型,在 iPhone 18 Pro 离线解码达 350 token/s。模型 INT4 部署文件体积 173MB,较 Qwen3-0.6B 减约49%,峰值内存增量减约47%。团队在 GitHub 开源 Base、SFT 及端侧部署等版本,供开发者适配集成。
Gradium 解析其两周前开放的设备端 TTS 模型 Phonon,给出它在 Hugging Face Open TTS Leaderboard 的评测与离线演示。Phonon 31m 约 65MB 且 Apache 2.0 开源,在德语西班牙语 intelligibility 排名第一,CPU 流式延迟领先。这是 Phonon 首个开源发布,两周下载超 200,000 次。
推荐理由:文章详细列出 Phonon 在 Hugging Face Open TTS Leaderboard 的多语种 intelligibility 排名与 CPU 流式延迟优势,便于评估小体积语音模型端侧落地可行性。
小米官方开源 0.8B 文档理解模型 Xiaomi-OCR-0,模型权重与推理代码已上线 Hugging Face 和 GitHub。该模型单一覆盖文档解析、信息抽取与 OCR 视觉问答,在 OmniDocBench v1.6 得 96.83 分列总榜第二。技术已落地手机端超级小爱,并开放 MCP 服务与 Agent Skill 工具包。
天数智芯现场用天垓300和彤央TY1200实测对比英伟达H200与Thor T5000,并发布拥抱Agentic AI的天数智算软件栈。天垓300文生图耗时95.6秒低于H200的112秒,TY1200跑Qwen3.8-27B达Thor的138%。这是其1月发布彤央边端产品后基于天枢架构交出的实测答卷。
Nvidia 发布开放权重语音转录模型 Nemotron 3.5 Transcribe,支持40种语言转录与31种语言互译,可在单芯片运行。该模型能区分8名说话人并支持行业术语定制,但仅处理录音不支持直播流。近期 Mistral 与 ElevenLabs 等也密集推出了语音模型。
LFM3 提供文本、视觉、音频、omni 和决策等六种 2B 参数级模型,基于统一骨干,可用于构建专用多模态智能体。相比 LFM2 家族,LFM3-1.7B 用少 35% 参数超越 LFM2.5-2.6B;所有模型今天在 Hugging Face 开放权重。
推荐理由:LFM3以统一骨干提供六种2B级模态模型,可在单GPU微调并端侧部署,降低专用多模态智能体构建门槛。
作者实测讯飞Spark-X2.6模型,该MoE模型总参数量293B、激活30B、支持1M上下文,展示编码与端云协同能力。端侧4B版本离线运行完成经营复盘报告,端云路由协同机制将任务分配准确率提升至96.1%。讯飞在星辰MaaS平台提供Spark-X2.6的10亿Tokens免费额度供领取。
岩山科技旗下岩芯矩阵联合港科大、CMU等高校刚刚发布并开源EdgeRock-4B模型,在256K上下文下KV Cache减少99.1%且单卡吞吐为源模型6.42倍。模型基于Qwen3.5-4B改造,权重与代码已在GitHub和Hugging Face开源,支持文本和图像推理。其在AIME 2024–2026平均一次通过率82.9%,推理能力接近源模型。
Block 推出全双工 AI 语音模型 Dessa,支持在 M4 Max 及更高配置 MacBook 本地运行并原生模拟情绪表达。该模型可一边说话一边收听用户语音,自身知识来源于训练对话数据,暂不开放试用但邀请安全研究者测试欺骗风险。Block 旗下 Square 已用语音 AI 处理下单业务,自研端侧模型后有望以更低成本落地更多语音产品。
Block发布新语音模型Dessa,完全基于人类语音训练,可本地全双工运行且情感表达自然。相比依赖文本管线生成语音的模型,Dessa将情感内建其中。目前模型无公开访问,Block征集安全研究员测试,类似OpenAI今年早些时候发布的GPT-Live全双工模型。
Jack Dorsey 旗下的 Block 发布了名为 Dessa 的 AI 模型,该模型完全基于人类对话从零训练,是真正的语音到语音模型。Dessa 可在 MacBook Pro M4 Max 或更高配置设备上本地运行,团队表示将向一小群 AI 安全研究人员提供早期访问权限。
Recursive 展示 AI 驱动研究流程的首个成果 Flint 模型,这是其由 Eureka Machine 自主研发的首个开源 MoE 编码模型。Flint 总参数 40B 激活 2.5B,支持本地部署与 512,000 token 上下文,权重已发布于 Hugging Face。这是 Recursive 2026 年 5 月走出 stealth 后首个公开可用模型。
10月22日科大讯飞在1024开发者节发布讯飞星火X2.6端云一体大模型与X2.6-4B开源端侧模型,基于全国产算力实现代码和智能体能力突破。X2.6采用293B-A30B MoE架构、上下文1M并开放试用,X2.6-4B端侧模型跑分提升且推理限时免费,此前9月1日X2.5-4B开源下载量已进全球端侧前四。
Recursive 发布本地 MoE 代码模型 Flint,总参数 40B 每 token 激活 2.5B,已在 Apache 2.0 下开源并支持 llama.cpp 等框架。该模型在 M4 Pro 达 125+ tokens/sec,支持 512k 上下文,面向需离线运行的 coding agent 开发者。
Recursive于周三发布首款模型Flint,一个主要由AI构建、可在笔记本运行的免费编码模型。Flint为MoE架构,总参数40B但每次仅激活2.5B,已在Hugging Face以Apache 2.0开源。相比上周Meta发布的816B参数Muse Spark Open,Flint更轻量,支持开发者离线私用代码并免云服务费。
Nvidia发布开放权重模型Nemotron 3.5 Super VL与Bolt系列,用于企业和PC端运行智能体。Super VL为120B参数企业级模型,Bolt 74B-A9B和E4B面向本地多步推理与对话,部分现已可用。此前Nvidia已推出整个Nemotron家族与专有前沿实验室竞争。
PrismML 发布 Ternary Bonsai 2 系列模型,2B 版本在 iPhone 18 Pro Max 上本地吞吐最高每秒 120 token。系列含 2B/4B/9B,基于千问(Qwen 3.5)三元权重构建,可在手机端运行 AI 智能体并执行识图与工具调用;权重以 Apache 2.0 许可证开放。
Meta发布开放权重模型Muse Spark Open,可本地运行于Mac,具备816B参数与1M token上下文窗口。该模型原生多模态,面向复杂编码与智能体任务,本地运行需至少1TB RAM,最佳搭配M5 Ultra芯片Mac Studio。Meta已将其配对Muse Code并部署至Mastodon客户端修复与DaVinci Resolve视频编辑等智能体工作流,并通过多个API平台开放。
Meta今日发布Muse Spark Open开放权重模型,称其为迄今美国最强开放权重模型,并与Apple合作让其可在两台M5 Ultra Mac Studio借MLX运行。该模型具816B参数、原生多模态,擅长复杂软件工程与多步推理。Apple同时发布MLX框架技术文章。
Nvidia 的 Nemotron 3.5 Super VL 是为持续运行企业 AI 智能体构建的开放多模态模型,120B 参数中每 token 激活 12B。该模型同步推出 Bolt 本地模型并开放权重与训练配方,在 AI 智能体任务上以约五分之一参数匹配更大模型精度且吞吐达同类开源模型五倍。
NVIDIA 今日发布 Nemotron 3.5 Super VL 与两款 Bolt 边缘模型,覆盖从企业服务器到边缘的智能体部署。Super VL 为 120B 参数多模态模型,速度快达同类 5x 且以约五分之一参数量媲美 NVIDIA 最大推理模型精度;Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 针对本地硬件优化,后者 10 月 23 日推出。
推荐理由:NVIDIA 新发 Nemotron 3.5 Super VL 以约五分之一参数量媲美自家最大推理模型精度,并开放权重供组织在自有设施微调部署。
英伟达推出开放多模态模型 Nemotron 3.5 Super VL,总参数 1200 亿采用 MoE 架构,单 GPU 智能体任务吞吐量最高达同规模开放模型 5 倍。
面壁智能与OpenBMB开源MiniCPM-V 4.7多模态模型,含35B-A3B与1B版,35B-A3B约3G内存即可在iPhone等端侧设备流畅运行。在iPhone 17 Pro Max断网环境下可识图作答,优化后解码速度超每秒13 token。采用前瞻专家调度等技术,在iPad Pro M4上解码速度提升x5倍,截至2026年9月MiniCPM系列累计下载量突破5000万次。
LFM2.5-24B-A2B发布,一个24B参数MoE推理模型,仅2B活跃参数,专为端侧快速私有智能体设计。该模型在LiveClaw智能体基准得分48.09,高于Qwen3.6-35B-A3B的38.19,并在Apple M5 Max上实现184 tok/s解码速度。它基于LFM2-24B-A2B架构,将上下文窗口从32K扩展至131K tokens,今日起在Hugging Face开放权重。
推荐理由:该24B参数MoE模型仅2B活跃参数,在智能体任务上接近参数多50%的Qwen3.6-35B-A3B,并支持端侧184 tok/s运行。
面壁智能推出新一代端侧多模态大模型 MiniCPM-V 4.7,35B-A3B 为系列首个支持端侧无损流畅运行的开源 MoE 模型,在 iPhone 17 Pro Max 上仅 3GB 内存达 13+ token/s 解码速度。
Liquid AI 开源 d1 系列两款开放权重决策模型,其中 d1-3B 在 NVIDIA RTX 4090 上单次判断耗时 8 毫秒。d1-3B 拥有 31.2 亿参数,在 Decision Index v0.2.1 测试集获 48.57 分;d1-omni-600M 以 5.87 亿参数支持文本、图像及语音输入。
今日 Liquid AI 发布开放权重 d1 决策模型 d1-3B 与实验性 d1-omni-600M,可在边缘设备做多模态决策。d1-3B 在 Decision Index 0.2.1 得 48.57 分超 Decider 35B-A3B,于 Jetson 延迟低至 16 毫秒。模型基于 LFM 单前向传播不生成 token,已在 Hugging Face 开放。
推荐理由:Liquid AI 开放 d1-3B 等决策模型权重,以单前向传播在 Jetson 实现低于 50 毫秒多模态推理。
谷歌正式推出 EmbeddingGemma 2,将嵌入能力从文本扩展至代码、图像、视频、音频,可统一映射到同一嵌入空间。该模型基于 Gemma 4 架构,总参数 7.4 亿,量化后纯文本端侧运行仅需约 191 MB 内存,配备 8K Token 上下文窗口。开发者可在 Hugging Face 下载并用于搭建离线跨模态检索系统,这是初代 EmbeddingGemma 的升级版本。
Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数、基于 Gemma 4 架构并采用 Apache 2.0 许可的开源多模态嵌入模型,可将文本、代码、图像、视频和音频统一映射到嵌入空间。
推荐理由:原文给出了轻量多模态嵌入模型的端侧性能指标与模块化设计,读者可据此评估本地 RAG 与跨模态搜索的可行性。
Google 称 EmbeddingGemma 2 多模态嵌入模型以 740M 参数在基准上超越两倍大小竞品。模型开源可本地运行,配合 Gemma 4 支持离线 RAG,权重发布于 Hugging Face 与 Kaggle。其在 MTEB(Code) 获 78.68 分,较前代 68.76 提升近 10 点,浏览器 WebGPU 查询需 20-70 毫秒。
亚马逊 Strands Agents 团队推出开源决策模型 Strands Decider 2B,支持在本地 CPU/GPU 上运行。该模型基于 Qwen3.5-2B 躯干,通过 rank-16 LoRA 微调并替换为小型评分头部,总参数仅略超一百万。在 JevBench 上,其 2B 级别模型排名第 3,常见硬件上决策时延中位数为 113ms。
Liquid AI 发布 LFM2.5-VL-DSpark 实验性草稿模型,为 LFM2.5-VL-3B 视觉语言模型引入推测解码路径。该模型增加 280M 参数,在 H100 上实现最高 2.66x 解码加速,并支持 llama.cpp、MLX-VLM 和 SGLang。
IFM 发布 K2 Horizon 模型家族,包含 0.9B、3.7B、7B、32B、36B 和 375B 六款语言模型,并公开各模型训练代码与日志。模型与代码基于 Apache 2.0 许可,额外释放中间检查点及奖励黑客行为记录,便于社区审计;这是 IFM 自 LLM360 线以来首次覆盖端侧到 375B 智能体全尺寸范围。
Google DeepMind 发布多语种手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。
推荐理由:SL2T 把多语种手语翻译从实验室带进 Gboard 与 Live Transcribe,读者可了解其数据规模与隐私设计。
Meta Superintelligence Labs 发布 30B 参数模型 Muse Glimmer,面向在单张消费级 GPU 上常驻运行的本地智能体,权重以 Apache 2.0 许可发布于 HuggingFace。