Apertus 1.5 发布:8B 与 70B 开源模型新增图像音频理解、思考模式与 262k 上下文
Apertus 项目发布 1.5 版 8B 和 70B 开源模型,新增图像音频理解、思考模式、262,144 token 上下文及更强工具调用。模型权重于2026年7月24日以 Apache 2.0 许可发布在 Hugging Face,全程开放训练数据与细节。
推荐理由:Apertus 1.5以早期融合将图像音频转为离散token,训练细节全开放,研究者可复现各阶段对多模态能力影响。
技术方向
文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。
68 条精选近 30 天 15 条共收录 552 条
Apertus 项目发布 1.5 版 8B 和 70B 开源模型,新增图像音频理解、思考模式、262,144 token 上下文及更强工具调用。模型权重于2026年7月24日以 Apache 2.0 许可发布在 Hugging Face,全程开放训练数据与细节。
推荐理由:Apertus 1.5以早期融合将图像音频转为离散token,训练细节全开放,研究者可复现各阶段对多模态能力影响。
Google DeepMind 发布 Gemini 4 Argon 前沿模型,今起全球开放用于编码金融法律等复杂任务,每百万输入 token $2、输出 $10。该模型在 Vals Index 经济领域基准排名第一,内部使用将智能体代码提交提升超 35%。此为 Gemini 4 家族首款发布的模型。
推荐理由:原文给出Gemini 4 Argon的全球可用入口与定价,读者可对比其在多项基准对经济领域的领先表现。
今日 Liquid AI 发布开放权重 d1 决策模型 d1-3B 与实验性 d1-omni-600M,可在边缘设备做多模态决策。d1-3B 在 Decision Index 0.2.1 得 48.57 分超 Decider 35B-A3B,于 Jetson 延迟低至 16 毫秒。模型基于 LFM 单前向传播不生成 token,已在 Hugging Face 开放。
推荐理由:Liquid AI 开放 d1-3B 等决策模型权重,以单前向传播在 Jetson 实现低于 50 毫秒多模态推理。
Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数、基于 Gemma 4 架构并采用 Apache 2.0 许可的开源多模态嵌入模型,可将文本、代码、图像、视频和音频统一映射到嵌入空间。
推荐理由:原文给出了轻量多模态嵌入模型的端侧性能指标与模块化设计,读者可据此评估本地 RAG 与跨模态搜索的可行性。
Mistral 发布 Mistral Large 4 公开预览版,这是一款 1 trillion-parameter 原生多模态开放权重模型,预览 API 已上线、权重月底发布。它在编码、智能体与多模态理解上超越欧美开放权重模型,并支持企业自主部署于网安等敏感领域。此为 Mistral 获 €3 billion Series D 后首个里程碑。
推荐理由:Mistral Large 4 开放权重预览已上线,企业能在欧洲自建设施部署前沿多模态模型,降低对第三方API与内容审查的依赖。
MiniMax 正式推出新一代音乐生成模型 Music 3.0,用户提供一个创意想法和可选歌词即可一次生成一首最长 5 分钟的完整歌曲,涵盖作曲、编曲、演唱与制作。
推荐理由:官方拆解了从多层 RVQ、Hybrid-LM 到 Flow-Matching 的完整生成链路,读者可据此判断音乐生成在音质与人声自然度上的改进方向。
MiniMax 正式发布全模态生成模型 H3,支持对文本、图像、视频、声音组成的多模态上下文统一理解,可输出原生双声道音视频,最高支持 15s 2K 分辨率。官方称在 2K 分辨率下每秒价格不到主流模型的 1/3,768P 下约为主流模型 720P 的 1/2。MiniMax 计划在未来几天内在符合相关法律法规的前提下开放模型权重,并称 H3 设计初期已考虑多款现有国产芯片的兼容性。
推荐理由:官方给出全模态生成的预训练任务划分与三项关键技术取舍,可看清视频模型从专用走向任务统一的路线。
DeepSeek 发布 V4.1 Flash,这是全新模型结构系列中最小尺寸的模型,为 552B 参数的 MoE 模型并具备原生多模态视觉理解能力,API 模型名改为 deepseek-flash 即可调用。
推荐理由:原文给出 552B MoE 结构、KV Cache 压缩幅度与 API 定价调整,可据此判断高效推理模型的成本走向。
Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,在保持蛋白质生物功能的同时嵌入可验证签名。实验显示,水印设计在结合亲和力和序列多样性上与无水印版本相当,并成功创建了首个具有生物功能的水印蛋白质结合器。
推荐理由:原文展示了在保持生物功能前提下对蛋白质进行水印验证的方法,为合成生物安全提供了新的技术路径。
微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据联合训练的生物学世界模型,以及连接模型、科学工具、文献和实验人员的交互式 harness 组成。
推荐理由:微软研究院公开 Quine 的生物学世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟流式视频与语音结合实现近实时视觉存在。该功能支持 97 种语言的唇形同步,并能在对话进行中后台异步执行工具调用,目前已通过 Gemini Enterprise 开放。
推荐理由:原文展示了实时视频与语音结合的多模态交互能力,以及后台异步工具调用机制,为构建企业级虚拟助手提供了具体参考。
NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,通过 AlphaFold Database 开放了超过 2800 种病毒的蛋白复合物 3D 结构预测数据。该数据集利用 AlphaFold2 和 NVIDIA BioNeMo Inference Runtime 生成,其中约 30% 的蛋白相互作用是科学界首次记录,旨在帮助科学家提前储备应对未来大流行的知识。
推荐理由:NVIDIA 与 Google DeepMind 等机构开放了 2800 多种病毒的蛋白复合物 3D 结构预测数据,为未来疫情应对提供基础生物学知识储备。
DeepSeek 正式发布 DeepSeek-V4.1-Flash 模型,为新架构家族最小模型并原生支持多模态视觉理解。
推荐理由:DeepSeek-V4.1-Flash作为新架构最小原生多模态模型发布,API改用deepseek-flash且旧名临时路由,价格随之下调便于迁移。
Google DeepMind 发布 AlphaGenome Atlas,提供人类基因组中 90 亿种单核苷酸变异的分子效应预测。该平台包含 1PB 数据集,并推出 AVI 评分以整合 AlphaGenome 和 AlphaMissense 的预测结果,帮助研究人员快速排序和解读基因变异。
推荐理由:原文展示了覆盖全基因组 90 亿种变异的预测平台,为遗传学研究提供了可复用的分子效应评估工具。
Google DeepMind 发布 WeatherNext 3,这是其最先进的全球气象 AI 模型,支持实时卫星数据输入和每小时刷新。该模型在 5 公里分辨率下提供温度等表面变量预测,并将降水预测准确率提升最高 60%,已集成至 Search、Gemini 和 Maps 等产品。
推荐理由:模型直接学习实时卫星数据并实现每小时更新,为高纬度地区提供更高精度的局部气象预测。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,通过原生视频工具动态搜索、扫描和检查目标片段,替代固定帧率的静态处理。
推荐理由:官方给出 token 与成本降幅及准确率变化,并说明在长视频场景下与静态处理的取舍差异。
Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者带来一批生成视频创作控制能力,通过 Gemini API 在 Google AI Studio 提供。
推荐理由:官方给出场景延展、首尾帧插值与 4K 上采样等具体能力与开放入口,可据此判断生成视频工作流的变化。
DeepSeek 在 API 平台发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp。其纯文本能力与 DeepSeek-V4-Flash 持平,在需视觉理解的 agent 基准上显著跃升,多模态 agent 能力接近 Opus-4.8。调用需设置 model='deepseek-v4-flash-vision-exp'。
推荐理由:DeepSeek 正式发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,该模型在需视觉理解的 agent 基准上较同族文本模型大幅跃升,多模态 agent 能力接近 Opus-4.8。
Google DeepMind 发布多语种手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。
推荐理由:SL2T 把多语种手语翻译从实验室带进 Gboard 与 Live Transcribe,读者可了解其数据规模与隐私设计。
Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 的实时视频问诊配置,能感知非语言临床线索、引导虚拟体格检查并实时进行诊断推理。
推荐理由:Google 用 300 场随机对照问诊给出实时视频临床 AI 的专家级评测结果,可看多智能体异步架构如何兼顾低延迟对话与深度推理。