跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

68 条精选近 30 天 15 条共收录 552 条

更新

精选归档 · 第 2 页

10月15日周四
  1. Hugging Face Blog67

    Apertus 1.5 发布:8B 与 70B 开源模型新增图像音频理解、思考模式与 262k 上下文

    Apertus 项目发布 1.5 版 8B 和 70B 开源模型,新增图像音频理解、思考模式、262,144 token 上下文及更强工具调用。模型权重于2026年7月24日以 Apache 2.0 许可发布在 Hugging Face,全程开放训练数据与细节。

    推荐理由:Apertus 1.5以早期融合将图像音频转为离散token,训练细节全开放,研究者可复现各阶段对多模态能力影响。

10月14日周三
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon 前沿模型,今起全球开放用于编码金融法律等复杂任务,每百万输入 token $2、输出 $10。该模型在 Vals Index 经济领域基准排名第一,内部使用将智能体代码提交提升超 35%。此为 Gemini 4 家族首款发布的模型。

    推荐理由:原文给出Gemini 4 Argon的全球可用入口与定价,读者可对比其在多项基准对经济领域的领先表现。

10月8日周四
  1. Hugging Face Blog63

    Liquid AI 发布多模态开放 d1 边缘决策模型 d1-3B 与 d1-omni-600M

    今日 Liquid AI 发布开放权重 d1 决策模型 d1-3B 与实验性 d1-omni-600M,可在边缘设备做多模态决策。d1-3B 在 Decision Index 0.2.1 得 48.57 分超 Decider 35B-A3B,于 Jetson 延迟低至 16 毫秒。模型基于 LFM 单前向传播不生成 token,已在 Hugging Face 开放。

    推荐理由:Liquid AI 开放 d1-3B 等决策模型权重,以单前向传播在 Jetson 实现低于 50 毫秒多模态推理。

10月7日周三
  1. Google DeepMind66

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个 740M 参数、基于 Gemma 4 架构并采用 Apache 2.0 许可的开源多模态嵌入模型,可将文本、代码、图像、视频和音频统一映射到嵌入空间。

    推荐理由:原文给出了轻量多模态嵌入模型的端侧性能指标与模块化设计,读者可据此评估本地 RAG 与跨模态搜索的可行性。

10月6日周二
  1. Mistral AI77

    Mistral 发布 Mistral Large 4 公开预览版

    Mistral 发布 Mistral Large 4 公开预览版,这是一款 1 trillion-parameter 原生多模态开放权重模型,预览 API 已上线、权重月底发布。它在编码、智能体与多模态理解上超越欧美开放权重模型,并支持企业自主部署于网安等敏感领域。此为 Mistral 获 €3 billion Series D 后首个里程碑。

    推荐理由:Mistral Large 4 开放权重预览已上线,企业能在欧洲自建设施部署前沿多模态模型,降低对第三方API与内容审查的依赖。

10月2日周五
  1. MiniMax 动态62

    MiniMax 发布音乐生成模型 Music 3.0

    MiniMax 正式推出新一代音乐生成模型 Music 3.0,用户提供一个创意想法和可选歌词即可一次生成一首最长 5 分钟的完整歌曲,涵盖作曲、编曲、演唱与制作。

    推荐理由:官方拆解了从多层 RVQ、Hybrid-LM 到 Flow-Matching 的完整生成链路,读者可据此判断音乐生成在音质与人声自然度上的改进方向。

  2. MiniMax 动态74

    MiniMax 发布全模态生成模型 H3

    MiniMax 正式发布全模态生成模型 H3,支持对文本、图像、视频、声音组成的多模态上下文统一理解,可输出原生双声道音视频,最高支持 15s 2K 分辨率。官方称在 2K 分辨率下每秒价格不到主流模型的 1/3,768P 下约为主流模型 720P 的 1/2。MiniMax 计划在未来几天内在符合相关法律法规的前提下开放模型权重,并称 H3 设计初期已考虑多款现有国产芯片的兼容性。

    推荐理由:官方给出全模态生成的预训练任务划分与三项关键技术取舍,可看清视频模型从专用走向任务统一的路线。

9月30日周三
  1. Google DeepMind68

    Google DeepMind 发布 SynthID Bio 合成生物水印技术

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,在保持蛋白质生物功能的同时嵌入可验证签名。实验显示,水印设计在结合亲和力和序列多样性上与无水印版本相当,并成功创建了首个具有生物功能的水印蛋白质结合器。

    推荐理由:原文展示了在保持生物功能前提下对蛋白质进行水印验证的方法,为合成生物安全提供了新的技术路径。

9月29日周二
  1. Microsoft Research62

    微软研究院推出面向生物学复杂性的 AI 研究系统 Quine

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据联合训练的生物学世界模型,以及连接模型、科学工具、文献和实验人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 的生物学世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟流式视频与语音结合实现近实时视觉存在。该功能支持 97 种语言的唇形同步,并能在对话进行中后台异步执行工具调用,目前已通过 Gemini Enterprise 开放。

    推荐理由:原文展示了实时视频与语音结合的多模态交互能力,以及后台异步工具调用机制,为构建企业级虚拟助手提供了具体参考。

9月24日周四
  1. NVIDIA Blog60

    NVIDIA 与 Google DeepMind 等机构开放 2800 多种病毒蛋白复合物 3D 结构预测数据

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,通过 AlphaFold Database 开放了超过 2800 种病毒的蛋白复合物 3D 结构预测数据。该数据集利用 AlphaFold2 和 NVIDIA BioNeMo Inference Runtime 生成,其中约 30% 的蛋白相互作用是科学界首次记录,旨在帮助科学家提前储备应对未来大流行的知识。

    推荐理由:NVIDIA 与 Google DeepMind 等机构开放了 2800 多种病毒的蛋白复合物 3D 结构预测数据,为未来疫情应对提供基础生物学知识储备。

9月10日周四
9月8日周二
  1. Google DeepMind73

    Google DeepMind 发布 AlphaGenome Atlas 全基因组变异预测平台

    Google DeepMind 发布 AlphaGenome Atlas,提供人类基因组中 90 亿种单核苷酸变异的分子效应预测。该平台包含 1PB 数据集,并推出 AVI 评分以整合 AlphaGenome 和 AlphaMissense 的预测结果,帮助研究人员快速排序和解读基因变异。

    推荐理由:原文展示了覆盖全基因组 90 亿种变异的预测平台,为遗传学研究提供了可复用的分子效应评估工具。

9月3日周四
  1. Google DeepMind84

    Google DeepMind 发布 WeatherNext 3 全球气象 AI 模型

    Google DeepMind 发布 WeatherNext 3,这是其最先进的全球气象 AI 模型,支持实时卫星数据输入和每小时刷新。该模型在 5 公里分辨率下提供温度等表面变量预测,并将降水预测准确率提升最高 60%,已集成至 Search、Gemini 和 Maps 等产品。

    推荐理由:模型直接学习实时卫星数据并实现每小时更新,为高纬度地区提供更高精度的局部气象预测。

9月2日周三
8月28日周五
8月21日周五
  1. DeepSeek API 更新日志68

    DeepSeek-V4-Flash-Vision-Exp 发布

    DeepSeek 在 API 平台发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp。其纯文本能力与 DeepSeek-V4-Flash 持平,在需视觉理解的 agent 基准上显著跃升,多模态 agent 能力接近 Opus-4.8。调用需设置 model='deepseek-v4-flash-vision-exp'。

    推荐理由:DeepSeek 正式发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,该模型在需视觉理解的 agent 基准上较同族文本模型大幅跃升,多模态 agent 能力接近 Opus-4.8。

8月12日周三
  1. Google DeepMind78

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:SL2T 把多语种手语翻译从实验室带进 Gboard 与 Live Transcribe,读者可了解其数据规模与隐私设计。

  2. Google Research71

    Google 发布 AMIE (Video):实时视频问诊达到专家级水平

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 的实时视频问诊配置,能感知非语言临床线索、引导虚拟体格检查并实时进行诊断推理。

    推荐理由:Google 用 300 场随机对照问诊给出实时视频临床 AI 的专家级评测结果,可看多智能体异步架构如何兼顾低延迟对话与深度推理。

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有