跳到正文

#多模态

今日 4 条
9月25日周五
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟流式视频与语音结合实现近实时视觉存在。该功能支持 97 种语言的唇形同步,并能在对话进行中后台异步执行工具调用,目前已通过 Gemini Enterprise 开放。

    推荐理由:原文展示了实时视频与语音结合的多模态交互能力,以及后台异步工具调用机制,为构建企业级虚拟助手提供了具体参考。

9月24日周四
  1. NVIDIA Blog60

    NVIDIA 与 Google DeepMind 等机构开放 2800 多种病毒蛋白复合物 3D 结构预测数据

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,通过 AlphaFold Database 开放了超过 2800 种病毒的蛋白复合物 3D 结构预测数据。该数据集利用 AlphaFold2 和 NVIDIA BioNeMo Inference Runtime 生成,其中约 30% 的蛋白相互作用是科学界首次记录,旨在帮助科学家提前储备应对未来大流行的知识。

    推荐理由:NVIDIA 与 Google DeepMind 等机构开放了 2800 多种病毒的蛋白复合物 3D 结构预测数据,为未来疫情应对提供基础生物学知识储备。

9月23日周三
  1. Testing Catalog49

    Google 测试 Gemini 4 Pro 早期检查点,输出显示设计能力显著提升

    Google 正在内部测试代号为 "argon" 的 Gemini 4 Pro 早期检查点,其 256k token 输出限制远超此前版本。早期测试显示该模型生成的前端代码设计整洁且解决了以往 Gemini 模型设计品味不佳的问题,单次生成耗时约 14 分钟。此前 Google 曾暗示开发 Gemini 3.5 Pro,但此次直接跳过该版本号推出 4 Pro。

9月22日周二
9月18日周五
  1. Google Research55

    Google Research 发布利用生成式 UI 创建交互式学习模拟的研究

    Google Research 发布新研究,利用生成式 UI 让教师创建定制化的交互式 STEM 学习模拟。该研究基于 LearnLM 模型,通过教学护栏和自纠正循环确保内容准确性,并发布了包含 30 多个英语 STEM 交互示例的库。美国 12 名教师试点反馈积极,平均评分 8/10,学校可通过 Google for Education Pilot Program 申请参与。

9月16日周三
9月15日周二
9月14日周一
  1. Testing Catalog36

    Gemini Notebook 即将推出交互式报告功能

    Google 的 Gemini Notebook 即将上线交互式报告功能,该功能允许在长报告中嵌入思维导图、幻灯片、测验和闪卡等工件。用户需手动触发生成,这些工件既嵌入报告也保留在笔记本中,便于学生和教育者整合多种格式。此前这些 Studio 工件仅可单独使用,Google 尚未公布具体发布日期。

9月10日周四
9月8日周二
  1. Google DeepMind73

    Google DeepMind 发布 AlphaGenome Atlas 全基因组变异预测平台

    Google DeepMind 发布 AlphaGenome Atlas,提供人类基因组中 90 亿种单核苷酸变异的分子效应预测。该平台包含 1PB 数据集,并推出 AVI 评分以整合 AlphaGenome 和 AlphaMissense 的预测结果,帮助研究人员快速排序和解读基因变异。

    推荐理由:原文展示了覆盖全基因组 90 亿种变异的预测平台,为遗传学研究提供了可复用的分子效应评估工具。

9月7日周一
  1. Testing Catalog38

    Gemini 学生版新增 Immersive View 沉浸式视图功能

    Google 在 Gemini 学生应用中上线了 Immersive View 功能,允许用户通过交互式图像节点深入探索如太空、恐龙等主题。该功能支持从宏观概念下钻至原子分子层级,目前尚不确定是测试阶段还是正式推送。此前 Google 于 2026 年 8 月 19 日公开宣布推出学生中心及交互式可视化功能。

9月3日周四
  1. Google DeepMind84

    Google DeepMind 发布 WeatherNext 3 全球气象 AI 模型

    Google DeepMind 发布 WeatherNext 3,这是其最先进的全球气象 AI 模型,支持实时卫星数据输入和每小时刷新。该模型在 5 公里分辨率下提供温度等表面变量预测,并将降水预测准确率提升最高 60%,已集成至 Search、Gemini 和 Maps 等产品。

    推荐理由:模型直接学习实时卫星数据并实现每小时更新,为高纬度地区提供更高精度的局部气象预测。

9月2日周三
8月28日周五
8月26日周三
8月22日周六
8月21日周五
  1. DeepSeek API 更新日志68

    DeepSeek-V4-Flash-Vision-Exp 发布

    DeepSeek 在 API 平台发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp。其纯文本能力与 DeepSeek-V4-Flash 持平,在需视觉理解的 agent 基准上显著跃升,多模态 agent 能力接近 Opus-4.8。调用需设置 model='deepseek-v4-flash-vision-exp'。

    推荐理由:DeepSeek 正式发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,该模型在需视觉理解的 agent 基准上较同族文本模型大幅跃升,多模态 agent 能力接近 Opus-4.8。

8月17日周一
8月13日周四
  1. Microsoft Research41

    MindTopo:微软研究院推出评估多模态模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结等拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型难以在场景变化中持续保持对拓扑结构的理解。图像与视频生成工具在维持拓扑关系上同样不可靠。

8月12日周三
  1. Google DeepMind78

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:SL2T 把多语种手语翻译从实验室带进 Gboard 与 Live Transcribe,读者可了解其数据规模与隐私设计。

  2. Google Research71

    Google 发布 AMIE (Video):实时视频问诊达到专家级水平

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 的实时视频问诊配置,能感知非语言临床线索、引导虚拟体格检查并实时进行诊断推理。

    推荐理由:Google 用 300 场随机对照问诊给出实时视频临床 AI 的专家级评测结果,可看多智能体异步架构如何兼顾低延迟对话与深度推理。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:364M 开源权重,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言质量。

    推荐理由:原文给出 364M 开源权重模型的多语言扩展与自部署延迟数据,可据此评估自建语音链路的成本与可行性。

8月10日周一
8月4日周二
  1. Mistral AI71

    Mistral AI 发布 3B 开源多模态安全分类器 Shieldstral

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,采用 Apache 2.0 许可,可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务,推理时接受自然语言策略并输出校准后的安全分数,无需重新训练,统一处理文本与图像安全评估。官方称其在文本安全上可匹配最高 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。

    推荐理由:3B 开源权重模型以推理时自然语言策略替代固定分类体系,读者可据此判断轻量安全分类器的部署门槛。

7月30日周四
  1. Google DeepMind72

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,定位为机器人的高层大脑,可理解视频、编排多步任务并把动作执行交给底层 VLA 模型,还能原生调用 Google Search 等工具。

    推荐理由:官方给出进度分类与时刻定位两项量化指标,可据此判断机器人在长任务中自我纠错与切换步骤的能力边界。

7月28日周二
7月23日周四
7月22日周三
7月21日周二
7月18日周六

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有