跳到正文

#多模态

今日 0 条
10月6日周二
  1. Hugging Face Blog46

    Falcon-Emirati-7B 发布:基于 Falcon-H1-Arabic 的阿联酋方言专用 LLM

    Hugging Face 发布 Falcon-Emirati-7B,这是基于 Falcon-H1-Arabic 构建的阿联酋方言专用模型,旨在理解并生成符合母语者习惯的词汇、语气及文化语境。该模型采用 7B 参数规模,在保持训练与推理成本可控的同时,通过混合真实方言数据、MSA 文化内容及受控合成数据,弥补了通用阿拉伯语模型在方言细微差别上的不足。

10月5日周一
10月2日周五
  1. MiniMax 动态62

    MiniMax 发布音乐生成模型 Music 3.0

    MiniMax 正式推出新一代音乐生成模型 Music 3.0,用户提供一个创意想法和可选歌词即可一次生成一首最长 5 分钟的完整歌曲,涵盖作曲、编曲、演唱与制作。

    推荐理由:官方拆解了从多层 RVQ、Hybrid-LM 到 Flow-Matching 的完整生成链路,读者可据此判断音乐生成在音质与人声自然度上的改进方向。

  2. MiniMax 动态74

    MiniMax 发布全模态生成模型 H3

    MiniMax 正式发布全模态生成模型 H3,支持对文本、图像、视频、声音组成的多模态上下文统一理解,可输出原生双声道音视频,最高支持 15s 2K 分辨率。官方称在 2K 分辨率下每秒价格不到主流模型的 1/3,768P 下约为主流模型 720P 的 1/2。MiniMax 计划在未来几天内在符合相关法律法规的前提下开放模型权重,并称 H3 设计初期已考虑多款现有国产芯片的兼容性。

    推荐理由:官方给出全模态生成的预训练任务划分与三项关键技术取舍,可看清视频模型从专用走向任务统一的路线。

  3. 字节 Seed · 基础模型博客16

    字节 Seed 基础模型论文列表

    字节 Seed 基础模型博客公开了 242 篇研究论文,涵盖 LLM 持续改进、编码智能体指令遵循及 VLM 空间感知等方向。最新论文包括 2026.08.18 发布的 Chain-of-Experience for Continual LLM Improvement 和 2026.08.12 发布的 Harness-IF。该列表展示了团队在基础模型、多模态及科学计算领域的持续研究成果。

  4. 字节 Seed · 基础模型博客48

    字节 Seed2.1 模型发布

    字节 Seed2.1 模型发布,在 KINA、SuperGPQA 等知识基准及 SWE-Atlas、Terminal Bench 2.1 等代码与智能体任务中取得高分。该模型在 MathVision、MMMU-Pro 等多模态推理及 VideoMME 长视频理解测试中表现优异,展现了其在复杂场景下的综合能力。

  5. Kimi 研究博客47

    Kimi 开源 Vendor Verifier 项目以验证开源模型推理实现

    月之暗面随 Kimi K2.6 模型发布开源了 Kimi Vendor Verifier (KVV) 项目,旨在帮助用户验证开源模型推理实现的准确性。该项目包含 OCRBench、AIME2025 等六项关键基准测试,用于检测 KV cache 错误及量化退化等基础设施问题。此前 K2 Thinking 发布后社区频繁反馈基准分数异常,KVV 旨在解决开源生态中工程实现偏差导致的信任危机。

  6. Kimi 研究博客43

    Kimi 团队发布 WorldVQA 多模态视觉知识评测基准

    Kimi 团队发布 WorldVQA 基准,包含 3,500 个图像问答对以评估多模态大语言模型的原子视觉世界知识。实验显示前沿模型在长尾知识上准确率常低于 50%,且普遍存在过度自信现象,其中 Kimi-K2.5 在 ECE 和 Slope 指标上表现最佳。该数据集及评测脚本已开源,旨在推动多模态 AI 的事实可靠性。

10月1日周四
  1. AWS Machine Learning Blog31

    Condé Nast 如何利用 Amazon Bedrock 构建多模态视频发现系统

    Condé Nast 基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频发现系统,将内容检索时间从 250 分钟缩短至 2 分钟以内。该系统采用 TwelveLabs Marengo 嵌入模型,对超过 140,000 个视频的转录、视觉和音频信号进行联合编码,支持基于意图的语义搜索。此前编辑团队依赖标题和描述手动查找素材,导致运营效率低下。

9月30日周三
  1. Google DeepMind68

    Google DeepMind 发布 SynthID Bio 合成生物水印技术

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,在保持蛋白质生物功能的同时嵌入可验证签名。实验显示,水印设计在结合亲和力和序列多样性上与无水印版本相当,并成功创建了首个具有生物功能的水印蛋白质结合器。

    推荐理由:原文展示了在保持生物功能前提下对蛋白质进行水印验证的方法,为合成生物安全提供了新的技术路径。

9月29日周二
  1. Microsoft Research62

    微软研究院推出面向生物学复杂性的 AI 研究系统 Quine

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据联合训练的生物学世界模型,以及连接模型、科学工具、文献和实验人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 的生物学世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

9月26日周六
9月25日周五
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,通过低延迟流式视频与语音结合实现近实时视觉存在。该功能支持 97 种语言的唇形同步,并能在对话进行中后台异步执行工具调用,目前已通过 Gemini Enterprise 开放。

    推荐理由:原文展示了实时视频与语音结合的多模态交互能力,以及后台异步工具调用机制,为构建企业级虚拟助手提供了具体参考。

9月24日周四
  1. NVIDIA Blog60

    NVIDIA 与 Google DeepMind 等机构开放 2800 多种病毒蛋白复合物 3D 结构预测数据

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,通过 AlphaFold Database 开放了超过 2800 种病毒的蛋白复合物 3D 结构预测数据。该数据集利用 AlphaFold2 和 NVIDIA BioNeMo Inference Runtime 生成,其中约 30% 的蛋白相互作用是科学界首次记录,旨在帮助科学家提前储备应对未来大流行的知识。

    推荐理由:NVIDIA 与 Google DeepMind 等机构开放了 2800 多种病毒的蛋白复合物 3D 结构预测数据,为未来疫情应对提供基础生物学知识储备。

9月23日周三
9月18日周五
  1. Google Research55

    Google Research 发布利用生成式 UI 创建交互式学习模拟的研究

    Google Research 发布新研究,利用生成式 UI 让教师创建定制化的交互式 STEM 学习模拟。该研究基于 LearnLM 模型,通过教学护栏和自纠正循环确保内容准确性,并发布了包含 30 多个英语 STEM 交互示例的库。美国 12 名教师试点反馈积极,平均评分 8/10,学校可通过 Google for Education Pilot Program 申请参与。

9月10日周四
9月8日周二
  1. Google DeepMind73

    Google DeepMind 发布 AlphaGenome Atlas 全基因组变异预测平台

    Google DeepMind 发布 AlphaGenome Atlas,提供人类基因组中 90 亿种单核苷酸变异的分子效应预测。该平台包含 1PB 数据集,并推出 AVI 评分以整合 AlphaGenome 和 AlphaMissense 的预测结果,帮助研究人员快速排序和解读基因变异。

    推荐理由:原文展示了覆盖全基因组 90 亿种变异的预测平台,为遗传学研究提供了可复用的分子效应评估工具。

9月3日周四
  1. Google DeepMind84

    Google DeepMind 发布 WeatherNext 3 全球气象 AI 模型

    Google DeepMind 发布 WeatherNext 3,这是其最先进的全球气象 AI 模型,支持实时卫星数据输入和每小时刷新。该模型在 5 公里分辨率下提供温度等表面变量预测,并将降水预测准确率提升最高 60%,已集成至 Search、Gemini 和 Maps 等产品。

    推荐理由:模型直接学习实时卫星数据并实现每小时更新,为高纬度地区提供更高精度的局部气象预测。

9月2日周三
8月28日周五
8月26日周三
8月21日周五
  1. DeepSeek API 更新日志68

    DeepSeek-V4-Flash-Vision-Exp 发布

    DeepSeek 在 API 平台发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp。其纯文本能力与 DeepSeek-V4-Flash 持平,在需视觉理解的 agent 基准上显著跃升,多模态 agent 能力接近 Opus-4.8。调用需设置 model='deepseek-v4-flash-vision-exp'。

    推荐理由:DeepSeek 正式发布实验性多模态视觉理解模型 DeepSeek-V4-Flash-Vision-Exp,该模型在需视觉理解的 agent 基准上较同族文本模型大幅跃升,多模态 agent 能力接近 Opus-4.8。

8月17日周一
8月13日周四
  1. Microsoft Research41

    MindTopo:微软研究院推出评估多模态模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结等拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,模型难以在场景变化中持续保持对拓扑结构的理解。图像与视频生成工具在维持拓扑关系上同样不可靠。

8月12日周三
  1. Google DeepMind78

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:SL2T 把多语种手语翻译从实验室带进 Gboard 与 Live Transcribe,读者可了解其数据规模与隐私设计。

  2. Google Research71

    Google 发布 AMIE (Video):实时视频问诊达到专家级水平

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 的实时视频问诊配置,能感知非语言临床线索、引导虚拟体格检查并实时进行诊断推理。

    推荐理由:Google 用 300 场随机对照问诊给出实时视频临床 AI 的专家级评测结果,可看多智能体异步架构如何兼顾低延迟对话与深度推理。

8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言版:364M 开源权重,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升多语言质量。

    推荐理由:原文给出 364M 开源权重模型的多语言扩展与自部署延迟数据,可据此评估自建语音链路的成本与可行性。

8月10日周一
8月4日周二
  1. Mistral AI71

    Mistral AI 发布 3B 开源多模态安全分类器 Shieldstral

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,采用 Apache 2.0 许可,可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务,推理时接受自然语言策略并输出校准后的安全分数,无需重新训练,统一处理文本与图像安全评估。官方称其在文本安全上可匹配最高 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。

    推荐理由:3B 开源权重模型以推理时自然语言策略替代固定分类体系,读者可据此判断轻量安全分类器的部署门槛。

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有