跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

68 条精选近 30 天 15 条共收录 552 条

更新

多模态的精选

今天11月18日周三
  1. Testing Catalog76

    Microsoft 在 Ignite 2026 发布七个 MAI 模型

    Microsoft 在 Ignite 2026 发布七个新的 MAI 模型,覆盖编码、安全、图像生成、语音、转录和模型路由。Microsoft 称 MAI Code 2 在多项编码基准上达到 GPT-6.1 Sol 98% 的质量、约 40% 的价格,MAI Cyber 2 Flash 提供 100 万 token 上下文窗口。

    推荐理由:MAI 新模型覆盖编码、安全、图像和路由并给出多项价格与基准对照,便于判断企业AI落地的成本取舍。

  2. 量子位80

    AMD完成对World Labs的收购,李飞飞正式出任执行副总裁兼首席科学家

    AMD宣布完成对World Labs的收购,交易对价约82亿美元且为全股票,李飞飞出任执行副总裁兼首席科学家。从9月28日签约到11月13日交割历时46天,AMD向World Labs原股东定向发行1497.8万股普通股。

    推荐理由:材料把82亿美元并购放进AMD收购史和英伟达软硬布局的对照中,呈现模型团队与芯片栈协同的竞争逻辑。

11月16日周一
  1. 量子位80

    阿里巴巴发布Qwen4-Max,智能体与编程能力进阶

    阿里巴巴发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力并支持百万上下文。Qwen4-Max采用基于Qwen稀疏注意力(QSA)的全新MoE架构,2.4T总参数仅激活71B,CodeArena前端编程盲测位居第六。

    推荐理由:材料给出Qwen4-Max与上一代在Token用量、任务费用和多项评测上的对比,便于判断效率与能力变化。

11月13日周五
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 4 Hydrogen

    Google DeepMind 今日发布 Gemini 4 Hydrogen 模型,面向 Google AI Studio、Gemini API、Gemini app、Search 等全员开放,默认高思考层级在 Artificial Analysis Intelligence Index 获 51 分超越 Argon 的 50 分。

    推荐理由:Gemini 4 Hydrogen以统一价格和四档思考层级面向全员开放,开发团队可据此权衡不同智能体任务的成本与延迟。

11月11日周三
  1. Google DeepMind83

    Gemini 4 Carbon 现已开放

    Google DeepMind 今日开放 Gemini 4 Carbon 模型,提供前沿网络安全与长程代理工作流能力。该模型在 CursorBench 4.0、WANDR 等基准排名第一且任务成本低于次优外部模型一半以上,通过 AI Studio API 以与 Gemini 4 Argon 相同价格($2/$10 per M tokens)开放。

    推荐理由:Gemini 4 Carbon定价与Gemini 4 Argon一致,但面向更复杂编程与科研任务,开发者可对比二者选型。

11月6日周五
  1. Latent Space78

    Thinking Machines 发布 Inkling 2 Small:17B 活跃/594B 总参数 MoE,68 小时训练击败 Muse Spark

    Thinking Machines 发布 Inkling 2 Small,一个 594B 总参数、17B 活跃的多模态 MoE 模型,68 小时原生 NVFP4 预训练完成并击败 Muse Spark。该模型在 Artificial Analysis 智能指数达 31 分,超越前代,Apache 2.0 权重预计下周开放,有望成为最高分的美国开放权重模型。

    推荐理由:原文给出 Inkling 2 Small 的 68 小时训练效率和多项基准成绩,读者可据此评估西方开放权重模型的新定位。

  2. Google Research67

    Google Research 发表 AI-PPG-ACC-HTN:用智能手表被动检测高血压迹象

    Google Research 在 Nature 发表 AI-PPG-ACC-HTN 系统,利用智能手表 PPG 和 ACC 数据被动检测高血压迹象,无需袖带校准。该系统在 196 人多中心研究中达成初始筛查特异度 90.0%、确认测试 PPV 96.7%,准确率可比传统袖带诊断。研究强调其仅作机会性筛查早期验证,不代表现有或即将推出的商业功能。

    推荐理由:论文提出AI-PPG-ACC-HTN系统,用智能手表被动检测高血压,准确率可比袖带诊断,为机会性筛查提供路径。

11月5日周四
10月31日周六
  1. IT之家79

    苹果 Apple 智能国行版官宣落地:接入阿里千问,11月4日随iOS开发者Beta版开放测试

    苹果今日宣布Apple智能国行版将接入阿里千问,11月4日起随iOS开发者Beta版开放测试。该功能12月随iOS 27.3正式发布,涵盖实时翻译、写作工具、视觉智能等,本次不包含Siri AI及WWDC 2026宣布的下一代功能。

    推荐理由:苹果Apple智能国行版官宣接入千问并开放测试,中国用户可据此了解本地化AI助手的功能范围与上线节奏。

10月29日周四
  1. Hugging Face Blog79

    Mistral 发布多模态 MoE 模型 Mistral Large 4(Le Chonk)并上线 Hugging Face

    Mistral 发布多模态 MoE 模型 Mistral Large 4(Le Chonk),总参数约1T、活跃49B、上下文窗口1M tokens,已上线 Hugging Face。该模型在 Artificial Analysis 开源权重情报指数排名第五,网络安全任务中漏洞复现修补达82%,并提供 transformers、vLLM、llama.cpp 首日推理支持。

    推荐理由:Mistral Large 4 以开放权重形式发布并配齐 transformers、vLLM、llama.cpp 等首日部署方案,社区可据此在本地搭建可控的防御性安全分析工作流。

  2. Google DeepMind68

    Google DeepMind 发布 Gemini 4 Carbon 前沿模型

    Google DeepMind 发布 Gemini 4 Carbon 前沿模型,这是其当前最强模型,在网络安全与长程智能体任务上达到 SOTA。模型在 SEC-bench Pro 获 88.2%、ExploitGym 54.8%、CWE-bench 71.0%,定价与 Argon 相同为每百万输入 token $2、输出 $10,本周起向部分网络防御者开放。

    推荐理由:相较两周前发布的 Argon,Carbon 在网络安全与对齐基准上显著提升,读者可关注其通过 Fairwind 计划逐步开放的节奏。

10月28日周三
  1. Hugging Face Blog76

    用 LFM3 构建专用多模态模型

    LFM3 提供文本、视觉、音频、omni 和决策等六种 2B 参数级模型,基于统一骨干,可用于构建专用多模态智能体。相比 LFM2 家族,LFM3-1.7B 用少 35% 参数超越 LFM2.5-2.6B;所有模型今天在 Hugging Face 开放权重。

    推荐理由:LFM3以统一骨干提供六种2B级模态模型,可在单GPU微调并端侧部署,降低专用多模态智能体构建门槛。

  2. Google DeepMind71

    Google DeepMind 发布 Genie 4 新一代世界模拟模型

    Google DeepMind 发布 Genie 4 世界模型,可原生生成多模态实时模拟,在物理、人类动作与音频写实度上实现显著提升。该模型借助 Gemini 家族提供推理以维持模拟连贯,目前已向受信测试者开放研究预览,后续将登陆 Google AI Ultra 等平台。

    推荐理由:Genie 4将实时世界模拟的写实度、物理与人类动作连贯性推进到新水平,当前仅以研究预览向受信测试者开放。

10月22日周四
  1. Google Research62

    Google Research 研究显示 AI 盲扫超声评估孕周可跨机构泛化

    Google Research 在 JAMA Network Open 发表研究,显示 AI 从盲扫超声评估孕周在芝加哥与内罗毕前瞻测试中非劣于专家(MAE 4.18 天对比 4.48 天)。内罗毕站点零本地优化即达 MAE 4.27 天,模型仅用芝加哥 120 例数据微调。此为继回顾性验证后首次实地多中心前瞻性测试。

    推荐理由:论文显示AI从盲扫超声评估孕周在两地均接近专家水平,意味着低成本探头配合新手操作可扩展产前筛查覆盖。

10月21日周三
  1. Hacker News · AI 热帖79

    AI图像生成实践指南:从扩散模型到智能体

    westsmith 撰写了 AI 图像生成实践指南,系统讲解从扩散模型到智能体集成的原理、成本与代码实践。文中基于调用 Flux、Gemini 等模型的实验,总结了描述相机而非视图等提示词方法与不依赖提供商的薄接口模式。该指南还演示了 Claude 通过 MCP 调用图像模型形成智能体驱动生成回路。

    推荐理由:作者基于调用多家图像接口的实验,总结出不依赖具体提供商的薄接口、日志与重试模式,便于工程复用。

10月18日周日
  1. 量子位85

    DeepSeek发布V4.1-Flash-1017新模型,开放自研搜索API

    DeepSeek发布V4.1-Flash-1017模型,开放自研搜索API并增强DeepSeek Harness至0.2.1版本。新模型在代码与Agent任务表现提升的同时压低了运行时间和token费用;搜索API提供Search与Fetch接口,限时免费至11月1日。

    推荐理由:新模型V4.1-Flash-1017在提升Agent与代码能力的同时压低了运行开销,并开放自研搜索API供外部调用。

10月17日周六
  1. Testing Catalog77

    Meta 的 Muse Spark Open 针对新 Mac Studio 优化

    Meta的Muse Spark Open针对新Mac Studio优化,可在双Apple M5 Ultra Mac Studio上通过MLX本地运行816B参数开放权重模型。该模型支持1M token上下文与多模态,权重已在Hugging Face等平台开放下载,开发者可定制部署。

    推荐理由:Meta开放Muse Spark Open权重并支持双Mac Studio本地部署,开发者可借此在端侧运行816B参数多模态模型。

  2. 量子位84

    谷歌发布 Gemini 4 Argon:API 限时半价,重回御三家

    谷歌正式发布 Gemini 4 Argon 模型,API 每百万输入 token 2 美元、输出 10 美元限时半价至 11 月 30 日。该模型加强编程、多模态与长任务执行能力,第三方评测并列53分且调用成本约竞品一半到五分之一。谷歌同时发布217页安全报告。

    推荐理由:Gemini 4 Argon首发API价格打五折,调用成本约竞品一半到五分之一,开发者可低成本评估其长任务能力。

10月16日周五
  1. Hugging Face Blog84

    欢迎 Muse Spark Open:Meta 的开放权重多模态 MoE 模型

    Meta 发布了开放权重多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 活跃 42B,上下文窗口最高 1M token。该模型支持文本、图像、音频、视频输入,专注于智能体编码与工具调用,文章提供了 transformers、llama.cpp 等框架的部署与微调方法。此前 Meta 在 8 月发布了同系列小模型 Muse Glimmer。

    推荐理由:本文给出了在 llama.cpp、vLLM、SGLang 等推理框架的部署方案与 TRL 微调示例,便于开发者快速落地。

  2. NVIDIA Blog65

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 模型,覆盖从数据中心到边缘的智能体部署

    NVIDIA 今日发布 Nemotron 3.5 Super VL 与两款 Bolt 边缘模型,覆盖从企业服务器到边缘的智能体部署。Super VL 为 120B 参数多模态模型,速度快达同类 5x 且以约五分之一参数量媲美 NVIDIA 最大推理模型精度;Bolt 74B-A9B 24GB 与 Bolt E4B 4GB 针对本地硬件优化,后者 10 月 23 日推出。

    推荐理由:NVIDIA 新发 Nemotron 3.5 Super VL 以约五分之一参数量媲美自家最大推理模型精度,并开放权重供组织在自有设施微调部署。

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有