word2vec 究竟学到了什么?伯克利提出可定量预测的学习理论
伯克利 AI 研究团队证明,在随机小初始化等温和近似条件下,word2vec 的学习问题可化简为无权重最小二乘矩阵分解,梯度流动态有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。该矩阵仅由词共现概率与 unigram 概率定义,其顶部特征向量对应名人传记、政府行政、地理描述等可解释主题。训练因此表现为按序离散的秩递增步骤,每步降低损失并扩展一个正交子空间。
伯克利 AI 研究团队证明,在随机小初始化等温和近似条件下,word2vec 的学习问题可化简为无权重最小二乘矩阵分解,梯度流动态有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。该矩阵仅由词共现概率与 unigram 概率定义,其顶部特征向量对应名人传记、政府行政、地理描述等可解释主题。训练因此表现为按序离散的秩递增步骤,每步降低损失并扩展一个正交子空间。
DeepSeek 将 deepseek-chat 与 deepseek-reasoner 升级到 DeepSeek-V3.1,采用混合推理架构支持思考与非思考模式。相较 DeepSeek-R1-0528,新模型推理效率提升且智能体任务能力增强,SWE-bench Verified 66.0、SWE-bench Multilingual 54.5、Terminal-bench 31.3。
推荐理由:DeepSeek-V3.1 采用混合推理架构并公布 SWE-bench Verified 66.0 等基准,读者可对比 R1 版本判断其推理与智能体任务提升。
Mistral 对 Pixtral-12B 进行 LoRA 微调后,在 Aerial Image Dataset(AID)卫星图像分类任务上较基座模型显著提升,改善了密集住宅与中等住宅等易混淆类别的区分能力,并减少了模型幻觉出的无效类别名。
Mistral AI 发布 Codestral 25.08,并推出由 Codestral、Codestral Embed、Devstral 和 Mistral Code IDE 插件组成的企业级编码栈。
推荐理由:Mistral 把补全、代码检索与智能体工作流打包成可私有部署的企业编码栈,读者可据此判断自托管方案的能力边界。
Mistral AI 联合 Carbone 4 和法国生态转型署(ADEME)完成首个 AI 模型全生命周期分析,并公开两项指标:Mistral Large 2 截至 2025 年 1 月训练及 18 个月使用产生 20.4 ktCO₂e。
Mistral 为 Le Chat 上线一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由:官方一次性放出深度研究、语音、推理与图像编辑多项能力,可据此判断 Le Chat 的助手定位走向。
Mistral 发布 Voxtral 语音理解模型,提供 24B 生产级和 3B 本地与端侧两个版本,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟音频转写或 40 分钟音频理解,具备内置问答与摘要、多语言自动检测以及从语音直接触发函数调用等能力。
推荐理由:Mistral 开源语音理解模型,给出两种尺寸、32k 上下文与 API 定价,可据此判断开源语音方案的落地成本。
Mistral AI 与 All Hands AI 合作推出 Devstral Medium,并升级 Devstral Small 至 1.1。
推荐理由:Mistral 与 All Hands AI 联合发布两款代码智能体模型,给出 SWE-Bench Verified 分数与 API 定价,便于对比现有方案。
Mistral AI 推出 AI for Citizens 协作计划,帮助各国政府和公共机构战略性地运用 AI 改造公共服务、推动创新。该计划提供开源模型、自托管部署、数据主权保障及定制化研发,已与法国、卢森堡、新加坡、荷兰、英国、瑞士等国政府及公共部门合作。
Mistral AI 发布 Mistral Compute,提供私有化集成 AI 基础设施栈,涵盖 GPU、编排、API、产品与服务,形态从裸金属服务器到全托管 PaaS。
推荐理由:Mistral 从模型厂商延伸到自建 AI 基础设施,读者可据此判断欧洲算力自主路线的具体形态。
Mistral AI 发布首款推理模型 Magistral,分为 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。
推荐理由:Mistral 首款推理模型同时给出开源权重与企业版,并公开训练论文,可对照其多语言推理与速度主张。
Mistral 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,支持云端、专属容量和本地气隙 GPU 部署,代码保留在企业边界内。
推荐理由:原文给出企业级编码助手的模型组合、部署方式与客户落地案例,可据此判断私有化编码方案的取舍。
Mistral AI 发布首个面向代码的嵌入模型 Codestral Embed,称在真实代码检索场景中优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。
推荐理由:官方给出代码嵌入模型在检索基准上的对比与多维度、多精度取舍,可据此评估代码 RAG 的存储与质量平衡。
DeepSeek 将 deepseek-reasoner 模型升级到 DeepSeek-R1-0528,增强推理能力并优化前端开发。基准 AIME 2025 从70.0升至87.5,GPQA 71.5至81.0,LCB_v6 63.5至73.3,Aider 57.0至71.6,幻觉减少且支持函数调用(Tau-bench Airline 53.5/Retail 63.9)。
推荐理由:原文列出 AIME 2025 等四项基准的具体涨幅,读者可对比旧版 R1 判断推理与代码能力增强幅度,以及 token 成本变化。
Mistral 发布 Agents API,将自家语言模型与代码执行、图像生成、文档库、网页搜索等内置连接器以及 MCP 工具结合,并提供跨对话的持久记忆与智能体编排能力。
推荐理由:官方给出 Agents API 的连接器、记忆与多智能体编排能力,可据此判断企业级智能体平台的搭建方式。
Mistral AI 与 All Hands AI 合作发布面向软件工程任务的智能体模型 Devstral,在 SWE-Bench Verified 上取得 46.8%,比此前开源 SoTA 高出 6 个百分点以上,并以 Apache 2.0 许可开源。
推荐理由:官方给出 Devstral 在 SWE-Bench Verified 的分数与开源许可,读者可据此判断开源编码智能体的当前水位。
Mistral 发布 Le Chat Enterprise,一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手,包含企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能,全部功能将在未来两周内逐步上线。
推荐理由:官方给出企业版功能清单与部署选项,可据此判断其与现有企业 AI 助手的差异。
Mistral AI 发布 Mistral Medium 3,称其在多项基准上达到 Claude Sonnet 3.7 的 90% 或以上,价格为每百万 token 输入 0.4 美元、输出 2 美元。
推荐理由:官方给出 Mistral Medium 3 的定价、对标模型与部署门槛,可据此判断企业自部署的成本与可行性。
Mistral 提出用 LLM as a Judge 评估 RAG 系统,让"裁判 LLM"按数值、二元或定性量表为"生成 LLM"的答案打分,并汇总为加权总分。
DeepSeek 将 deepseek-chat 模型升级至 DeepSeek-V3-0324,推理与代码生成等能力得到增强。新版本在 MMLU-Pro 75.9→81.2、AIME 39.6→59.4 等基准显著提升,并改进中文写作、搜索及函数调用准确性,修复了旧版 V3 的问题。
推荐理由:DeepSeek-V3-0324 在 MMLU-Pro 与 AIME 等基准较旧版 V3 提升明显,读者可对比数值了解推理与前端代码改进。
Mistral AI 发布 Mistral Small 3.1,在 Mistral Small 3 基础上提升文本性能与多模态理解,上下文窗口扩展至 128k tokens,推理速度达 150 tokens/s,以 Apache 2.0 许可开源。
推荐理由:官方给出 128k 上下文、150 tokens/s 与 Apache 2.0 开源等参数,可据此判断小模型在端侧与多模态场景的可用性。
Mistral AI 发布 OCR API mistral-ocr-latest,可接收图片和 PDF,按顺序交错输出文本与图像,定价为 1000 页/美元,批量推理约可翻倍。
推荐理由:官方给出与 Google、Azure、Gemini 系列的横向基准对比和定价,可据此判断文档解析选型。
Mistral AI 推出 TranscriptToPRDTicket 智能体工作流,由 Mistral Large 2 驱动的 PRDAgent 和 TicketCreationAgent 组成,可将会议转录自动生成 PRD 并转化为结构化开发工单,自动在 Linear、Jira 等项目管理工具中创建。
Mistral 发布首个区域语言模型 Mistral Saba,这是一款 24B 参数模型,支持阿拉伯语及多种南亚语言。该模型响应速度超过 150 tokens/s,性能优于 5 倍于其规模的模型,且支持 API 调用及本地部署。此前 Mistral 刚发布了 Mistral Small 3,Saba 是其针对中东和南亚市场的定制化补充。
Mistral AI 发布全新 le Chat AI 助手,已上线 iOS 与 Android,并推出 Pro 和 Team 订阅,Enterprise 版进入私有预览。
推荐理由:官方一次公布移动端上线、免费与 Pro 分层定价及代码解释器,方便读者对照同类 AI 助手的能力边界。
Mistral AI 发布 24B 参数模型 Mistral Small 3,采用 Apache 2.0 许可,在 MMLU 上准确率超 81%、延迟 150 tokens/s。
推荐理由:24B 参数对标 Llama 3.3 70B 且同硬件下快 3 倍以上,可据此判断本地部署的性价比。
DeepSeek API 更新日志宣布 deepseek-reasoner 是新模型 DeepSeek-R1。用户指定 model='deepseek-reasoner' 可调用 DeepSeek-V3,详情参见 DeepSeek-R1 Release,指南见 Thinking Mode。
推荐理由:DeepSeek API 更新日志宣布 deepseek-reasoner 即新模型 DeepSeek-R1,并附思考模式指南,便于接口接入。
DeepSeek 已将 deepseek-chat 模型升级至 DeepSeek-V3,API 调用方式保持不变。用户仍可通过指定 model='deepseek-chat' 调用新模型,无需修改代码。
推荐理由:DeepSeek-V3已通过现有deepseek-chat接口提供服务,API参数保持不变,开发者无需修改代码即可平滑迁移到新模型。
DeepSeek 将 deepseek-chat 模型升级至 DeepSeek-V2.5-1210,MATH-500 基准成绩从 74.8% 提升至 82.8%,LiveCodebench 准确率从 29.2% 增至 34.38%。新版本同时优化了文件上传和网页摘要功能的用户体验。
DeepSeek V2 Chat 与 Coder V2 合并升级为 DeepSeek V2.5,API 仍可通过 deepseek-chat 与 deepseek-coder 访问。新模型在通用与代码基准上超越前代,ArenaHard 胜率从 68.3% 升至 76.3%,HumanEval 达 89%。此次升级将原有对话与代码模型统一为单一模型。
推荐理由:DeepSeek V2.5 合并了此前的对话与代码模型,ArenaHard 与 HumanEval 等基准显示其通用和代码能力较前代有明显提升。
DeepSeek API 采用硬盘缓存技术,将调用价格再降低一个数量级。更多更新细节请参考 2024/08/02 的文档 Context Caching is Available。
推荐理由:DeepSeek API 创新采用硬盘上下文缓存技术,将调用价格再降一个数量级,开发者可据此优化自身大模型服务预算。
DeepSeek API 更新新增 /chat/completions 的 JSON Mode、Function Calling 及 Chat Prefix Completion(Beta)功能,并支持 8K max_tokens(Beta)。同时新增 /completions 接口以提供 FIM Completion(Beta)服务。
DeepSeek-Coder 模型已升级至 DeepSeek-Coder-V2-0724 版本。此次更新标志着该代码模型完成了版本迭代,具体性能指标或功能变更未在原文中披露。
DeepSeek 将 deepseek-chat 模型升级至 DeepSeek-V2-0628,推理等能力显著提升。在 HumanEval、MATH 和 BBH 基准上分别达到 84.76%、71.02% 和 83.40%,Arena-Hard 对 GPT-4-0314 胜率从 41.6% 增至 68.3%。模型角色扮演能力也明显增强,可按对话要求扮演不同人物。
推荐理由:DeepSeek-V2-0628 在代码、数学与推理基准上较旧版明显提升,对 GPT-4-0314 胜率增至 68.3%,便于开发者评估模型替换。
DeepSeek-Coder 模型升级至 DeepSeek-Coder-V2-0614,代码生成等能力达到 GPT-4-Turbo-0409 水平。该模型具备优秀数学与推理能力,通用能力与 DeepSeek-V2-0517 相当。
推荐理由:DeepSeek-Coder-V2-0614 在代码任务上持平 GPT-4-Turbo-0409,且通用能力与 DeepSeek-V2-0517 相当,可供开发者评估替换。
deepseek-chat 模型升级至 DeepSeek-V2-0517,IFEval 指令遵循准确率从 63.9% 提升至 77.6%。API 端优化 system 指令遵循,JSON 解析率从 78% 升至 85%,配合正则达 97%,改善了沉浸式翻译与 RAG 等任务体验。