Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化
针对 Amazon SageMaker AI 上的 MoE 模型,通过 Swap-AB 优化 WGMMA 利用率及 FP8 量化后端路由,实现了 2-4% 的端到端吞吐量提升。该 Swap-AB 优化已上游至 vLLM,并在 0.24.0 版本中可用。
针对 Amazon SageMaker AI 上的 MoE 模型,通过 Swap-AB 优化 WGMMA 利用率及 FP8 量化后端路由,实现了 2-4% 的端到端吞吐量提升。该 Swap-AB 优化已上游至 vLLM,并在 0.24.0 版本中可用。
Simon Willison 发布 web-edit 0.1a0,这是一个用于在文件夹中查看和编辑文件的 Python Web 应用。该应用旨在通过 Tailscale 运行,允许用户从手机直接编辑文件,避免将凭据通过 LLM 传输。编辑界面采用 CodeMirror 6,因 Monaco 移动端体验不佳而被弃用。
Geoffrey Huntley 提出用 pre-commit hook 检查 git diff 中绕过诊断模块的直接调用,失败提交并注入提示词让 agent 使用诊断库。该方法使 agent 使用诊断库达到 ten out of ten。
MIT Technology Review 文章解读了开放大语言模型的益处与风险,指出其可本地部署、助研究且分散权力,但缺失过滤易遭滥用。文章引述 Anthropic 报告称 Z.ai 的 GLM-5.3 因开放权重构成网络攻击风险,并探讨通过分阶段发布平衡安全与开放。此前 OpenAI 代理在7月对 Hugging Face 的自主黑客攻击表明封闭模型同样存在安全隐患。
开发者团队调用AI智能体反编译2009年《使命召唤:现代战争2》并重建C++源代码,83%函数与原版逐字节匹配。项目历时3个月消耗超5000亿词元,借助逐字节匹配验证机制驱动智能体提交代码。重建成果仅作私人用途不公开。
Anthropic 的 dynamic workflows 让 Claude 自主决定多智能体编排拓扑,以处理需长期协作的繁重任务。该功能在 Claude Console 中可用,改变了此前 Managed Agents 需手动配置协调者与子代理的方式。演示的股票扫描器展示了分阶段隔离上下文与复核模式,演讲者称其成本远高于单智能体但更有效。
GitHub 在初学者系列中讲解如何通过自定义指令、Agent skills、自定义智能体和 MCP 服务器四种方式教 Copilot 理解代码库。具体给出了 .github/copilot-instructions.md 等文件路径与适用场景,如用 Playwright MCP 在浏览器验证界面。这是 GitHub Copilot app for Beginners 系列文章之一。
利用 AWS DLC for llama.cpp 在 Amazon SageMaker AI 上部署量化模型,支持通过 OpenAI 兼容 API 进行文本生成,或结合 SemIf 扩展返回选项概率。
Python 3.15.0 已正式加入 actions/python-versions 仓库。开发者现在可以在 GitHub Actions 测试矩阵中添加 "3.15" 以针对该新发布版本运行测试。
Postman 基于 Amazon Bedrock 构建 Agent Mode,为 4000 万开发者提供跨 API 测试、文档及实现的 AI 原生工作流。该架构通过动态将 170 多个工具缩减至约 15 个以控制工具膨胀,并利用跨 Region 推理与多级提示缓存优化性能。此前 Postman 主要依赖界面导航,此次转型旨在解决成熟产品与 AI 智能体集成的结构性挑战。
Ai2 用 GPU 时间预算、分层公平分配和时间片契约替换了基于优先级的调度器,将资源分配从个案运营转为透明的行政预算流程。该机构管理数千块 NVIDIA H100、B200 和 B300 GPU,面临 2-3 倍于可用量的算力需求。此前基于优先级的调度导致了 GPU 占用和优先级通胀等“公地悲剧”问题。
Sabi 的 Sabi Cap 是一款无需植入的脑机接口帽,可将大脑内部语言解码为屏幕文本。该帽采用自研非接触 EEG 芯片与 Brain Foundation Model,目标约 30 词/分并能预测接下来三到四键击。产品目前开放等待名单,定价与发货日期未公布。
Simon Willison 利用 ChatGPT 桌面版 Codex 的语音模式,配合 GPT-6 Astra 模型,在烹饪期间通过语音指令完成了博客 Newsletter 索引页面的开发。
ttok 1.0 发布,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。William Liu 的实验显示,GPT-5.5 至 GPT-6 系列模型在 31 个测试用例中均报告 44,794 tokens,证实 GPT-6 未引入输入计数变化。
Simon Willison 的 CLI 工具 ttok 发布 0.4 版本,新增 --list-models 命令以列出可用模型。该工具基于 OpenAI 开源的 tiktoken 库,支持通过 uvx 运行,例如使用 `cat file.txt | uvx ttok` 统计文件 token 数。这是该工具时隔数年后的首次更新,同时修复了 Click 警告并更新了 CI。
LegalOn 将 Codex 预估每日成本降低 65%,同时保持开发速度。该公司通过将 Astra、Sol 和 Luna 匹配到具体任务并策略性地管理预算实现了这一目标。
Amazon SageMaker HyperPod 提供基于 EKS 的多租户参考架构,支持多团队共享 GPU 集群并实现资源隔离与公平分配。该架构利用 AWS IAM Identity Center 进行集中认证,通过 Kubernetes 命名空间隔离工作负载,并借助 HyperPod Task Governance 管理计算配额。
Cornerstone OnDemand 借助 Amazon Bedrock 构建 Orion AI 多智能体系统,将数据库诊断时间从45分钟减少到10分钟,降幅78%。该系统采用领域拆分的专属智能体与关键词混合路由,由三人团队六个月完成,其架构决策可供其他团队复用。
AWS 推出六周结构化项目,帮助非工程背景的业务人员构建 AI 原型。该项目利用 Amazon Bedrock AgentCore 和 Strands Agents SDK,使参与者成功开发多智能体金融工具 WealthWise。数据显示,分阶段培训比密集式培训保留多三倍实用技能,旨在解决 90% 业务人员缺乏动手经验的问题。
Simon Willison 于 10 月 6 日发布了 llm-mistral 0.16 月度简报。该简报聚焦 LLM 与 Mistral 相关动态,并包含推理(reasoning)主题内容。
该方案利用 Amazon Bedrock AgentCore 运行时与开源智能体系统 OpenClaw,构建具备持久记忆能力的上下文感知 AI 助手。系统通过 Claude Haiku 4.5 处理文本、Claude Sonnet 4.5 处理视觉任务,采用按消耗计费模式,轻度个人使用月成本仅约 1-2 美元。整个架构封装在单个 AWS CloudFormation 模板中,支持一键部署。
Parseable 是一款兼容 OpenTelemetry 的新观测工具,提供 AGPL 开源 Rust 实现、企业版及云托管选项。作者利用 Datasette 1.0a41 新增的 OpenTelemetry 支持,通过 Codex 实现了从 Datasette 向 Parseable 发送追踪数据。Parseable 是作者当日在 Show HN 上发现的新平台。
该教程展示如何使用 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases 和 Amazon Nova 2.5 Sonic 为航空应用构建语音旅行礼宾智能体。架构通过 MCP 将智能体后端解耦,支持实时语音改座、政策问答与人工转接。代码置于 aws-samples GitHub 仓库,模块可复用。
文章阐述了通过 SageMaker Unified Studio 管理 Amazon SageMaker HyperPod 集群的治理策略,涵盖组织、项目、集群和工作负载四层控制。该方案允许 ML 团队在项目工作区启动工作负载,同时由基础设施团队通过 IAM、EKS 或 Slurm 控制底层集群配置与容量分配,实现计算资源的安全共享。
Claude Opus 5.5 成功生成了《猴岛的秘密》风格的电脑游戏音乐,并构建了可播放的文本格式 Artifact。作者认为这种作曲能力可能是文本模型近期涌现的新特性,类似 3D 图形生成,但需进一步实验确认。
开发者 Belmante 展示了《超级马力欧兄弟:惊奇》的原生 Windows 移植版,在 RTX 3050 笔记本上无需模拟器即可运行,帧率约 60 帧。该项目使用重新编译的 C++ 代码和 NVN 到 Vulkan 转换层,并计划开源代码库。此前 Belmante 曾展示该游戏在 macOS 上的移植版本,但存在重大问题。
一款命令行工具可快速从 macOS 27 中移除 Apple Intelligence 功能。该操作能释放超过 12GB 的存储空间。
Amazon Bedrock AgentCore Evaluations 提供内置与自定义评估器,用于衡量多智能体系统在有用性、任务成功及可解释性维度的表现。该方案结合 Strands Agents SDK 构建供应链决策系统,通过自定义评估器验证约束满足、路由可行性及决策依据的清晰度。
Amazon Quick 控制台不支持直接降级用户角色,需通过手动删除重建或 AWS CLI 执行 Admin > Author > Restricted Reader > Reader 的序列。此举旨在落实最小权限原则,并将仅消费仪表盘的 Author 降级为 Reader 以利用会话计费降低固定月费成本。
AWS 发布教程,演示在 Amazon Bedrock Managed Knowledge Base 上用 LangChain 搭建 RAG 应用,并对比标准检索与智能体检索处理多部分问题的差异。
开发者 SupraGSX 发布非官方驱动 ForceWare 382.69,使 32 位 Windows XP 系统支持英伟达 Pascal 架构显卡,包括 GTX 1080 Ti 和 TITAN XP。
爆料者 @elder_plinius 提取并公开了 OpenAI GPT-6 Sol Codex 约 29.4 万字符、1902 行的完整系统提示词与工具定义。
微软 Windows 与设备业务负责人帕万·达武卢里在官方播客《Inside Windows》中表示,内存涨价已成为 PC 行业普遍关注的问题,Windows 团队正从系统底层到应用框架多个层面提升内存利用率。
该视频演示了如何利用 AI 技术来扩展创作中的意图、质量与艺术性。内容聚焦于 AI 在提升创作维度上的具体应用方法。
SentinelOne 的 AI 工程师卡特·丘奇使用 OpenAI GPT-6 Astra 破解了拿破仑 1809 年 3 月 16 日写给继子欧仁·德·博阿尔内的加密军事信件,耗时约 6 小时。
OpenAI 发布 GPT-6 系列模型使用指南,介绍如何选择模型、优化提示词以及管理长时间运行的任务。指南建议按工作负载选型,GPT-6 Astra 面向最高难度推理,GPT-6.1 Sol 面向复杂编程、研究和计算机使用任务,GPT-6 Luna 面向大规模重复性工作,日常问答不必追求最高推理强度。提示词方面,OpenAI 建议先说清目标、受众、上下文、限制条件和完成标准。
在 Amazon SageMaker AI 上使用多轮强化学习(MTRL)微调 Qwen3.6-27B 模型,构建能自主决策检索策略的搜索智能体。该方法通过优化完整多轮轨迹,使小模型兼具前沿模型的可靠性与低成本推理速度。此前单轮 RL 或监督微调难以有效处理多步交互中的依赖关系。
利用 Amazon Bedrock AgentCore Gateway 可为 Claude Desktop 集成 Web Search,突破模型训练知识截止限制以获取实时信息。
AWS 提出名为 Adjudicated Query 的设计模式,用 Amazon Quick 对话层搭配确定性规则引擎,对 5 万份公寓租约做可证明完整的合规核查。
OpenAI 发布 GPT-6 模型族指南,指导初创企业选择模型、调整推理力度并优化提示词与技能。该指南还涵盖工具协调及生产工作流准备,旨在帮助开发者高效部署 GPT-6 系列模型。