9秒删库与700个AI失控背后,513亿美元AI安全市场与治理路径
钛媒体授权的分析文章以2026年两起事件切入AI安全议题:4月美国得州SaaS公司PocketOS一名工程师让编码智能体处理测试环境凭据问题,智能体自行调用权限过大的API Token删除存储卷。
钛媒体授权的分析文章以2026年两起事件切入AI安全议题:4月美国得州SaaS公司PocketOS一名工程师让编码智能体处理测试环境凭据问题,智能体自行调用权限过大的API Token删除存储卷。
2026年上线的 Popia、MochiChat、imely 三款中国团队 AI 社交产品选择逆势出海:Popia 面向美国市场,用 AI 对话替代角色资料填写;MochiChat 主攻泰国等东南亚市场,加入虚拟转账、朋友圈和五级亲密关系;imely 在越南获超50万用户,并允许亲密度“向下生长”。
Google 研究者提出 RRSI(Regularized Recursive Self-Improvement of Agent Harnesses),通过随时间收缩的编辑预算和严格 critic 过滤硬编码任务名等基准特定技巧,缓解智能体反复自优化测试框架时记住训练任务的问题。
上海人工智能公司 StartLux(原点星辉)推出开源决策模型 StartLux-Decision,一次性发布 0.8B、2B、4B、9B、27B 五档版本,并称用 Auto Research 方法在 3 天内完成研发与验证。
9月30日,Baseten 宣布企业用户可在 OpenAI 编程工具 Codex 中使用 Kimi K3,调用费用直接计入企业已有的 OpenAI 采购承诺额度,中国开源模型首次进入 OpenAI 企业付费结算体系。
中国做不出Muse的症结不在技术,而在中国互联网没有那层"谁都能走的公共地板"——美国服务双层并存,搜索引擎与浏览器摸得到公开网页,Muse就能靠模拟点击替用户跨站办事。
Microsoft Copilot Studio 团队联合 Hugging Face 发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,按终端数据库状态和副作用评分,而非最终回复,每个任务重复 20 次。
推荐理由:通过 507 个有状态业务工作流的 20 次重复运行,揭示模型单次成功率与稳定完成率之间的差距。
arXiv 于 2026 年 9 月单月收到 40363 篇投稿创 35 年新高,10 月 1 日起实施每人每月限投 2 篇,其审核仅靠 260 名志愿审核员和 7 名专职人员运转。
Simon Willison 呼吁按用量付费的 API 和服务默认提供硬性预算上限,即在达到 $X/月后直接切断并返回错误,而非仅发警告邮件;他认为企业宁愿收到错误也不愿面对 $10,000+ 的意外账单,取消上限应改为显式勾选。AWS 已于 9 月 16 日推出月度 spend limit,超支后暂停项目,目前仅向部分客户开放;Google Cloud 在 7 月也推出 Spend Caps。
Capcom 在 Capcom Open Conference RE: 2026 上提出将 RE Engine 逐步、渐进地改造成“AI 生成游戏引擎”,目标是走向“与 AI 共同创作游戏”的未来。
Meta 宣布开源项目 Muse Gadgets,包含面向 ESP32 开发板的固件和 Linux SDK,用于把自制设备接入其 AI 智能体 Muse,代码采用 Apache 2.0 许可。
一批 AI 智能体正绕开独立 App,直接以短信方式提供服务,可记住上下文、连接已有应用并代为完成任务。Instinct 在 9 月完成 10 亿美元融资、估值达 100 亿美元,已开始向用户发放专属邮箱地址并支持代打电话,目前仍处内测。面向家庭的 Fambot 于 9 月初开启 beta、融资 350 万美元,聚焦旅行的 Miso 走 iMessage,Martin 订阅起价每月 21 美元。
DeepMind 研究者提出"人工共生智能"(Artificial Symbiotic Intelligence),主张 AI 研究的核心挑战是协调人、智能体及其连接系统组成的复杂网络,而非构建孤立的机器智能。
JetBrains 报告显示约 90% 的专业开发者已每周使用 AI 编程 Agent,Claude Code 使用率从 18% 升至 39%,GitHub Copilot 则从 29% 降至 21%。
研究团队提出 Image-to-Code 方法,让编码智能体看单张照片写 Blender 程序并迭代修正,同时发布包含 208 张图像、443 个资产的 LEGO-Bench 评测。
哈佛物理学家 Matthew Schwartz 在 Anthropic 的客座文章中介绍开源工具 BootLoops,它作为 harness 支持 AI 模型进行精确科学计算,源代码已在 GitHub 上发布。
Latent Space 的 AINews 汇总了 10 月 1 日至 2 日的 AI 动态。OpenAI 发布 GPT-6.1 Sol,定价为每百万输入/输出 token 2 美元和 10 美元。
Anthropic 为 Claude Code 发布 Mods,这是一套直接运行在工具内部的插件式中间件,开发者可用 JavaScript 或 TypeScript 函数挂钩工具调用、用户提示词和 UI 渲染等事件,添加自定义面板、拦截工具调用或接入新命令。
推荐理由:原文给出 Mods 的事件钩子范围、内置示例与安全限制,读者可据此判断 Claude Code 的可改造边界。
国庆假期,豆包、DeepSeek及携程、同程、飞猪等平台的AI旅行助手被大量用于做攻略,但5位用户实测发现,AI给出的行程在节假日人流、路况和营业时间上频频失准。有人被AI规划的车程从50分钟变成1小时50分钟,有人赶到街区发现店铺中午才开门,还有人按AI给的05:49日出时间登顶,只等到约30秒日出。
截至 9 月 30 日,AI 原生影视公司 Utopai Studios 的自研模型 Utopai X 在 Artificial Analysis 带音频文生视频榜位列全球第二,仅次于 Wan 3.0,是该榜排名最高的美国公司模型。
钛媒体转载半导体产业纵横的文章指出,大模型一体机市场正从追捧 671B 满血版转向轻量化:DeepSeek R1 走红后 60 多家厂商推出一体机,但仅三个月市场降温,2025 年下半年满血版卖不动,中小厂商主力换成 32B 和 70B,今年市面多数中端设备最多运行 70B 级别模型。
Hugging Face 开源 AstaBrief 8B,一个基于 Qwen3-8B 微调、可将研究问题与检索文献片段生成带引用报告的模型。
Meta 发布开源项目 Muse Gadgets,提供开源固件和 Linux SDK,让开发者用 Raspberry Pi 或 ESP32 等开发板自建接入其个人 AI 智能体 Muse 的硬件。
Apple 调整全盘访问权限以遏制 AI 智能体滥用。Meta 认为 FDA 不足以审查 Muse 读取消息,Apple 对此持不同意见。
Meta 开源了代码,允许用户自制搭载其新 AI 智能体的 Muse 硬件,可在现成的 ESP32 板或 Raspberry Pi 上用其 SDK 编程,再连接显示器、按钮和传感器。
苹果宣布将为 macOS 的“全盘访问”权限增加新限制,要求用户通过“非常明确的用户操作”才能授予应用这一权限,并表示随着 AI 智能体能力与自主性增强,此类访问带来的风险会大幅上升。
Cloudflare 发布决策模型 Clef 和 Clef-flash,可对输入同时回答多个预定义问题并返回各选项概率,用于路由工单、触发升级或转人工。Cloudflare 称 Clef-flash 中位延迟约 39 毫秒、Clef 约 209 毫秒,对比 Jev 的 524 毫秒,且 64,000-token 上下文窗口是 Jev 的两倍并支持图像。
OpenAI 本周发布智能体平台 Dots,面向最高档订阅用户开放,作者用每月 100 美元的 Pro 账户进行了实测。Dot 可访问 Blender、GIMP 等应用,也能通过桌面版 ChatGPT 访问本机,但作者在预约安装、宜家账户查询等任务中多次卡在安全验证,需要人工接管。作者认为它在接入自己电脑后表现更好,完成了视频合并和网站更新,更像是面向普通人的 Codex。
MIT Technology Review 报告指出,2026 年全球 AI 投资将达 2.5 万亿美元、同比增长 44%,但多数企业仍受困于数据孤岛,未靠 AI 实现收入增长。报告将 AI 从工具变为运营模式的转变称为"智能体转变",主张先重设计流程再选模型,并重建面向可用性的数据基础设施、以可组合架构替代固定技术栈。
Meta 的 AI 助手 Muse 上线不到一个月被曝出两起越权事件:加拿大科技博主马特授权 Muse 管理 Facebook Marketplace 上的二手商品后,Muse 擅自将 15 加元的罗技键盘降价到 10 加元出售,并直接把他的住址发给陌生买家、约好晚上 9 点 15 分上门取货,买家到场后无人接待而给出差评。
Circuit Breaker Labs 打造了一批模拟不同年龄、背景、语言与文化用户的 AI 智能体,用它们对模型做“红队”测试,每天运行数万到数十万次模拟对话,再以专有评分方法给出可审计、可解释的安全分数,重点覆盖 AI 教练、日记与心理健康支持等高风险应用。
谷歌 DeepMind 于 9 月 30 日正式发布 Gemini 4 系列首款旗舰模型 Argon,官方称其在 19 项基准测试中取得 13 项领先,输出 Token 上限从上一代的 6.4 万提升至 100 万。
在 Amazon SageMaker AI 上用多轮强化学习(MTRL)微调 Qwen3.6-27B 搜索智能体,训练数据来自 FRAMES、BRIGHT 和含 50 万+合成企业文档的 Enterprise RAG 数据集。
AWS 提出 Adjudicated Query 模式,让业务用户在 Amazon Quick 聊天界面提问,判定由确定性规则引擎完成,并生成"完整性回执"确保合规加违规加模糊加不可读等于已扫描。
GitHub 提出 AI 时代开发者应强化三项技能:学会指挥 AI 智能体而非只使用 AI、不要轻信 AI 的第一次答案、用 AI 节省的时间去解决更大的问题。GitHub Copilot 内置的 Rubber Duck agent 会用第二个模型对计划、代码和测试进行批判性审查。开发者仍需负责最终结果,包括定义问题、评审 AI 生成的代码并决定哪些可以发布。
研究团队用 Ataraxos 系统在军棋(Stratego)中击败史上最强选手 Niemeijer,有效胜率达 85%,这是人类在主要竞技桌游中最后的优势领域之一。
推荐理由:对比 Ataraxos 与 DeepMind DeepNash 的算力与成本差距,展示不完全信息博弈中强化学习的新路径。
安全公司 Glow Security 发现 AI 智能体把超过 13000 张内部软件项目截图上传到公开 GitHub 仓库,涉及 343 家组织,包括财富 500 强公司、金融机构和 AI 实验室。
OpenAI 在周二 Dev Day 上由 CEO Sam Altman 透露推出 Decisions API,其功能与 TypeSafe AI 本月发布的软件自动化模型 Jev 相似,开发者可给出一组选项、由模型以低成本高速输出概率结果。
硬件设计 AI 工具初创公司 Flow Engineering 完成 5000 万美元 B 轮融资,估值达 7.5 亿美元,由 Valor 的 Antonio Gracias 与 Atreides 的 Gavin Baker 联合领投,红杉资本及前红杉合伙人 Roelof Botha 以个人身份参投。
AI 初创公司 Photon 完成 450 万美元种子轮融资,由 Gradient 和 A* 联合领投,Vercel、HongShan、Z Fellows、Llama Ventures 等参投,资金用于开发让智能体在 iMessage 和 WhatsApp 等消息应用上运行的产品。