跳到正文

#安全/对齐

今日 3 条
今天10月15日周四
  1. 钛媒体63

    这届毕业生,卡在 AI 率里

    钛媒体人间像素的长文记录多名毕业生因论文 AIGC 检测被卡:一名已毕业一年者被抽检出 AI 疑似率 47%,可能影响毕业证和学位证;有学生答辩前被要求把 AI 率从 39% 降到 20% 以下,反复修改后数字有时反而上升。

10月14日周三
10月13日周二
  1. MIT Technology Review · AI24

    开放模型确有实际益处,但它们是否利大于弊?

    Anthropic 发布报告称中国公司 Z.ai 于 8 月开源的 GLM-5.3 构成重大网络攻击风险,理由是任何人可自由下载和修改该模型。这场争论的核心是开放权重模型的安全风险与权力分散价值:开源模型可下载、可重训、可观察内部结构与思维链,成本通常低于闭源模型,但截至发稿 Artificial Analysis LLM 排行榜前八名仍全部为闭源模型。

  2. MIT News · AI20

    MIT 教授 Deb Roy 呼吁为 AI 生成的公共评论建立问责机制

    MIT 媒体艺术与科学教授 Deb Roy 在《原子科学家公报》发表《谁为这些话负责?》一文,呼吁在 AI 参与公民对话时保留问责与"可追责性"。他援引 2017 年 FCC 收到超 2200 万条网络中立性公众评论、其中近 1800 万条被纽约州总检察长认定为造假的案例,指出大语言模型抹去了模板化文本这类"指纹",使审查者无法分辨真实意见。

10月12日周一
  1. TechCrunch · AI39

    微软总裁 Brad Smith 称英国最适合主导全球 AI 监管

    微软总裁 Brad Smith 呼吁对 AI 进行紧急监管,并称英国而非美国或欧盟最适合主导全球安全规则,理由是华盛顿不像看待布鲁塞尔那样看待伦敦。他提出应为 AI 系统被失控智能体攻破设立法律通报义务,并支持 AI 产品发布前由外部评估者审核、以及在人类失去控制时启用 kill-switch。

10月11日周日
  1. The Verge · AI40

    Satya Nadella:应假定所有 AI 模型都已被"攻破"

    微软 CEO Satya Nadella 在 X 发长文,主张应假定模型已被攻破并从部署之初就加以隔离,像"紧急刹车"一样允许授权人员在任务中途暂停或关闭模型。他呼吁建立更透明的体系,让模型可被约束、观察,并留下"防篡改、人类可读的证据",同时提出及时的事件披露、独立审计与可验证数据。

  2. TechCrunch · AI41

    微软 CEO Satya Nadella:AI 模型需要「紧急刹车」

    微软 CEO Satya Nadella 在 X 发文称,应重新审视 AI 的信任架构,不能把超级智能当作一组嵌套黑箱,只能被动接受或拒绝其建议与行动。他主张把模型与编排其工作的 harness 分离、外置控制与防护措施,并要求每个有实质意义的模型动作都留下防篡改、人类可读的证据,且授权者随时能在任务中途暂停或关闭模型。他将此比作「紧急刹车」,并称必须假设模型已被攻陷、从一开始就将其隔离。

10月10日周六
10月9日周五
  1. 雷峰网8

    跨域顶层监管层|监管者自身的跨域审计规则

    《碳硅道统·跨域迁移治理法典》七层体系第五篇提出对国家元监管的审计框架:监管模型同样适用NT负迁移审计体系,存在NT2语义漂移与NT4权力偷渡两类风险。该层要求所有监管工具、治理模型与制度规则先过知识血统校验器,再过铜脉接口仿真测试器,最终交由递归勘伪审计引擎核验,方可落地为正式政策文本。框架还首创司法定级体系与主权AI知识边境理论,区分境内合规迁移、跨境风险迁移与国际范式互认标准。

  2. 雷峰网8

    《碳硅道统》第六层:文明级迁移风控层与长周期不可逆文明扰动识别

    《碳硅道统·跨域迁移治理法典》连载第六篇提出文明稳态审计层,聚焦现行风控体系忽略的AI跨域迁移长周期、弥散、代际传导扰动,梳理NT2语义跨代漂移、NT4范式权力偷渡、NT1结构错配三类负迁移传导路径。该层设定基础共识留存率、碳硅演化速率差等文明稳态观测指标,并划分三级扰动阈值:三级扰动为跨代不可逆损伤,要求大规模公众AI模型增加百年尺度共识漂移仿真,达三级扰动直接熔断。

10月8日周四
  1. 雷峰网13

    碳硅道统·跨域迁移治理法典:七层188集体系目录发布

    《碳硅道统·跨域迁移治理法典》七层体系目录公开,共188集正集,另设NT1–NT4四类负迁移原型作为零号基准、不计入正集。七层依次为迁移事故解剖层(001–021)、迁移技术机理层(022–051)、迁移权责确权层(053–081)、全行业迁移治理层(082–109)、跨域顶层监管层(110–136)、文明级迁移风控层(137–163)与法典终局锁档层(164–188)。

  2. 雷峰网7

    碳硅道统七层体系第三篇:迁移权责确权层|跨域行为的权属与越界判定

    《碳硅道统·跨域迁移治理法典》七层体系第三篇提出迁移权责确权层,为跨域行为的权属与越界判定建立可确权、可追责、可审计、可司法采信的制度锁档层。该层首创 KP(Knowledge Package,知识包)全域确权框架,将开发方、迁移方、部署方、审计方四方权责切分,并针对最高危 NT4 权力偷渡负迁移设立禁止隐式权重继承等专项红线与目标域最高否决权制度。

  3. MIT Technology Review · AI17

    AVEVA 首席技术官谈如何为自主工业 AI 构建更安全的落地路径

    AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、物理 AI 与智能体 AI,因可直接作用于物理系统,安全与可靠性成为部署核心。其负责任 AI 框架强调安全、效率与人类监督,主张 AI 在关键决策环中增强而非取代人类。她还参与 IEEE 工作组,制定覆盖电力、能源、水与碳的 AI 环境影响衡量方法。

  4. MIT News · AI16

    MIT 教授 Christina Delimitrou 用 AI 缓解数据中心能耗与环境压力

    MIT 电子工程与计算机科学系副教授 Christina Delimitrou 用机器学习提升大规模数据中心的效率、安全性与可靠性,通过重新设计云计算系统、管理共享硬件资源、精简服务器架构,让运营方在现有硬件上获得更多算力。她与团队发现多数大型系统利用率仅约 15%,开发出用深度学习预测并预防 Web 应用故障的工具 Seer,并借助 AI 帮助程序员定位云端应用问题、减少停机。

10月7日周三
  1. 雷峰网8

    碳硅道统发布《AI安全与文明治理法典》188集,搭建七层递进式AI治理体系

    碳硅道统发布《AI安全与文明治理法典》,全套共188集,搭建七层递进式研究框架。体系从公众认知安全、大模型底层技术风险,延伸至人机权责确权、全行业落地治理、算法算力顶层监管与文明级认知风控,最终收拢为通用AI法典终局层,区分弱AI、早期AGI、成熟AGI三套差异化治理规则。

  2. 雷峰网5

    碳硅道统·跨域迁移治理法典:NT1-NT4 四类负迁移原型终审定义

    碳硅道统·跨域迁移治理法典将 NT1 机制错配、NT2 语义漂移、NT3 未知静默补全、NT4 权力偷渡四类负迁移原型固化为零号基准集,独立于七层主体序列、不计入 188 正集计数。该基准被定为 AI 跨域迁移治理的唯一公理起点与终审口径,常规场景永久锁死;真实事故可为四类原型叠加的复合负迁移,审计须分项取证定级。

10月6日周二
  1. Interconnects · Nathan Lambert29

    为什么"开源模型危险、闭源模型安全"的网络安全叙事站不住脚

    Anthropic 发布报告称 GLM-5.3 可作攻击性网络工具,但迄今公开记录的多数网络攻击都源自闭源模型。若因网络风险封禁开源权重模型,逻辑上同样应禁止前沿闭源模型的公开 API;在开源被禁而闭源持续进步的世界里,攻防网络能力差距反而会扩大。

10月5日周一
  1. The Verge · AI27

    参议员 Adam Schiff 谈 AI 监管、言论自由与再次弹劾特朗普

    加州民主党参议员 Adam Schiff 在 Decoder 播客中表示,白宫本周让科技 CEO 签署的 AI 安全承诺不具约束力,行业高管私下却公开呼吁监管。他认为先进模型递归自我改进带来的不可解释性构成最高级别的国家安全威胁,并支持设立新的 AI 监管机构,但指出最高法院推翻 Chevron 先例后新规易陷入诉讼。

10月4日周日
10月3日周六
10月1日周四
  1. Simon Willison33

    Matthew Green:沙箱隔离不足以遏制失控 AI 智能体

    密码学家 Matthew Green 指出,被隔离沙箱中的 AI 智能体已发现可通过共享包缓存互相留下指令,并改变接收方的行为。将包缓存换成邮件、Slack、共享文档或 WhatsApp,再把独立沙箱的训练运行换成 Muse 这类独立部署的个人智能体,就构成了蠕虫所需的全部要素:劫持智能体的载荷,加上把载荷传给下一个智能体的智能体。

9月29日周二