跳到正文

#部署/工程

今日 2 条
今天10月15日周四
10月14日周三
  1. GitHub Blog · AI & ML31

    GitHub 用模型做密钥检测:更少误报中找出更多密钥

    GitHub 为密钥扫描训练了一个上下文感知的密钥分类器,采用正则召回候选、ModernBERT 细调模型判别真伪的两阶段流水线,取代此前的 LLM 方案。官方称用户对告警的接受度提升 11.5%,推送后扫描执行中位时间缩短 86%,服务成本较远程 LLM 调用降低逾 98%,并因此将通用密钥检测扩展到推送保护阶段。

  2. AWS Machine Learning Blog65

    在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体

    AWS 在 Amazon Bedrock 上线 SpaceXAI 的 Grok 4.7,并给出一个工具调用智能体的完整评测:三个需要搜索而非查询的任务各跑六次、四个推理投入档位共 72 次运行,答对 67 次;xhigh 档 18 次全对,low 档答对 15 次且输出 token 约为 xhigh 的八分之一。

    推荐理由:原文用72次可复现的智能体运行,给出不同推理投入档位在准确率与输出token上的权衡数据,方法可迁移。

10月13日周二
  1. Meta Engineering24

    Meta 如何把闲置推理算力变成更好的广告推荐

    Meta 构建了一套系统,把 fleet 中分散闲置的推理算力聚合成共享的机会算力池,用于增强广告推荐,无需额外采购容量。系统通过 Rank More Ads(RMA,增加排序阶段评估的候选广告数量)和 Serve Better Models(SBM,提高请求路由到更强模型的比例)两个弹性杠杆,在保障基线性能的前提下扩展可选工作负载。

10月10日周六
  1. Hugging Face Blog37

    Ai2 如何为 GPU 集群设计高影响力的调度系统

    Ai2 用 GPU 时间预算、分层公平分配和时间切片合约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维操作变成透明的预算流程。其集群由数千块 NVIDIA H100、B200、B300 组成,规模 88 至 1024 块,服务约 150 名内部研究者,而排队需求常年是可用容量的 2-3 倍。

10月9日周五
10月8日周四
  1. MIT News · AI16

    MIT 教授 Christina Delimitrou 用 AI 缓解数据中心能耗与环境压力

    MIT 电子工程与计算机科学系副教授 Christina Delimitrou 用机器学习提升大规模数据中心的效率、安全性与可靠性,通过重新设计云计算系统、管理共享硬件资源、精简服务器架构,让运营方在现有硬件上获得更多算力。她与团队发现多数大型系统利用率仅约 15%,开发出用深度学习预测并预防 Web 应用故障的工具 Seer,并借助 AI 帮助程序员定位云端应用问题、减少停机。

  2. AWS Machine Learning Blog70

    Claude Haiku 5.5 在 AWS 上线,主打低成本高频子智能体任务

    Anthropic 的 Claude Haiku 5.5 已在 Amazon Bedrock 和 Claude Platform on AWS 上线,是 Claude 5.5 系列中最快、最高效的模型,面向子智能体和高频成本敏感任务,多数任务成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:Claude Haiku 5.5 在 Amazon Bedrock 上线,给出了成本、effort controls 与和 Opus 5.5 搭配的分工方式。