跳到正文

#部署/工程

今日 11 条
9月30日周三
9月29日周二
  1. AWS Machine Learning Blog30

    Condé Nast 如何用 Amazon Bedrock 构建多模态视频检索

    Condé Nast 与 AWS 生成式 AI 创新中心基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,采用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与字幕,将单次内容检索耗时从 250 分钟降至 2 分钟以内。该方案支持自然语言意图检索、以图搜视频、错别字容错和精确时间戳定位,覆盖其 14 万余条视频库。

9月28日周一
  1. NVIDIA Developer Blog20

    NVIDIA DSX MaxLPS 如何最大化 AI 工厂吞吐量与效率

    NVIDIA DSX MaxLPS 通过策略驱动的功率共享,在参与资源之间动态分配电力,让客户可部署更多 GPU。AI 工厂通常按所有 GPU 同时达到峰值功耗的极端情况预留电力,这部分保护性缓冲在正常运行时会闲置基础设施容量,而 MaxLPS 旨在把未使用的瓦数转化为可用算力,从而提升吞吐量与效率。

9月25日周五
  1. GitHub Blog · AI & ML45

    当聊天是错误的选择:GitHub Copilot 如何用 canvases 替代聊天框

    在 GitHub Copilot 应用中,canvas 是运行于应用内的全栈小程序,可与 Copilot agent 双向通信,也能调用第三方 API 并在本地执行代码,例如用 Winget 界面管理本地包或直接操作 SQLite 数据库,无需每次都消耗 token 让 agent 代劳。基于 canvas 可以把研究、原型、实现等开发流程自动化,让自己按需退出循环,而不是被聊天输入框限制。

9月24日周四
  1. Simon Willison20

    Cloudflare 终于支持 HTTP 中最丑陋的 Vary 头

    Cloudflare 已支持 HTTP 的 Vary 响应头。此前 Cloudflare 缓存会忽略图片以外资源的 Vary 头,开发者按 accept: text/html 分发 HTML 或 JSON 时,可能把 JSON 版本缓存后返回给期待 HTML 的用户。Simon Willison 表示自己更倾向于用 .json 后缀让 URL 可预测地返回 HTML 或 JSON。

  2. GitHub Blog · AI & ML24

    GitHub Copilot 应用如何渲染超大型 pull request

    GitHub Copilot 应用重建了 pull request 视图,用一个含 2,200 个文件、超 100 万行改动、400 多条行内评审评论的开源 PR 验证其性能。代码行沿用"绘制前高度已知"的确定性虚拟化几何,评论等动态块则改为可预估、惰性测量并以文件与行号锚定的独立几何,避免滚动跳变。

  3. Microsoft Research61

    微软研究:把物理 AI 推理卸载出机器人可提升任务表现与续航

    微软研究院对移动操作机器人负载做了首次系统性测量,发现仅依赖机载 GPU 推理会限制机器人性能、电池寿命与可扩展性。

    推荐理由:微软对机器人负载的首次系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可在成功率、模型规模与续航上同时获益。

  4. Google DeepMind67

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google Private AI Compute 团队公布为 Private AI Compute 平台带来云端持久记忆的技术方案,通过硬件安全飞地、端到端加密通道和以设备派生密钥加密的每用户数据库,让跨设备 AI 记忆在服务端保持与端侧处理同等的隐私标准,此前该平台为无状态、任务结束即清除上下文。

    推荐理由:Google 公开了云端持久记忆如何用安全飞地与设备端密钥实现跨设备隐私,可看架构取舍与验证方式。

9月23日周三
9月22日周二
  1. IEEE Spectrum · AI19

    CoolIT:面向液冷 AI 服务器的无风扇设计与近乎 100% 热量捕获

    CoolIT 提出以模块化 coldplate 实现近乎 100% 液冷热量捕获,让 AI 服务器在空气负载降至 1% 以下后实现无风扇运行。其方案源自已量产验证六代的无风扇设计,并将液冷从 CPU、GPU 扩展到内存、网络、存储和供电等外设。CoolIT 建模显示,单机架功率超 250 kW 后 70/30 液气混合散热失效,此后该设计将成为旗舰机架级产品的标准配置,延续至 2028 年。

  2. Meta Engineering47

    Meta 开源 Rebalancer:用于求解分配问题的通用高性能库

    Meta 开源了 Rebalancer,一个已在其内部用于资源分配问题超过九年的分配问题求解器。该库将问题描述与求解分离,提供对象、bins、约束和目标组成的描述语言,并转换为表达式图,可用局部搜索启发式或商业求解器 FICO Xpress、Gurobi 及开源求解器 HiGHS 构建 MIP 求解。相关论文已发表于 OSDI'24。

9月21日周一
  1. NVIDIA Blog41

    AI 安全是工程问题:如何在 Agent 栈的每一层解决它

    NVIDIA 发布开源安全运行时 OpenShell,在模型智能体之外强制执行策略,并提供沙箱化执行,管控智能体对数据、网络和系统资源的访问。Cisco DefenseClaw 为其增加治理层,JFrog 则集成 OpenShell 扫描和验证智能体技能并限制可访问的技能范围。NVIDIA 同时通过 Open Secure AI Alliance 共享安全研究成果与工具。

9月19日周六
9月17日周四
  1. GitHub Blog · AI & ML81

    GitHub Copilot 运行时如何用 Copilot 迁移到 Rust

    GitHub 用 Copilot 智能体把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行 Rust,AI 智能体编写了大部分代码,跨 128 个 pull request 增量合入 main。

    推荐理由:一位工程师复盘用 AI 智能体把 43 万行 TypeScript 运行时迁到 Rust 的全过程,含编排、缓存与评审经验。

9月16日周三
  1. IEEE Spectrum · AI16

    单相直接液冷如何支撑未来十年的超高密度计算

    现代 AI 加速器单颗功耗可超 1,000 瓦、单个机架发热超过 100 千瓦,已远超风冷可实际散热的范围。单相直接液冷通过在高发热部件上安装冷板,让水或水乙二醇冷却液在闭环中带走热量,从而在更小占地内支撑更高的芯片与机架密度。白皮书还对比了单相直接液冷与两相液冷及浸没式冷却的差异。