跳到正文

#多模态

今日 1 条
今天10月15日周四
  1. Google DeepMind87

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业、科研人员和消费者开放,首发价每百万 input token 2 美元、output token 10 美元,缓存 input 降价 95%。

    推荐理由:官方给出 Argon 的定价、1M token 窗口和多项落地案例,读者可据此判断其在长程编码与科研任务上的定位。

10月14日周三
10月9日周五
10月8日周四
10月2日周五
10月1日周四
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 宣布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络防御者开放,随后逐步扩展至开发者、企业和消费者。

    推荐理由:官方披露了 Gemini 4 Argon 的能力、基准与分阶段开放方式,读者可据此判断前沿模型在企业工作流和网络防御中的落地节奏。

9月30日周三
9月29日周二
  1. AWS Machine Learning Blog30

    Condé Nast 如何用 Amazon Bedrock 构建多模态视频检索

    Condé Nast 与 AWS 生成式 AI 创新中心基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,采用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与字幕,将单次内容检索耗时从 250 分钟降至 2 分钟以内。该方案支持自然语言意图检索、以图搜视频、错别字容错和精确时间戳定位,覆盖其 14 万余条视频库。

  2. Microsoft Research61

    微软研究院发布生物学生物世界模型系统 Quine

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨基因组、蛋白质、化学、RNA 与细胞状态、生物成像等模态联合训练的世界模型和连接模型、科学工具、文献与实验人员的 harness 组成。

    推荐理由:微软研究院公开 Quine 的生物世界模型设计,并给出胰腺癌化合物筛选在湿实验中获验证的案例。

9月25日周五
9月24日周四
9月23日周三
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐行表演指导,后者面向高并发、低成本配音场景。

    推荐理由:两个 TTS 模型把语音生成从固定预设转向自然语言定制,并给出 Hume AI 基准成绩与开放入口,便于判断创作与规模化配音的能力边界。

9月17日周四
  1. NVIDIA Developer Blog34

    如何用 AI 智能体为仿真准备 3D 场景

    AI 智能体工作流可用于为物理 AI 系统准备并验证数字孪生:智能体检查 3D 场景、在 OpenUSD 中编写仿真相关数据、添加物理属性、渲染预检视图,并对照 SimReady 要求验证结果。该流程覆盖从 Blender 场景到交付给 NVIDIA 的仿真就绪 OpenUSD 交接。

9月14日周一
  1. MIT News · AI39

    MIT 新方法 HardFlow 让生成式 AI 满足安全关键场景的硬约束

    MIT 研究人员提出 HardFlow,让预训练生成模型在部署阶段满足安全、物理等不可妥协的硬约束,同时提升输出质量,无需重新训练。该方法把硬约束采样重构为轨迹优化问题,只在最终输出上强制约束,而非每个中间步骤。在机器人操作、迷宫导航和文本引导图像编辑实验中,HardFlow 实现完全约束满足,质量持续优于基线方法,计算时间与多数同类方法相当或更低。

9月10日周四
9月3日周四
  1. Google DeepMind78

    Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型

    Google DeepMind 与 Google Research 发布 WeatherNext 3 全球天气模型,直接学习实时对地静止卫星观测数据,每小时输出一次预报,温度等关键地表变量分辨率达 5 公里,较上一代 WeatherNext 2 的 25 公里、6 小时更新提升约 5 倍。

    推荐理由:官方披露了分辨率、更新频率与训练数据来源的变化,可对比上一代判断天气模型精度提升的路径。

9月2日周三
  1. Google DeepMind78

    Google DeepMind 为 Gemini 推出智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,通过动态检索帧、音频和转录文本,将 token 消耗降低最多 88%、分析成本降低最多 66%、准确率提升最多 7%。

    推荐理由:Gemini 新功能给出 token 与成本下降幅度及启用方式,读者可据此评估长视频分析流程的改动空间。

9月1日周二
8月27日周四
8月20日周四
  1. NVIDIA Developer Blog18

    用 NVIDIA FLARE 构建联邦多模态 AI 工作流

    NVIDIA FLARE 可用于构建联邦多模态 AI 工作流,让视觉问答、图像描述与图文推理等视觉语言模型(VLM)任务在数据无法集中、原始记录分散于各机构的前提下完成协同训练。原文正文指出,现代 VLM 已能支持这些任务,而联邦学习提供了跨数据本地站点协调训练的途径。

8月18日周二
  1. Hugging Face Blog71

    Sentence Transformers v6.0 新增 MultiVectorEncoder 支持 ColBERT 式晚交互检索

    Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚交互检索,PyLate、Stanford-NLP ColBERT 以及 colpali-engine 视觉文档检索检查点均可通过同一套 API 加载。

    推荐理由:原文给出多种 ColBERT 类检查点的统一加载方式,以及索引体积与检索收益之间的实测取舍,可据此决定是否替换现有稠密检索。

8月13日周四
  1. Microsoft Research43

    MindTopo:新基准揭示多模态大模型的空间拓扑推理短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型对连通性、封闭、顺序、分离与打结等拓扑关系的理解,同时考察静态识别与交互规划。当前模型在静态推理上明显强于交互规划,且均远低于人类水平,失败多发生在规划阶段而非感知阶段。图像与视频生成仅在有助保持结构约束时才有效。

8月12日周三
  1. Google DeepMind76

    Google DeepMind 发布多语种手语转文本模型 SL2T,首发 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 与 Live Transcribe 中以 ASL 转英文的听写功能首次进入消费产品,训练数据超 10 万小时、覆盖 50 多种手语。

    推荐理由:官方给出了 SL2T 的数据规模、基准成绩和隐私处理方式,可据此判断手语翻译在消费端落地的可行边界。

8月10日周一
8月4日周二
  1. NVIDIA Developer Blog35

    NVIDIA Alpamayo 2 Super:用开放 340 亿参数推理视觉模型生成轨迹、推理链与自动标注

    NVIDIA 推出 Alpamayo 2 Super,一个开放 340 亿参数的推理视觉模型,可在自动驾驶开发中统一生成轨迹、高层意图预测、场景理解与数据标注,替代此前各环节分立的模型。该模型支持在同一套表示上对比相关输出、排查模型行为,并复用至整个开发流程。

  2. MIT News · AI54

    MIT 研究:医疗 AI 辅助的效果因使用者专业水平而异

    MIT 等机构的一项研究发现,可解释 AI 对皮肤疾病诊断的辅助效果取决于使用者的医学知识水平:非专家的诊断准确率虽有提升,但主要源于对模型的顺从,他们无论解释对错都会信任基于 LLM 的解释,且解释越模糊笼统越觉得有说服力;而临床医生不受错误 AI 解释干扰,只在仅给出模型预测、不带解释时表现最好。

7月30日周四
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics ER 2,为机器人带来视频理解、任务编排与多机器人协作

    Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2,作为高层“大脑”负责对话、理解物理世界并规划多步任务,再把电机执行交给底层 VLA 模型。

    推荐理由:Gemini Robotics ER 2 给出了多机器人协作与视频进度追踪的能力细节和开发者接入方式。

7月28日周二
7月16日周四
7月15日周三
7月1日周三