跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 63 条
今天10月15日周四
  1. Google DeepMind87

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业、科研人员和消费者开放,首发价每百万 input token 2 美元、output token 10 美元,缓存 input 降价 95%。

    推荐理由:官方给出 Argon 的定价、1M token 窗口和多项落地案例,读者可据此判断其在长程编码与科研任务上的定位。

10月8日周四
10月1日周四
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 宣布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络防御者开放,随后逐步扩展至开发者、企业和消费者。

    推荐理由:官方披露了 Gemini 4 Argon 的能力、基准与分阶段开放方式,读者可据此判断前沿模型在企业工作流和网络防御中的落地节奏。

9月29日周二
  1. Microsoft Research61

    微软研究院发布生物学生物世界模型系统 Quine

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨基因组、蛋白质、化学、RNA 与细胞状态、生物成像等模态联合训练的世界模型和连接模型、科学工具、文献与实验人员的 harness 组成。

    推荐理由:微软研究院公开 Quine 的生物世界模型设计,并给出胰腺癌化合物筛选在湿实验中获验证的案例。

9月25日周五
9月23日周三
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐行表演指导,后者面向高并发、低成本配音场景。

    推荐理由:两个 TTS 模型把语音生成从固定预设转向自然语言定制,并给出 Hume AI 基准成绩与开放入口,便于判断创作与规模化配音的能力边界。

9月3日周四
  1. Google DeepMind78

    Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型

    Google DeepMind 与 Google Research 发布 WeatherNext 3 全球天气模型,直接学习实时对地静止卫星观测数据,每小时输出一次预报,温度等关键地表变量分辨率达 5 公里,较上一代 WeatherNext 2 的 25 公里、6 小时更新提升约 5 倍。

    推荐理由:官方披露了分辨率、更新频率与训练数据来源的变化,可对比上一代判断天气模型精度提升的路径。

9月2日周三
  1. Google DeepMind78

    Google DeepMind 为 Gemini 推出智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能,通过动态检索帧、音频和转录文本,将 token 消耗降低最多 88%、分析成本降低最多 66%、准确率提升最多 7%。

    推荐理由:Gemini 新功能给出 token 与成本下降幅度及启用方式,读者可据此评估长视频分析流程的改动空间。

8月27日周四
8月18日周二
  1. Hugging Face Blog71

    Sentence Transformers v6.0 新增 MultiVectorEncoder 支持 ColBERT 式晚交互检索

    Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚交互检索,PyLate、Stanford-NLP ColBERT 以及 colpali-engine 视觉文档检索检查点均可通过同一套 API 加载。

    推荐理由:原文给出多种 ColBERT 类检查点的统一加载方式,以及索引体积与检索收益之间的实测取舍,可据此决定是否替换现有稠密检索。

8月12日周三
  1. Google DeepMind76

    Google DeepMind 发布多语种手语转文本模型 SL2T,首发 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 与 Live Transcribe 中以 ASL 转英文的听写功能首次进入消费产品,训练数据超 10 万小时、覆盖 50 多种手语。

    推荐理由:官方给出了 SL2T 的数据规模、基准成绩和隐私处理方式,可据此判断手语翻译在消费端落地的可行边界。

8月10日周一
7月30日周四
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics ER 2,为机器人带来视频理解、任务编排与多机器人协作

    Google DeepMind 发布面向机器人的具身推理模型 Gemini Robotics ER 2,作为高层“大脑”负责对话、理解物理世界并规划多步任务,再把电机执行交给底层 VLA 模型。

    推荐理由:Gemini Robotics ER 2 给出了多机器人协作与视频进度追踪的能力细节和开发者接入方式。

7月15日周三
7月1日周三
6月9日周二
  1. Hugging Face Blog61

    作者如何让 Agent 串联两个 Hugging Face Space 搭建 3D 巴黎画廊

    作者让编程智能体调用两个 Hugging Face Space 搭建了一个展示巴黎地标的 3D 高斯泼溅画廊:ideogram4 负责由提示词生成图像,VAST-AI/TripoSplat 负责将单张图像重建成 .ply 格式的 3D 高斯泼溅。

    推荐理由:作者以一条可复现的智能体流水线,展示如何用 agents.md 串联两个 Space 完成图像与 3D 生成。

5月18日周一
5月17日周日
  1. Google DeepMind74

    Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini 和 Chrome

    Google 宣布扩展内容透明度与验证工具,把 SynthID 的图片、视频、音频验证从 Gemini app 扩展到 Search,并将在未来几周进入 Chrome,Gemini 中该功能已被使用 5000 万次。

    推荐理由:Google 把 SynthID 与 C2PA 验证铺到 Search、Gemini 和 Chrome,并开放云端检测 API,读者可了解内容溯源工具的实际入口与合作方。