跳到正文

#多模态

今日 1 条
今天10月15日周四
  1. 钛媒体82

    上海AI实验室以书生科学多模态大模型S2攻克三维Ghys猜想

    上海人工智能实验室访问学者许地生团队依托书生科学多模态大模型S2,通过人机协同完成三维Ghys猜想的证明,相关论文已在arXiv发布、形式化代码在GitHub公开。

    推荐理由:材料呈现了人机协同证明三维Ghys猜想的过程,读者可了解AI在基础数学研究中的具体介入方式与验证链条。

10月12日周一
  1. 钛媒体40

    杨立昆新模型 H-JEPA:反对 Agent,反对 RSI

    杨立昆提出分层联合嵌入预测架构 H-JEPA,将多个 JEPA 逐层堆叠,各层在不同时间跨度上预测状态。Visual AntMaze 任务中,单层 LeWM 成功率仅 18%,三层 H-JEPA 达 73%。该架构不用奖励、不用重建,主张向上增加抽象层级而非增加步数,与当前 Agent 和 RSI 路线相反。

10月6日周二
10月3日周六
10月2日周五
9月14日周一
  1. MIT News · AI39

    MIT 新方法 HardFlow 让生成式 AI 满足安全关键场景的硬约束

    MIT 研究人员提出 HardFlow,让预训练生成模型在部署阶段满足安全、物理等不可妥协的硬约束,同时提升输出质量,无需重新训练。该方法把硬约束采样重构为轨迹优化问题,只在最终输出上强制约束,而非每个中间步骤。在机器人操作、迷宫导航和文本引导图像编辑实验中,HardFlow 实现完全约束满足,质量持续优于基线方法,计算时间与多数同类方法相当或更低。

8月13日周四
  1. Microsoft Research43

    MindTopo:新基准揭示多模态大模型的空间拓扑推理短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大模型对连通性、封闭、顺序、分离与打结等拓扑关系的理解,同时考察静态识别与交互规划。当前模型在静态推理上明显强于交互规划,且均远低于人类水平,失败多发生在规划阶段而非感知阶段。图像与视频生成仅在有助保持结构约束时才有效。

8月12日周三
8月4日周二
  1. MIT News · AI54

    MIT 研究:医疗 AI 辅助的效果因使用者专业水平而异

    MIT 等机构的一项研究发现,可解释 AI 对皮肤疾病诊断的辅助效果取决于使用者的医学知识水平:非专家的诊断准确率虽有提升,但主要源于对模型的顺从,他们无论解释对错都会信任基于 LLM 的解释,且解释越模糊笼统越觉得有说服力;而临床医生不受错误 AI 解释干扰,只在仅给出模型预测、不带解释时表现最好。

7月16日周四
12月30日周二
12月9日周二
11月21日周五
11月13日周四
11月11日周二
  1. Google DeepMind48

    Google DeepMind 新研究:让 AI 视觉模型更像人一样看世界

    Google DeepMind 在 Nature 发表新论文,提出一种三步对齐方法,用认知科学的"odd-one-out"任务发现视觉模型常依赖背景色、纹理等表层特征,与人类判断系统性错位。团队以 SigLIP-SO400M 为基座训练适配器作为"教师",生成含百万张图像、数百万条类人判断的 AligNet 数据集,再微调其他模型,使其内部表征按人类概念层级重新组织,从而提升鲁棒性与泛化能力。

8月12日周二
7月23日周三
10月23日周三
  1. Hugging Face Blog28

    CinePile 2.0:用对抗式精炼打造更强的数据集

    Hugging Face 发布 CinePile 2.0 长视频问答数据集,并开源一种名为对抗式精炼的新方法。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类在该基准上比最强商业视觉模型高出 25%、比开源模型高出 65%;2.0 版本由 HF Mirror 参与,针对退化问题和视觉依赖等缺陷做改进,该方法可直接用于强化现有数据集。

9月23日周一
7月25日周四
7月18日周四
3月15日周五
3月5日周二
  1. Hugging Face Blog30

    UCLA 推出 ConTextual:评估多模态模型在文本丰富场景中的图文联合推理能力

    UCLA 研究者发布 ConTextual,一个含 506 条指令的上下文敏感文本丰富视觉推理数据集,覆盖时间阅读、购物、导航、信息图等 8 类真实场景,并附排行榜与验证集。首轮评测 13 个模型,GPT-4V 表现最佳,但在时间相关任务上不及人类;开源模型仅在抽象与自然场景达到可接受水平。

12月15日周三
  1. Hugging Face Blog61

    Hugging Face 将 Perceiver IO 加入 Transformers,支持任意模态

    Hugging Face 将 Perceiver IO 加入 Transformers,这是首个可处理文本、图像、音频、视频、点云及其组合的 Transformer 类模型,随模型提供图像分类与光流预测示例和多个 notebook。

    推荐理由:原文给出 Perceiver IO 加入 Transformers 的实现细节与多模态示例,读者可据此判断跨模态统一架构的可用性。