跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 1–6 条 · 共 6 条
10月4日周日
  1. Hugging Face Blog71

    Microsoft 与 Hugging Face 发布 ThinkingBox:按数据库终态评测 AI 智能体

    Microsoft Copilot Studio 团队联合 Hugging Face 发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,按终端数据库状态和副作用评分,而非最终回复,每个任务重复 20 次。

    推荐理由:通过 507 个有状态业务工作流的 20 次重复运行,揭示模型单次成功率与稳定完成率之间的差距。

8月21日周五
  1. Hugging Face Blog67

    Hugging Face 研究量化语音识别中的基准优化问题

    Hugging Face 发布研究,提出三项测试量化语音识别中的基准优化现象。研究评估 11 个开源 ASR 模型,发现部分高分模型在音频与参考文本矛盾时仍复现 VoxPopuli 和 LibriSpeech 的错误转写,被静音的年份甚至被补全为 2011。

    推荐理由:文章用三类探针量化 ASR 模型对基准本身的过拟合,并给出可复用的检出方法。

5月16日周六
  1. Google DeepMind60

    Google DeepMind 的 WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 的 AI 天气模型 WeatherNext 帮助美国国家飓风中心(NHC)提前五天以 80% 置信度预测飓风 Melissa 将在牙买加以 Category 5 强度登陆,三天的置信度接近 100%,这是首次从 Category 1 风速起步预测风暴达到 Category 5 强度。

    推荐理由:Google DeepMind 披露 WeatherNext 在飓风 Melissa 预警中的实战表现,读者可看到 AI 气象模型对路径与强度的同时预测能力。

8月7日周四
2月14日周五
1月24日周三