跳到正文

#DeepSeek

今日 3 条
10月3日周六
  1. 钛媒体76

    DeepSeek 为什么要在此时拥抱华为?

    DeepSeek 在国庆假期前一天开源面向华为昇腾算力平台的基础设施组件,包括 TileLang 高级语言编译工具、高性能计算库与分布式通信库,与面向英伟达平台的开源组件一一对应。

    推荐理由:拆解 DeepSeek 把成熟工具链整体移植到昇腾的技术路径,可供观察国产算力生态迁移的现实条件。

10月2日周五
9月30日周三
9月29日周二
9月25日周五
9月11日周五
8月2日周日
7月22日周三
  1. Interconnects · Nathan Lambert30

    开源模型盘点:Kimi K3、Qwen 3.8、WAIC 讲话、蒸馏与开源闭源差距

    Interconnects 播客盘点开源模型最新进展:Kimi K3 上周发布,权重预计 7 月 27 日放出,需一个 B300 节点才能加载;Qwen 宣布下一代大模型将开放权重,GLM 5.2 持续在微调生态中扮演重要角色。节目还讨论了开源与闭源前沿的差距、蒸馏争论,以及中国厂商 Qwen、DeepSeek、MiniMax 的布局。

7月20日周一
  1. Interconnects · Nathan Lambert83

    Kimi K3:开源权重的升级

    Moonshot AI 于 7 月 16 日发布旗舰模型 Kimi K3,这是一个 2.8T 参数的 MoE 模型,权重将于 7 月 27 日开放。

    推荐理由:从模型排名、训练效率到政策动向,梳理 Kimi K3 对开源与闭源平衡的冲击。

7月18日周六
  1. Ahead of AI · Sebastian Raschka38

    如何在 LLM 中控制推理努力程度

    文章以 OpenAI 的 o1、DeepSeek-R1 和 GPT-5.6 Sol 为例,解释推理模型如何通过推理努力(reasoning effort)设置控制性能与成本,GPT-5.6 系列提供三种尺寸、每种约五到六档推理努力。核心方法是用 RLVR 训练:仅以最终答案正确性(0/1)和格式给奖励,中间推理轨迹不参与训练,模型因此学会回溯和自我纠错等“Aha”时刻。

6月29日周一
5月16日周六
  1. Ahead of AI · Sebastian Raschka37

    LLM 架构最新进展:Gemma 4 的 KV Sharing、mHC 与压缩注意力

    近期开放权重模型的新架构集中解决长上下文效率问题:Gemma 4 的 E2B/E4B 变体采用跨层 KV sharing 并复用 KV 张量以压缩缓存,ZAYA1 引入压缩卷积注意力,Laguna XS.2 采用逐层注意力预算,DeepSeek V4 则结合 mHC 与压缩注意力。随着推理模型和智能体工作流保留更多 token,KV cache 大小、内存流量与注意力开销已成为主要瓶颈。

4月24日周五
2月25日周三
2月3日周二
1月27日周二
1月20日周二
12月30日周二
  1. Ahead of AI · Sebastian Raschka48

    LLM 的 2025:进展、问题与预测

    2025 年 LLM 发展由推理模型主导,DeepSeek 在 1 月发布 R1 论文,用强化学习配合可验证奖励(RLVR)与 GRPO 算法训练出推理行为,并以开放权重达到当时最佳专有模型水平。R1 在 DeepSeek V3 之上再训练约花费 29.4 万美元,V3 的 671B 参数模型训练成本估计接近 500 万美元而非 5 亿。此后各家开放权重与专有模型纷纷跟进推出推理版本。

12月3日周三
10月29日周三
  1. Hugging Face Blog38

    Hugging Face 解析全球算力格局变迁:中国芯片开始承载国产开源模型

    Hugging Face 发文分析全球 AI 算力格局的迁移:中国国产芯片已开始承载 Qwen、DeepSeek、GLM、Kimi 等开源权重模型的推理,部分模型开始用国产芯片训练。文章指出,美国出口管制与华为 Ascend、寒武纪等国产芯片产能的加速高度相关,芯片受限也倒逼出 MLA、GRPO 等算力效率创新。

8月14日周四
7月17日周四
6月12日周四
5月12日周一
3月27日周四
3月12日周三
  1. Hugging Face Blog68

    Open R1 发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 代码模型

    Open R1 发布第三期更新,包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克(IOI)的新基准,以及微调的 7B 和 32B 模型 OlympicCoder。

    推荐理由:Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型,可看蒸馏训练的具体做法与教训。

3月7日周五
2月14日周五
2月11日周二
2月2日周日
1月31日周五