作者用 Hugging Face ML Intern 花约 103 美元做出六个定制模型
The model that didn't exist, so you made it yourself
作者描述自己用 Hugging Face 的 ML Intern 在几天内做出六个小模型,包括基于 Qwen3.5-2B 的柑橘病害模型、Huggy LoRA、相机角度 LoRA、Pocket Rewriter 0.8B/2B 和 Agate 4-step 蒸馏模型,累计算力成本约 103 美元。
作者用 ML Intern 在两三天内做出六个小模型,给出提示词结构与逐项成本,可作为低成本定制模型的实操参考。
上周,我想要一个随 Qwen-Image 2.1 一同发布的 提示词重写器的小型版本。官方那个是 9B 模型,需要约 20 GB 内存,并且在写出一个段落之前要思考数千个 token。在 Hub 上,我只找到了同一个 9B 模型的压缩副本。于是我把我的需求描述给了 ML Intern,第二天我就得到了一个能在 CPU 上运行的 0.8B 版本。它有 99.7% 的时间返回有效输出,且使用的 token 约为教师模型的四分之一。整个项目的算力开销,包括让 9B 模型为 8,797 条示例请求打标签,总计 16 美元。
在接下来的几天里,我用同样的方式又做了五个模型。每一个都始于 HuggingChat 中开启 ML-intern 的一条消息,每一个都最终成为 Hub 上的一个公开模型,并在模型卡片中附上了评估结果。ML-intern 会规划工作,在花费任何费用之前先向我申请预算,在正式任务前先运行一个小测试,然后在 HF Mirror 硬件上训练、评估并发布。
我如何提示 ML Intern
第一条消息是我投入精力的地方。我为下面分享的 citrus 模型写的第一条提示词大约 450 词。到我的第 6 个项目时,它已经接近 2,000 词,因为每个项目都教会了我一些我想在下一个项目中加入的东西。全部七条提示词都放在 GitHub 上的 yvrjsharma/ml-intern-prompts,与我写下的完全一致。
一条提示词以一句话说明想法以及我为什么想要它开头。然后它列出确切的部分:数据集、基础模型、训练脚本。任何我已经核实过的内容都放在一个标题下,标题字面上写着“已核实事实,不要重新推导”,这样智能体就把预算花在工作上,而不是重新发现我已经知道的东西。对于那个相机角度 LoRA,这一节列出了哪个训练器刚刚加入了透明图像支持,以及哪些开放的 GitHub issue 让备用训练器存在风险。
提示词中有两行至关重要。第一行要求在任何训练之前先给出一个基线。例如,citrus 提示词中写道:“还要在训练前报告基础模型在同一指标上的零样本得分,这样我们就能看到提升。”没有它,你只会得到一个训练好的模型,却不知道它是否比最初的好。第二行是一个附带检查的冒烟测试。对于图像 LoRA,我要求先训练 50 步,然后检查保存的权重确实发生了变化,之后再为完整运行付费。
在提示词结尾,我列出预期的交付物并限制成本。我定义模型卡片中应包含什么,并加入一条指令,例如:“总花费上限为 12 美元,超出前先问我。”因为 ML-intern 每项任务都从零美元预算开始,并且在执行付费任务前需要获得许可,所以这个花费限制会被严格执行。当你省略预算时,智能体会根据项目规模建议几条路径,并询问你更偏好哪一条。
你不一定第一次就需要全部这些。例如,我的 citrus 需求里没有 已核实事实这一节,ML Intern 仍然产出了一个把 Qwen3.5-2B 模型的准确率提升到三倍以上的模型。让我带你看看我在短短几天内用 Ml-Intern 构建的 6 样东西。
1. 一个了解你所在领域的模型
通用视觉模型可以描述一片发黄的柑橘叶片。然而,要告诉你这是螨虫问题还是缺镁,以及治疗植株的生物和非生物疗法,却非常困难。借助 Claude,我把 Hub 上 Project-AgML 组织托管的三个来源合并成了一个训练数据集。由此得到的 citrus-disease-vlm-instruct 数据集包含 3,017 张标注图像,涵盖 21 种不同的害虫、病害、营养缺乏和治疗方法。ML-intern 使用这些样本完成了 Qwen3.5-2B 的微调,并事先对基础模型进行了基准测试。
在 335 张测试照片上,基础模型正确识别问题的比例为 14.9%。在一张 A10G 上训练两个 epoch 后,微调模型达到了 52.8%。计算成本约 1.90 美元。
查看:模型 · 数据集 · Citrus Doctor App
2. 一个能画出你角色的模型
图像模型认识很多角色。但以 HF Mirror 品牌资产扁平风格绘制的 Huggy,并不在其中。我让 ML-Intern 为 FLUX.2 klein base 4B 训练一个 LoRA,使用的是 Chunte/huggy_for_training 数据集中 84 张带标注的绘图。
该智能体每 100 步保存一个检查点,并用每个检查点绘制同一组提示词,这让选择变得很容易。第 200 步是 Huggy 第一次完全符合设定。从第 500 步开始,Huggy 的风格开始渗入与 Huggy 无关的提示词!训练好的 LoRA 在 4 步的蒸馏 klein 模型上也能使用。计算成本约 7.60 美元。
查看:模型 · 数据集 · Huggy Generator App
3. 一个会新把戏的模型
- 相机角度 LoRA 是早期 Qwen-Image 模型最受欢迎的社区附加组件之一。你可以给模型一张物体的图片,并要求从左侧 45 度角查看它。在 Qwen-Image 2.1 模型发布几天后我查看时,还没有人制作它,于是我让 ML-intern 来构建。
ML-intern 以 24 个角度渲染了来自 Google Scanned Objects 的 1,030 个扫描家居物品,共 24,722 张透明图像,在一个成本仅为几美分的 CPU 任务上完成。随后它最终确定了 461 个用于训练的物品和 40 个留作测试的物品,以及 1,844 对训练前后图像对,均匀分布在 23 条相机指令上。
训练在一张 A100 上运行了 2,000 步,耗时约 90 分钟(约 3.75 美元)。整个项目耗时约半天,共 48 个任务,其中包括因缺少软件包或路径错误而失败、不得不由 ML-Intern 重新提交的任务。总计算成本约 16 美元。
查看:模型 · 数据集 · Viewpoint Orbit App
- Doodle-in LoRA 是另一个很酷的想法。上传一张带有品红色涂鸦的照片,并添加一条简短提示词来指定一个物体。LoRA 会用该物体替换涂鸦,同时保持原有的光照和构图一致。
此前没有现成的数据集,所以我的提示词描述了如何制作一个。从 Open Images 中的一张真实照片开始,用 LaMa 修复模型移除一个物体,并在该物体原本所在的位置画一个涂鸦。未修改的照片就是目标。ML-intern 在 CPU 沙盒中编写并测试了配对构建脚本,然后将其作为 GPU 作业运行,同时记录每张源照片的作者和许可证。它构建了 6,042 个训练对和 160 个测试对,其中 40 个测试对来自完全排除在训练之外的 23 个物体类别。
训练前,它分别测量了基础模型本身以及搭配 Viggle turbo LoRA 时的表现,并检查了批量执行编辑是否会生成完全相同的图像,这让评估变得更便宜。训练在单张 A100 上运行了 2,000 步,耗时 1 小时 38 分钟(约 4 美元),在 48 个测试对上比较保存的检查点后,选择了第 500 步。
搭配 Viggle turbo LoRA 在 6 步时,LoRA 表现非常好。在绘制位置检测到的物体占 67.5%,每次编辑耗时 4.7 秒。来自 23 个未见类别的物体与其他物体一样可靠(65.0% 对 64.2%)。该项目用时略超过一天,共 59 个作业。总计算成本约 24 美元。
查看:模型 · 数据集 · Doodle-in 应用
4. 适配你设备的模型
- 本文开头的 Pocket Rewriter 是第一个。ML-intern 首先通过 Inference Providers 使用一个小型 instruct 模型生成了 8,797 条简短图像请求,遵循我提示词中的混合设置:照片、海报、标志、信息图等,其中约三分之一要求引号中的精确文本,许多使用非英语语言。然后,9B 教师模型在单张 A100 上用 2 小时 37 分钟(约 6.50 美元)重写了所有请求。经过质量筛选后,选出了 1,840 个示例用于训练数据集。

训练 0.8B 和 2B 学生模型分别在 A10G 上耗时 12 分钟和 18 分钟(两者共 0.75 美元)。0.8B 还以 812 MB 的 GGUF 文件形式发布,用于在 CPU 上运行。该项目用时约 11 小时,共 24 个作业。总计算成本约 16 美元。
查看:Pocket rewriter 0.8B Student · 2B Student · 数据集 · Pocket Studio 应用 · 在 Rewriter Arena 中比较教师-学生模型
- Agate-Preview-002-4step 是第二个。Logolabs 的 Agate Preview 002 是一个 260M 参数的文本到图像模型,小到足以在浏览器中运行,但它需要 50 步并带引导,即每张图像 100 次网络前向传播。我要求 ML-intern 将其蒸馏到仅 4 次传播!
它用了两次运行。第一次将 155,000 张训练图像缓存为潜变量,将引导烘焙进模型,然后分阶段将步数从 16 降到 8 再到 4,全部在 A100 上完成。4 步学生模型在相同 4 步下于 GenEval 和 FID 上击败了教师模型,之后 ML-intern 将其导出为 ONNX 以供浏览器使用。这次运行耗时约 13 小时,花费 22 美元。
我进行了第二次训练运行,要求 ML-Intern 进一步改进 4 步学生模型。它随后用 16 步的教师模型又生成了 24,000 个图像对,并针对这些图像对微调 4 步学生模型约一小时。GenEval 从 0.509 提升到 0.536,而教师模型在 50 步下为 0.563,学生模型仅用 4 步(四分之一的计算量)。ML-intern 重新导出了浏览器版本。第二次运行耗时约 8 小时。两次运行的总计算成本约 37 美元。
查看:Agate 4-step model · Dataset · Run Agate in your browser · Agate 4-step LIVE
花费
| 模型 | 基础模型 | 算力 |
|---|---|---|
| Citrus Doctor | Qwen3.5-2B | USD 1.90 |
| Huggy LoRA | FLUX.2 klein base 4B | USD 7.60 |
| Pocket rewriter(0.8B 和 2B) | Qwen3.5-0.8B 和 2B | USD 16.05 |
| Viewpoint Orbit LoRA | Qwen-Image 2.1 | USD 16 |
| Doodle-in LoRA | Qwen-Image 2.1 | USD 24.30 |
| Agate 4-step(两次运行) | Agate Preview 002 | USD 37 |
| 总计 | 约 USD 103 |
这些是每个会话报告的 GPU 和 CPU 作业费用。
动手做你自己的
ML-intern 位于 HuggingChat 中。开启 ML-intern 模式并粘贴提示词。如果你想要一个起点,我的示例提示词可以免费复制。从一个你希望存在但尚未有的模型和你拥有的数据集出发,或者从你能描述出的一个数据集出发。给它一个小预算,要求一个基线和一个冒烟测试,先看看返回的结果,再提高上限。
如果你用它做出了什么,请在 X 上分享并 @ @Gradio 和 @HuggingFace。我们很想看到你做出的那些别人不会想到要为你构建的模型。
来源:Hugging Face Blog · hf-mirror.com