Thinking Machines 发布 Inkling 与 Inkling-Small 开源多模态模型

Inkling 现在有了更小的版本 🤗 Inkling-Small 由 Thinking Machines Lab 发布。我们更新了这篇帖子，加入了 性能 以及 部署配置，适用于 Inkling-Small 和 Inkling-Small-NVFP4 变体。这里是包含所有 Inkling 模型的 集合。我们让你可以更轻松地在 Inference Endpoints 上一键部署 Inkling-Small（最高可达 160 TPS）。我们还提供了 一个实时语音和图像演示，你可以与模型进行交互。

Inkling 是一个大型（1T 参数！）开放模型，原生支持图像、文本和音频输入。

TLDR；由 Thinking Machines 打造的 Inkling 已在 HF Mirror 上发布。Inkling 是一个巨型多模态 LLM，能够理解所有模态（图像、音频、文本），具备智能体能力，并支持 1M 上下文。它提供完整的 BF16 以及经过良好校准的 NVFP4 变体，并包含用于加速推理的推测式 MTP 层。transformers、SGLang、vLLM 和 llama.cpp 均已提供首日支持。Thinking Machine Labs 还发布了 Inkling-Small，总参数 276B、激活参数 12B，并支持 MXFP8 和 NVFP4 权重，其架构与 Inkling 相同。

Inkling 有何特别之处？

Inkling 是首个拥有 约 1T 参数 和 1M 上下文窗口 的大型开放模型，能够原生接收 图像、文本和音频输入，并在 45 万亿 token 的文本、图像、音频和视频 上进行训练。它专注于跨音频、图像和文本等模态的推理；并旨在通过微调进行领域适配。我们对这个模型进行了尝试，构建了一些演示并探索了其架构，我们认为它非常适合构建新一代多模态推理应用。

整体能力与架构

Inkling 是一个仅解码器多模态混合专家模型，总参数 975B、激活参数 41B。其中涉及很多内容，让我们逐一拆解：

• 仅解码器：这意味着该架构支持因果自回归生成，与大多数最先进的 LLM 一样。
• 多模态：该模型可以接收文本、音频和图像。
• 混合专家（MoE）：每一层内部的前馈网络是稀疏的，因此推理速度更快，因为任意时刻只有 41B 参数处于激活状态。该模型有 256 个专家，我们稍后会看到。

这里是架构的快速一览。

相对注意力： Inkling 没有使用 RoPE（这是 transformer 模型中注入位置信息的常用方法），而是使用相对注意力来编码位置信息。每个注意力层直接在注意力 logits 中学习位置。除了 key-query-values 之外，还有第四个投影，为每个 token、每个 head 生成一个相对特征 R。然后这个投影张量会用距离信息（key 与 query 向量之间的距离）进行调整，并传播到注意力模块中。

混合注意力： 解码器层在全局注意力（一次性关注完整上下文长度）和滑动窗口注意力（以滑动方式关注固定上下文窗口）之间交替。该架构采用 5:1 的滑动窗口与全局注意力层模式。这种混合注意力方案提供了计算效率。最后一层使用全局注意力来帮助构建特征丰富的表示。

短卷积：该模型使用了一种独特的短一维卷积，即在隐藏状态上应用SConv。SConv 读取当前 token 以及之前的 W-1 个隐藏状态，其中 W 为滑动窗口大小。其直觉是，SConv 有助于局部注意力，同时将注意力和 MoE 模块从局部表示中解放出来。

带共享专家汇聚的 MoE：在 Inkling 中，路由器同时对路由专家和共享专家进行评分。Top-k 选择在 6 个专家上进行，另有 2 个共享专家始终处于激活状态。

视觉理解：该模型包含一个简单的分层 MLP patchifier，由若干线性层组成。每一层逐步合并像素，直到最后一层为每个 patch 生成一个嵌入。

音频理解：该架构采用离散化梅尔频谱图，其中每个音频块（100 ms）被转换为梅尔刻度，然后分类到精确的梅尔频谱图 bin 中。

多模态塔是相对简单的模块，不同于其他为每种模态使用单独编码器的模型。每个图像 patch 通过图像嵌入塔，音频块通过音频嵌入塔，以获得两种媒体嵌入。图像输入还包含用于视频处理的额外时间维度。我们预期这一能力对下游微调有用，但我们尚未评估开箱即用的视频性能。塔将 patch 网格折叠，将一小块局部相邻 token 堆叠到通道维度中，并通过 hMLP。音频波形被转换为梅尔刻度，然后分类为离散的梅尔 bin。这些梅尔 bin 值被嵌入到音频嵌入塔中，然后对嵌入求和以构建最终的音频输入。

推理支持

Inkling 提供 day-0 transformers 支持，并受到 SGLang 和 vLLM 等主要推理引擎的支持。

这个模型非常庞大。bf16 检查点需要 2 TB 的 VRAM，而 nvfp4 版本需要 600 GB 的 VRAM。你可以通过 Inference Providers 等无服务器推理路由器尝试该模型，或使用 ggml 量化版本配合 llama.cpp 进行本地部署。

Transformers

直接使用 transformers 进行推理的最简单方法是使用 any-to-any pipeline。你可以在 Hopper 或更新的 GPU 上使用 16 位 "thinkingmachines/Inkling"，或在 Blackwell Nvidia GPU 上使用量化的 NVFP4 检查点 "thinkingmachines/Inkling-NVFP4"。请确保使用最新版本的 transformers（5.14.0 今天发布）（pip install -U transformers）。

from transformers import pipeline

model_id = "thinkingmachines/Inkling"
# model_id = "thinkingmachines/Inkling-NVFP4"

pipe = pipeline("any-to-any", model=model_id)

初始化 pipeline 后，你可以按如下方式传入提示词。

image_url = (
    "https://hf-mirror.com/datasets/merve/vl-test-suite/"
    "resolve/main/pills.jpg"
)
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": image_url,
            },
            {
                "type": "text",
                "text": "Do components in this supplement interact with each other?",
            },
        ],
    },
]
output = pipe(
    messages,
    max_new_tokens=2000,
    return_full_text=False,
    reasoning_effort="medium",
)
output[0]["generated_text"]

再低一层，你可以使用 Auto 类。对于推理，你可以为模型使用 AutoModelForMultimodalLM 类，为处理器使用 AutoProcessor 类。对于不同的推理任务，tokenizer 接受一个 reasoning_effort 参数。现有的推理强度选项有 "none"、"minimal"、"low"、"medium"、"high"、"xhigh" 和 "max"。

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You should only answer with a number."},
    {"role": "user", "content": "What is 17 * 23?"},
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    reasoning_effort="high",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=2000)
generated_tokens = output[0][inputs["input_ids"].shape[1] :]
print(processor.decode(generated_tokens, skip_special_tokens=False))

对于多模态推理，你可以使用相同的类。我们在模型卡中为每种不同的模态提供了示例片段。

文本加图像推理

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

image_url = (
    "https://hf-mirror.com/datasets/merve/vl-test-suite/"
    "resolve/main/pills.jpg"
)
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": image_url,
            },
            {
                "type": "text",
                "text": "Do any of the components in this supplement interact?",
            },
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    reasoning_effort="medium",
    return_dict=True,
    return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=2000)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

processor.parse_response(response)

Inkling 也接受音频输入。以下是一个示例推理片段，仍然使用相同的 AutoModelForMultimodalLM 类。

文本加音频推理

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)

audio_url = (
    "https://hf-mirror.com/datasets/merve/vl-test-suite/"
    "resolve/main/example_audio.mp3"
)
messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Transcribe the following speech to text."},
            {
                "type": "audio",
                "audio": audio_url,
            },
        ],
    },
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=512)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

processor.parse_response(response)

如需在多个节点的集群中进行更真实的并行部署，请参阅下方的 Slurm 部分。

SGLang

SGLang 在发布时是部署 Inkling 最快的框架之一，因为它包含自定义模型实现。下面的启动命令将模型分片到 8 块 GPU 上，并在端口 30000 上提供 OpenAI 兼容 API。

pip install sglang

python3 -m sglang.launch_server \
 --model-path thinkingmachine/Inkling \
 --tp-size 8 \
 --served-model-name inkling \
 --host 0.0.0.0 \
 --port 30000

将 --tp-size 匹配到你的 GPU 数量。如果需要对 KV 缓存留出更多余量，请添加 --mem-fraction-static（例如 0.85）。

vLLM

vLLM 非常适合生产环境服务。一条 vllm serve 命令即可从 Hub 下载权重，通过张量并行将模型分片到你的 GPU 上，并在端口 8000 上启动 OpenAI 兼容服务器。你可以在此处查看该模型的 vLLM Recipe，以针对你的硬件进行自定义。

# Requires nightly or vllm>=0.26 (once released)
uv pip install -U vllm --pre \
  --extra-index-url https://wheels.vllm.ai/nightly/cu130 \
  --extra-index-url https://download.pytorch.org/whl/cu130 \
  --index-strategy unsafe-best-match

vllm serve thinkingmachines/Inkling-NVFP4 \
  --trust-remote-code \
  --tokenizer-mode inkling \
  --tensor-parallel-size 8 \
  --enable-auto-tool-choice \
  --tool-call-parser inkling \
  --reasoning-parser inkling \
  --served-model-name inkling

在实践中，你可能需要多个节点以及像 SLURM 这样的分发工具（见下文）。关键参数是将 --tensor-parallel-size 设置为你节点上的 GPU 数量，如果遇到 KV 缓存内存限制，可使用 --max-model-len 来限制上下文窗口。

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "inkling",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

通过 HF Mirror Inference Providers 进行远程推理

你可以通过 HF Mirror 使用多个推理提供商对该模型进行推理。你可以在此处查看所有代码片段。下面你可以看到如何使用 OpenAI 客户端。

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://router.hf-mirror.com/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="thinkingmachines/Inkling:auto",
    messages=[
        {
            "role": "user",
            "content": "What is the capital of France?",
        },
    ],
)

print(completion.choices[0].message)

使用 “:auto” 后缀可路由到你在设置中首选的提供商；你也可以使用 “cheapest” 或 “:fastest”。本次发布期间，我们为所有人承担发布后 2 小时内的推理费用。

注意：Inference Providers 中的音频支持仍在开发中，将很快添加。

使用 llama.cpp 和 Unsloth 进行本地推理

你可以使用 llama.cpp 在有限的硬件上运行该模型的量化版本。Unsloth 已将模型量化至 1 位精度，相比原始模型减少了 95% 的 VRAM 占用。

llama serve -hf unsloth/inkling-GGUF:UD-IQ1_S

这会在 http://localhost:8080/v1 启动一个 OpenAI 兼容服务器，你可以在首选工具或客户端中连接到它。前往那里，你就可以开始与模型聊天，将其与你喜欢的 MCP 一起设置，方便地传入图像或文件等等！

Llama cpp 还自带一个内置 UI，支持工具、mcp 和智能体工作负载。来看看在 llama 应用中以 1 位精度运行的 Inkling：

Inkling GGUF 也可以在 Unsloth Studio 中运行，使用动态 1 位 GGUF，保留了约 74.2% 的 top-1% 准确率，同时体积缩小了 86%。

使用场景

使用 Pi 进行智能体编程

Pi 是一个极简的编程智能体框架，可与不同的语言模型一起使用。你可以将 Pi 与推理引擎服务器端点（如 llama.cpp）一起使用，也可以通过 HF Mirror 上的 Inference Providers 使用，只需在安装后将此内容添加到你的 ~/.pi/agent/models.json 中。

{
  "providers": {
    "inference-providers": {
      "baseUrl": "https://router.hf-mirror.com/v1",
      "api": "openai-completions",
      "apiKey": "hf_...",
      "models": [
        {
          "id": "thinkingmachines/Inkling"
        }
      ]
    }
  }
}

然后你可以在项目目录中通过调用 pi 启动 Pi，就可以开始了！在这个演示中，我们给模型一个困难的数学推理问题，它使用 pi 中的工具来解决它。

Inkling 专注于广泛的多模态推理和低 token 消耗，因此请尝试将其用于文档处理或音频任务。

多 Token 预测草稿器

MTP 为模型添加了额外的层，可一次预测多个 token，而不仅仅是下一个。在推理期间，这些额外层充当推测解码的“草稿器”，在不影响性能的情况下加速生成。借助 MTP，你可以获得完全相同的生成输出，在少量 VRAM 内存开销下（由于服务草稿器）实现数倍的生成加速。Thinking Machines 也在本次发布中提供了 MTP 草稿器。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

processor = AutoProcessor.from_pretrained("thinkingmachines/Inkling")
model = AutoModelForMultimodalLM.from_pretrained(
    "thinkingmachines/Inkling",
    dtype=torch.bfloat16,
    device_map="auto",
)

# Preprocess the inputs.
...
generated = model.generate(
    **inputs,
    max_new_tokens=1000,
    do_sample=False,
    use_mtp=True,
)
print(processor.decode(generated[0], skip_special_tokens=True))

多模态视觉

我们从专家级来源和大学入学考试中准备了一小套推理问题。我们拍摄了屏幕上带有水印的照片来挑战模型。模型在 high 水平下全部解决，在 highest 和 medium 推理努力下各失败了一个，因此我们提供了模型答案的链接，供你查看模型的表现，并提供了模型解决每个问题所消耗的 token 数量。注意，在这些 vibe 评估中我们没有提供系统提示，而这些推理问题通常应该在良好的系统提示下运行。Vibe 评估图像和结果位于此处。

关于 vibe 的几点说明：

• 模型没有直接回答信息图上的问题，而是先将图像上的文字转为文本以进行 grounding。
• 提示对节省推理 token 非常重要，例如，用“这里哪些成分相互作用？”这样模糊的问题配上药丸背面的图片，模型首先需要理解我们所说的相互作用是什么意思。
• 多选题答案在帮助模型组织自身推理方面作用很大，对于开放式问题，模型相比多选题表现更吃力，不过这是许多模型的常见问题。通常的思维链是 OCR → 特征描述 → 评估每个选项 → 回答。
• 0.7 推理努力（medium）似乎提供了良好的权衡。

多模态音频

我们对来自 BigBenchAudio 的一些音频推理示例以及 GlobeAudio 的一些多语言音频示例（俄语和中文多选题，要求转写中的最后一个词）进行了 vibe 评估。我们测试的 BigBenchAudio 示例包含逻辑陈述和问题，这些问题要么要求形式谬误（音频中给出的上下文能否在逻辑上推出某个论点），要么要求对象计数（在音频中陈述多个不同对象，询问某个对象的总数）。尽管这个基准最初是为语音到语音推理设计的，我们只是想看看这个模型的音频推理能力。对于 GlobeAudio，问题相对直接，因此我们以 0.1 的推理努力运行。我们运行了 GlobeAudio 中每种语言的第一个示例。所有问题、所有努力级别下的测试都通过了，除了最低努力下的第二个形式谬误示例，因此我们只提供每个问题在不同推理努力下消耗的 token 数量。Vibe 评估结果和音频文件位于此处。

关于整体观感的一些说明：

• 与视觉类似，模型会先转写语音，然后再回答问题。
• 它能抵抗干扰项：在俄语测试中，尽管音频里出现了其他答案，模型仍选出了正确答案。
• 与视觉类似，常见的思维链是转写 → 描述特征 → 评估每个选项 → 作答。
• 这些努力有助于推理，而非听觉。音频问答的成本比图像低得多。

训练后

如果你想使用 Inkling 进行训练后处理，Thinking Machines 构建了 tinker，这是一个用于对开放权重模型进行训练后处理的托管工具。他们的 cookbook 中包含微调、蒸馏和强化学习的示例。

我们将训练好的 Inkling 与 tinker 和 OpenEnv（一个智能体 RL 环境工具）一起发布。我们使用了 ECHO 算法，该算法训练模型在没有验证器的情况下预测环境，对环境产生的 token 应用下一 token 交叉熵损失，同时像往常一样对智能体动作进行策略学习。这教会策略一个隐式的世界模型，而无需单独的模型、教师或额外的 rollout。查看示例。

使用 Tinker 和 OpenEnv 的 RL 示例

git clone https://github.com/huggingface/OpenEnv.git
cd OpenEnv

# Add TINKER_API_KEY=... to .env, then run:
uv run --env-file .env \
  examples/echo_world_model/backends/tinker_echo_demo.py

如果你使用 Transformers Reinforcement Learning，我们建议在知识蒸馏设置中将 Inkling 用作教师模型。例如，利用 Inkling 的文档理解能力来提升更小（端侧）模型的性能。在这个示例中，我们使用 transformer reinforcement learning 库和 GOLD 算法来蒸馏知识。GOLD 在这里很方便，因为它能在不同分词器之间匹配 token logits，因此你可以蒸馏到 hub 上的任何模型。

部署 Inkling 和 Inkling-Small

下面你可以找到每个 Inkling checkpoint 及其 VRAM 需求。

在集群上部署 Inkling

为了在集群上部署 Inkling，我们提供了使用 transformers API 进行服务的 SLURM 脚本，以及如何使用不同模态查询端点。你可以通过更新命令将这些脚本适配到 vLLM 或 SGlang。这些脚本位于此处。

• 提交推理任务
• Python 生成脚本

在 Inference Endpoints 上部署 Inkling-Small

你可以使用 Inference Endpoints 部署 Inkling-Small NVFP4 检查点。我们提供了一个经过预先测试的配置，可在 8 块 RTX PRO 6000 上部署，聚合显存达 768 GB，为 KV 缓存留出充足空间，每小时运行费用为 22 美元（未使用时缩容至零）。要部署，请使用 HF Mirror CLI 运行 hf endpoints catalog deploy --repo thinkingmachines/Inkling-Small-NVFP4，或前往 https://endpoints.hf-mirror.com/new/thinkingmachines/Inkling-Small-NVFP4。通过此设置，你可以获得 140 TPS（单用户推理，已通过连续批处理为多用户支持做好准备）

端点启动后，你可以按如下方式查询。

curl "YOUR_ENDPOINT_HERE" \
-X POST \
-H "Authorization: Bearer $HF_TOKEN" \
-H "Content-Type: application/json" \
-d '{
    "model": "thinkingmachines/Inkling-Small-NVFP4",
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://endpoints.hf.co/media-examples/img1.png"
                    }
                },
                {
                    "type": "text",
                    "text": "Describe this image in one sentence."
                }
            ]
        }
    ],
    "stream": true,
    "max_tokens": 100
}'

基准测试结果