Pollo AI 用 OpenAI 模型把创意变成营销活动
Pollo AI 借助 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5,帮助创作者把创意转化为精细图像与电影级视频广告。
Pollo AI 借助 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5,帮助创作者把创意转化为精细图像与电影级视频广告。
NVIDIA 发布 cuPhoton,用于加速科学图像分析,解决天文望远镜、激光与 X 射线光源等高通量仪器产生的图像数据超出 CPU 流水线处理能力的瓶颈。该瓶颈并非单个慢 kernel,而是从传感器原始数据读取、点扩散函数或探测器响应匹配,到相减归约的整条决策路径。
NVIDIA Inception 计划中的多家创业公司正用 AI 打通乳腺癌诊疗链条。iSono Health 的 ATUSA 可穿戴自动 3D 超声平台获 FDA clearance,约两分钟完成单侧乳房扫描,比手持超声的 45 分钟大幅提速,其 AI 在超 150 万帧超声数据上训练,灵敏度比手持 2D 超声高 28%。
NVIDIA 发布 DLSS 5,引入 3D-Guided Neural Rendering 与更细粒度的控制选项,帮助游戏开发者加入更逼真的光照和材质细节,同时保留艺术意图。面向游戏开发者的更新还包括 NVIDIA ACE、RTX Mega Geometry 2.0 和 RTX Kit,覆盖角色 AI、高密度几何与渲染工作流。
MIT 及合作机构的研究人员提出 xvr(X-ray volume registration)技术,用 AI 将手术中的 2D X 光片与患者术前 3D 扫描自动配准,数秒内完成、精度达亚毫米级,比现有 AI 方法高出一个数量级。该模型基于物理模拟生成的患者专属合成 X 光训练,约五分钟即可适配单个患者,无需担心模型幻觉。相关论文已发表在 Nature 上。
MIT 研究人员提出 HardFlow,让预训练生成模型在部署阶段满足安全、物理等不可妥协的硬约束,同时提升输出质量,无需重新训练。该方法把硬约束采样重构为轨迹优化问题,只在最终输出上强制约束,而非每个中间步骤。在机器人操作、迷宫导航和文本引导图像编辑实验中,HardFlow 实现完全约束满足,质量持续优于基线方法,计算时间与多数同类方法相当或更低。
MIT CSAIL 团队在 Nature Communications 发表研究,提出“归因衰减”现象:生成模型训练数据越多,单张训练图像、某位艺术家的全部作品或某个人的所有照片对特定输出的影响越小,甚至删除后输出完全不变。
推荐理由:研究提出归因衰减现象并给出精确删除训练样本的方法,为版权与责任认定提供了可对照的技术证据。
Diffusers 现已原生加载 Nunchaku 4-bit 量化检查点,只需 from_pretrained() 调用,无需本地 CUDA 编译,CUDA kernel 经 kernels 包从 Hub 下载。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款模型。
推荐理由:两款模型给出明确的延迟、单价与可用入口,读者可据此判断图像与视频生成流水线的成本变化。
Hugging Face 发布 Modular Diffusers,用可复用 block 组合扩散流水线,作为 DiffusionPipeline 的灵活替代方案,支持添加、删除和替换 block,并可用 .init_pipeline() 把 block 转为可运行流水线。
推荐理由:原文给出可组合模块的 API 写法与自定义 block 示例,读者可据此判断现有扩散流水线能否改造成模块化流程。
Hugging Face 博客发布 PRX 系列第三篇,用 32 张 H200、约 1500 美元算力预算(2 美元/小时/GPU)在 24 小时内完成文本到图像扩散模型训练。该方案堆叠 x-prediction 像素空间训练、LPIPS 与 DINOv2 感知损失、TREAD token 路由、REPA 对齐及 Muon 优化器,并开源训练代码。
Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image),把 Nano Banana Pro 的先进世界知识、推理与画质带到 Flash 级速度,可调用 Gemini 知识库与网页搜索实时信息渲染特定主体,并支持图内文字渲染与翻译。
推荐理由:官方给出 Nano Banana 2 相对前代的能力清单与全线产品入口,便于判断速度与保真度取舍。
Hugging Face 博客发布 PRX 文本到图像模型训练系列第二部分,用统一实验设置复现并消融近期训练技巧,评估其对收敛与效率的影响。基线为 1.2B 参数的 PRX-1.2B,纯 Flow Matching、无额外目标,训练 100k 步、256×256 分辨率、全局 batch size 256,用 FID、CMMD、DINO-MMD 与吞吐量监控。
伯克利 AI Research 提出基于互信息的成像系统评估与优化框架,无需重建算法即可预测下游任务性能。该信息指标在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证了与解码器表现的一致性,其优化出的设计可匹敌端到端方法,且内存与算力需求更低、无需任务专用解码器。方法利用成像系统的已知噪声物理直接计算 H(Y|X),仅需从测量数据学习 H(Y),并提供真实信息量的上界估计。
Diffusers 官方博客宣布支持 FLUX-2,并给出基于 diffusers/FLUX.2-dev-bnb-4bit 仓库的推理示例,使用 Flux2Pipeline 与 Flux2Transformer2DModel,文本编码器为 Mistral3ForConditionalGeneration。
推荐理由:Diffusers 官方接入 FLUX-2 并给出 4bit 量化示例,读者可了解该模型的显存要求与调用方式。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),这是基于 Gemini 3 Pro 的高保真图像生成与编辑模型,开始在 Google AI Studio 和 Vertex AI 上面向开发者付费预览。
推荐理由:DeepMind 官方给出 Gemini 3 Pro Image 的付费预览入口与分辨率、参考图数量等规格,可据此判断是否接入生产流程。
Google DeepMind 发布新一代图像生成与编辑模型 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro,强调更强的推理与世界知识、图像内多语言文字的准确渲染,以及最高 14 张图像融合、最多 5 人一致性保持。
推荐理由:Google DeepMind 官方介绍 Nano Banana Pro 的能力边界与全平台上线节奏,便于判断图像生成工作流的变化。
Hugging Face 让 Gradio 应用添加可见水印只需一条命令:图像和视频传入 watermark 参数,文本则在 gr.Chatbot 中设置 watermark,用户复制 AI 回复时自动附加署名。水印支持文件名,图像还支持开放图片和 numpy 数组,并可用 QR 水印承载更多信息、匹配画面风格。官方提供了图像/视频与聊天机器人两个示例 Space 供试用。
HF Mirror 发文介绍如何把 Claude 连接到 HF Mirror Spaces 来生成图像,并推荐专注自然真实感的 FLUX.1 Krea [dev] 和擅长文字渲染的 Qwen-Image。
Arm 推出 Neural Super Sampling(NSS)供图形与游戏开发者试用,这是一个在移动 GPU 的 Neural Accelerators(NX)上运行的实时时序超采样参数预测模型。
Hugging Face 博客演示了如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,只需在 launch() 中设置 mcp_server=True,Gradio 便会把 Python 函数自动转换为带名称、描述和输入 schema 的 MCP 工具,并支持实时进度通知与文件上传。
Hugging Face 博客给出用 Diffusers 和 PEFT 加速 Flux.1-Dev 上 LoRA 推理的优化方案,组合 Flash Attention 3、torch.compile 和 FP8 量化,在 H100 上相对基线提速 2.23 倍。
Hugging Face 博客介绍如何通过 Gradio MCP Servers 为 LLM 扩展能力。Gradio 从 5.28.0 版本起支持 MCP 协议,使 Hugging Face Spaces 上的数千个 AI 应用成为 LLM 可直接调用的工具。
Hugging Face 发布教程,演示用 diffusers 库以 QLoRA 在单卡上微调 FLUX.1-dev,峰值显存约 9GB,可学习 Alphonse Mucha 艺术风格。
推荐理由:以 FLUX.1-dev 为例给出 QLoRA、8-bit 优化器、梯度检查点等组合,把微调峰值显存压到约 9GB。
Hugging Face 博客详解 Diffusers 直接集成的多种量化后端,包括 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8,并以 Flux-dev 演示。
ChatGPT 图像生成支持根据提示词、草图或上传图片,创建符合品牌调性的视觉素材和产品效果图。该能力面向品牌视觉与产品 mockup 制作场景。
Hugging Face Diffusers 团队试点 Remote VAE,将扩散模型的 VAE 解码交给远程 Inference Endpoints,缓解高分辨率图像和视频生成中解码器显存占用过高的问题,避免 offloading 的设备传输延迟和 tiling 的画质损失。
Google 发布 PaliGemma 2 Mix,这是基于 SigLIP 和 Gemma 2、在 OCR、长短图像描述等混合视觉语言任务上微调的指令视觉语言模型。模型提供 3B、10B、28B 三种规模,224、448、896 三种分辨率,可通过 HF Transformers 和 JAX 使用,并附有演示。
Hugging Face 推出首期 AI 艺术工具通讯《The AI tools for Art Newsletter》,回顾 2024 年创意 AI 的关键进展,并预告 2025 年新动向及将启动月度汇总。
Hugging Face 通过新增 TimmWrapper 将 timm 库的计算机视觉模型接入 transformers 生态,让任意 timm 模型可用 pipeline API 推理并兼容 Auto 类。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集,覆盖常见图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供 flux-dev-lora-finetune。
Stable Diffusion 3.5 Large 已在 Hugging Face Hub 发布并接入 Diffusers,包含 8B 模型和 8B timestep-distilled 少步推理版本,蒸馏版通常 4-8 步即可出图。
推荐理由:原文给出 SD3.5 在 Diffusers 中的量化推理与 LoRA 微调完整调用路径,可直接对照迁移。
Hugging Face 展示了如何借助 Diffusers 中的 Quanto 量化工具降低 Transformer 扩散管线显存占用:SD3 以 FP16 推理需 18.765 GB 显存,将文本编码器与扩散骨干量化到 FP8 后,批次 1 下显存从 12.086 GB 降至 5.363 GB。Quanto 是构建在 PyTorch 上的量化工具包,属于 HF Mirror Optimum。
Stability AI 发布 Stable Diffusion 3 Medium,参数量 2B,现已在 Hugging Face Hub 上线并可配合 🧨 Diffusers 使用。
推荐理由:SD3 Medium 在 Diffusers 中集成的完整说明,含内存优化与 LoRA 微调脚本,适合评估其部署可行性。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 条人类图像偏好投票、以类似 Chatbot Arena 的 ELO 回归为各模型打分,每个模型生成超 700 张覆盖人像、动物、自然、艺术等类别的图像。
Hugging Face 发布 AI 水印入门指南,介绍在生成时嵌入和生成后添加两类水印方法,前者需访问模型但更稳健,后者可用于闭源模型。文中还介绍了 Glaze、Photoguard、Nightshade、Fawkes 等图像防护与投毒工具,以及按 C2PA 标准嵌入元数据的 Truepic。
Segmind 发布 SegMoE 框架,可从零构建混合专家(MoE)扩散模型,并已集成 diffusers,同时开源 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型及建模代码(Apache 2.0)。
推荐理由:原文给出了从配置到生产的完整流程和显存占用数据,读者可以据此判断是否用 MoE 方式拼装扩散模型。
Hugging Face 博客介绍用 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理,在全部测试的(批量大小、步数)组合中吞吐量均超过 PyTorch,SDXL Turbo 提升最高达 229%,SD Turbo 达 120%。
Hugging Face 博客发布教程,介绍如何借助 ComfyUI-to-Python-Extension 将 ComfyUI 工作流导出为纯 Python 脚本,改写为 Gradio 应用后部署到 HF Mirror Spaces 的 ZeroGPU 上免费运行。
推荐理由:教程给出把 ComfyUI 工作流转成 Gradio 应用并部署到 ZeroGPU 的完整步骤,包含模型映射与预加载等工程细节,可复用性强。
Hugging Face 发布 aMUSEd,一个非扩散的文生图模型,是 Google MUSE 的开源复现版,采用 Masked Image Model 方法,推理步数更少,模型约 800M 参数。它已集成进 diffusers,发布了研究预览版并采用 OpenRAIL 许可,官方称生成质量并非最佳,同时提供训练和微调代码。