用 OpenVINO™ 打通 ComfyUI + ERNIE-Image:Intel CPU 和 GPU 也能快速本地生图

openlab_96bf3613 更新于 10小时前

新模型一个接一个地出,最让人兴奋的,从来不只是“它来了”,而是那种冲动:想马上试,想马上跑,想马上把它接进自己的工作流里。

但很多开发者都很熟悉那种“刚兴奋起来,又被现实泼冷水”的感觉。模型是新的,效果是香的,可一到真正上手这一步,问题就来了:没有 昂贵的高端显卡,CUDA 环境不顺,云端推理一开就要花钱,想接入现有 ComfyUI 工作流还得重新折腾一遍。最后的结果往往是——模型看了,帖子点了,参数也记住了,但就是迟迟没有真正跑起来。

对于已经在用 ComfyUI 的开发者来说,这个问题其实可以再说得更直接一点:只有一台基于 Intel 处理器的个人电脑、Arc GPU,或者 Intel AI PC,能不能也把 ERNIE-Image在 ComfyUI 里本地跑起来,而且尽量简单、尽量少折腾、尽量不烧钱?

这次要介绍的ComfyUI-OpenVINO-Ernie-Image这个开源仓库,重点不在于“ERNIE-Image 能不能进 ComfyUI”,而在于:当手边没有 CUDA环境时,能不能依然用熟悉的 ComfyUI 方式,把 ERNIE-Image在本地跑起来。

这个项目要做的,就是把OpenVINO backend 用进 ComfyUI,为现有 ComfyUI 用户补上一条面向 Intel 平台 的本地运行路径。这样一来,即使没有 CUDA、没有高端独显,开发者也依然可以基于 Intel 平台,以更简单、更低成本的方式完成本地部署和推理。

接下来,文章将重点展开:这条路径为什么更适合现有ComfyUI 用户,以及如何几步快速上手。

为什么这条路径对现有 ComfyUI 用户更友好?

原因其实很简单:

它没有要求用户离开自己已经熟悉的 ComfyUI。

开发者不需要重新学一套工具,就可以借助 OpenVINO™ 在 Intel 平台上把 ERNIE-Image本地跑起来。

再加上项目已经把模型、参数、启动和验证路径整理清楚,整体体验就变成了:更简单、更顺手,也更容易马上试起来。

它不是重新造一套,而是尽量顺着开发者已经熟悉的路,把 OpenVINO 接了进去。

几步即可上手

如果只看最短路径,其实整个过程非常直接。

对现有 ComfyUI 用户来说,它并不是一条“先学会,再开始”的路线,而更像是一条“照着做,很快就能跑起来”的路线。

第一步,把仓库放进 custom_nodes

这一步和大多数 ComfyUI 自定义节点的安装方式一样,没有什么额外理解成本。

先把仓库clone 到 ComfyUI 的 custom_nodes 目录下,然后在 ComfyUI 当前使用的同一个 Python 环境中安装依赖。README 给出的就是这条标准路径:

cd C:\path\to\ComfyUI\custom_nodesgit clone https://github.com/zhuo-yoyowz/ComfyUI-OpenVINO-Ernie-Image.gitcd C:\path\to\ComfyUIpip install -r .\custom_nodes\ComfyUI-OpenVINO-Ernie-Image\requirements.txt

这一步为什么重要?

因为它意味着,对已经熟悉 ComfyUI 的用户来说,第一步完全没有陌生感。不是先去跑一套完全不同的安装逻辑,也不是先去翻半天额外文档,而是沿着熟悉的 custom_nodes 用法开始。

第二步,准备本地模型目录

仓库当前推荐使用已经转换好的ERNIE-Image-Turbo-ov-int4 模型目录,并在 README 中直接给出了本地示例路径,同时也提供了 ModelScope 下载方式和 CLI 下载方式。README 里的建议路径很直接,例如:

C:\models\ERNIE-Image-Turbo-ov-int4

这一步同样很关键。

因为很多项目真正难的,并不是“推理代码写不出来”,而是用户第一次拿到时,不知道模型应该放哪、不知道目录应该长什么样、不知道该填哪个路径。现在这条路径已经把这些事提前说清楚了,用户只需要把模型准备好,后面在节点里填写 model_dir 就可以开始。

而且这里选ERNIE-Image Turbo也不是随意的。ComfyUI 官方文档和 ERNIE-Image 官方仓库都写明,ERNIE-Image-Turbo 是更快的变体,通常只需要8 steps,而标准版 ERNIE-Image 则通常需要 50 steps;官方同时将 Turbo 描述为通过 DMD 和 RL 优化得到的更快版本。对希望先在本地快速验证工作流的开发者来说,Turbo 作为第一步显然更合适。

第三步,用项目自带方式启动 ComfyUI

接下来,不需要自己再去猜应该怎么启动,README 已经把推荐命令给出来了。仓库提供了面向 Intel AI PC 的启动脚本,直接运行即可:

cd C:\path\to\ComfyUI\custom_nodes\ComfyUI-OpenVINO-Ernie-Imagepython .\scripts\start_comfyui_openvino.py --port 8188

然后在浏览器打开:http://127.0.0.1:8188 

第四步,添加节点,直接开始生成

进入 ComfyUI 之后,添加这个节点即可:

OpenVINO -> ERNIE-Image -> OpenVINO ERNIE-Image Text to Image

然后把 image 输出连接到 SaveImage.images,填入 model_dir 和 prompt,就可以开始生成。

对现有 ComfyUI 用户来说,真正要做的动作非常少:

  • 加一个自定义节点

  • 指向本地模型目录

  • 选设备

  • 写 prompt

  • 开始生成

第五步,参数也可以直接照着试

很多项目明明已经能跑,但第一次上手还是容易卡在参数上:

  • 分辨率先设多少?

  • steps 该填几?

  • guidance scale 怎么配?

  • seed 要不要固定?

  • Prompt Enhancer 要不要开?

而这条路径把这些也尽量做成了“可以直接抄作业”的形式。仓库README 里已经给出了推荐设置:device=GPU、load_pe=true、use_pe=true、width=512、height=512、steps=8、guidance_scale=1.0、seed=42。

先有一组能跑通的默认答案。

等第一张图出来以后,后面再慢慢试更多参数,也会自然很多。

第六步,先检查环境,再打开 UI,会更省时间

这也是这条路径特别适合“想尽快跑通”的开发者的一点。

README 提供了环境检查脚本:

python .\scripts\check_env.py --model-dir C:\models\ERNIE-Image-Turbo-ov-int4

根据仓库说明,这个脚本会检查:

  • Python 包是否齐全

  • OpenVINO 可见设备

  • GPU 是否可见

  • 模型目录结构是否符合预期

  • 可选的 Prompt Enhancer 文件是否存在 

这一步非常适合放在“正式开始之前”。先把环境问题挡在前面,后面进入 ComfyUI 的过程就会顺很多。

第七步,不想先手点界面,也可以先做 API 验证

除了环境检查,仓库还提供了 verify_comfyui_api.py 作为 **oke test,用来在不点击界面的情况下验证本地模型和链路是否工作正常。

我在一台基于Intel 酷睿Ultra 3系列的笔记本电脑上运行的情况如下:https://mp.weixin.qq.com/s/gG19tO3epjUwkD1XCpQuXQ

最后想说的

对于现有 ComfyUI 用户来说,这个项目真正补上的,不是“ERNIE-Image 有没有进生态”,而是另一件更实际的事:

当没有昂贵独显时,依然可以借助 OpenVINO™,在 Intel 平台上把 ERNIE-Image的本地工作流简单地跑起来。

它想解决的,不是一个“看起来很大”的问题,
而是几个开发者真正会在意的关键词:

简单、易上手、完全本地、少折腾。

模型已经在 ComfyUI 生态里,OpenVINO™ 则进一步把它带到了更多 Intel 平台本地部署的场景里;而这个开源项目所做的,就是把这条路径尽量整理成现有 ComfyUI 用户可以直接试起来的样子。项目当前已经公开了节点、推荐参数、环境检查、启动器和验证脚本,整体上手路线已经足够清晰。

项目仓库已经公开:

https://github.com/zhuo-yoyowz/ComfyUI-OpenVINO-Ernie-Image 

安装、启动、验证步骤也已经为大家整理好了。接下来最直接的方式,就是照着 README 跑起来,亲自试一遍。快快动手尝试吧!

第十期飞桨黑客松

文心合作伙伴赛道 × Intel等你来战!

想把 OpenVINO™ + PaddleOCR-VL 的能力玩出更多花样?机会来了——第十期飞桨黑客松文心合作伙伴赛道正在火热进行中,其中 Intel 设置了多道兼具挑战性与实用价值的赛题。无论你是对 PaddleOCR-VL 在 Intel 平台上的本地化部署感兴趣,还是想探索端侧大模型的高效运行方式,都能在这里找到施展拳脚的空间。

报名方式:https://github.com/PaddlePaddle/Paddle/issues/78485

0个评论