Building a LoRA Training Dataset from a Single Reference Image

Chapter — Building a LoRA Training Dataset from a Single Reference Image using ComfyUI

A professional production workflow for generating a multi-pose, identity-consistent dataset using the Qwen Image Edit (Nunchaku) architecture.

In advanced visual generation, preserving a character's visual identity demands extreme precision. Building a consistent dataset for training LoRA models used to require laborious manual collection and complex correction passes. This chapter walks through a professional ComfyUI workflow built on the Qwen Image Edit (Nunchaku) architecture that automates the generation of a multi-pose dataset from a single reference image — guaranteeing 100% identity consistency, ready for cinematic production.

🎯

Outcome: One reference image → a fully generated, identity-locked, multi-pose dataset ready for LoRA training.

1. Setting Up Models & Core Folders

To begin, download the required models and the accompanying workflows (the main generation workflow and the pose-extraction workflow). Place the model files in their designated paths inside your ComfyUI installation folder.

2. Installing the Nunchaku Architecture

The custom Nunchaku node requires a precise installation sequence to avoid compilation errors and ensure full system compatibility.

1. Initial install via Manager (requires restart): Install the Nunchaku node directly from the ComfyUI Manager, then restart the interface.

1. Deploy the installer nodes: Create a new, empty workflow. Double-click to search for the Nunchaku Installer node and add it to the canvas, alongside a standard Show Text node.

1. Run the update: In the installer node, change the Mode to Update, then press Queue Prompt. Once processing finishes, refresh your browser page.

1. Complete the install: Select the latest version from the node's dropdown, switch the mode to Install, and execute one final time. Fully restart ComfyUI to apply the changes.

⚠️

Stability note: If the node remains red, it indicates a Python environment conflict. If using venv, create a fresh environment and reinstall the requirements. For Portable Windows users, the cleanest fix is to extract a brand-new portable copy into a different folder and run the install steps inside it.

3. Workflow Engineering & VRAM Tuning

After loading the main workflow, you'll need to optimize the Qwen model for your hardware. The node lets you dynamically offload processing blocks to system RAM.

Configuring Generation Inputs

1. Reference image: Load your high-fidelity image into the main Load Image node.

1. Output dimensions: For training faces and building character data, set dimensions to 720×1280 to capture the finest visual detail.

1. Prompting: To isolate the data and ease later LoRA training, use a direct environment prompt such as plain white background. This prevents the model from blending the background into the character's DNA.

4. Building the Pose Library (ControlNet)

Instead of manually searching for and adjusting poses, use the secondary Pose Extractor workflow.

1. Collect a folder of images with the varied skeletal poses you want your character to adopt (body movement, head tilt, etc.).

1. Load the Pose Extractor workflow and point it at that folder.

1. Run the workflow to extract the pose skeletons.

1. Go to the output folder and perform a manual QC pass: delete any empty images, overlapping poses, or inaccurate results.

5. Execution & Final Data Extraction

Return to the main generation workflow and connect the ControlNet path to the pose folder you just created.

On run, the K-Sampler node iterates over the entire pose folder, applying the reference image's identity to each skeletal pose via Qwen ControlNet. The result is a visually unified, identity-consistent dataset — immediately ready to start advanced LoRA training.

<callout icon="📚">Credits & Sources / المصادر وحقوق مسارات العمل

This workflow's architecture was adapted from the technical walkthrough in the video tutorial: "Generate an entire data set for training a character LoRA in one click using this ComfyUI workflow."

Source: https://www.youtube.com/watch?v=QZfg4FHEn8w

Technologies: Qwen Image Edit (Nunchaku), ComfyUI, ControlNet.</callout>

<div dir="rtl">

الفصل — بناء مجموعة بيانات لتدريب LoRA من صورة مرجعية واحدة باستخدام ComfyUI

مسار عمل احترافي لتوليد مجموعة بيانات متعددة الوضعيات ومتسقة الهوية باستخدام معمارية Qwen Image Edit (Nunchaku).

في مجال التوليد المرئي المتقدم، يتطلب الحفاظ على «الهوية البصرية» للشخصيات دقة متناهية. بناء مجموعة بيانات متسقة لتدريب نماذج LoRA كان يتطلب سابقاً جمعاً يدوياً شاقاً وعمليات تصحيح معقدة. في هذا الفصل، نستعرض مسار عمل احترافياً داخل بيئة ComfyUI يعتمد على معمارية Qwen Image Edit (Nunchaku) لأتمتة توليد مجموعة بيانات متعددة الوضعيات من صورة مرجعية واحدة، مع ضمان تطابق الهوية بنسبة 100% لتكون جاهزة للإنتاج السينمائي.

🎯

النتيجة: صورة مرجعية واحدة ← مجموعة بيانات كاملة، متعددة الوضعيات، ومُثبَّتة الهوية، جاهزة لتدريب LoRA.

١. إعداد النماذج والمجلدات الأساسية

للبدء، يجب تحميل النماذج المطلوبة ومسارات العمل المرافقة (مسار التوليد الرئيسي، ومسار استخراج الوضعيات). ضع ملفات النماذج في المسارات المحددة داخل مجلد التثبيت الخاص بـ ComfyUI:

• نموذج الانتشار (Diffusion Model): انقل ملف Qwen Image Edit Nunchaku إلى المجلد ComfyUI/models/diffusion_models.

• مُشفّر النص (Text Encoder): انقل ملف Qwen 37B إلى المجلد ComfyUI/models/text_encoders.

• نموذج فك الترميز (VAE): ضعه داخل المجلد ComfyUI/models/vae.

• نموذج التحكم (ControlNet): انقل نموذج التحكم الخاص بـ Qwen إلى المجلد ComfyUI/models/controlnet.

٢. تثبيت معمارية Nunchaku

تتطلب عقدة Nunchaku المخصصة تسلسلاً دقيقاً في التثبيت لتجنب أخطاء التجميع (Compilation Errors) وضمان توافقها التام مع النظام.

1. التثبيت المبدئي عبر Manager (يتطلب إعادة التشغيل): ثبّت عقدة Nunchaku مباشرة من مدير الإضافات (ComfyUI Manager)، ثم أعد تشغيل الواجهة.

1. نشر عقد التثبيت (Installer Nodes): أنشئ مسار عمل جديداً وفارغاً. انقر نقراً مزدوجاً للبحث عن عقدة Nunchaku Installer وأضفها إلى مساحة العمل، مع إضافة عقدة نصية Show Text قياسية.

1. تنفيذ التحديث (Update): في عقدة التثبيت، غيّر الوضع (Mode) إلى Update ثم اضغط (Queue Prompt). بمجرد انتهاء المعالجة، حدّث صفحة المتصفح.

1. إتمام التثبيت: اختر أحدث إصدار من القائمة المنسدلة داخل العقدة، وغيّر الوضع إلى Install، ثم نفّذ الأمر للمرة الأخيرة. أعد تشغيل ComfyUI بالكامل لاعتماد التغييرات.

⚠️

ملاحظة لضمان استقرار بيئة العمل: إذا استمر ظهور العقدة باللون الأحمر، فهذا يشير إلى تعارض في بيئة بايثون (Python). إذا كنت تستخدم venv، أنشئ بيئة جديدة وأعد تثبيت المتطلبات. أما لمستخدمي النسخة المحمولة (Portable Windows)، فالحل الأنظف هو فك ضغط نسخة محمولة جديدة بالكامل في مجلد مختلف وإجراء خطوات التثبيت بداخلها.

٣. هندسة مسار العمل وضبط الذاكرة (VRAM)

بعد تحميل مسار العمل الرئيسي، ستحتاج إلى تحسين أداء نموذج Qwen ليتناسب مع قدرات العتاد الخاص بك. تسمح لك العقدة بتفريغ كتل المعالجة (Blocks) ديناميكياً إلى ذاكرة النظام الأساسية (RAM):

ضبط مدخلات التوليد

1. الصورة المرجعية: حمّل صورتك ذات الجودة الفائقة (High-Fidelity) في عقدة Load Image الأساسية.

1. أبعاد المخرجات: لتدريب الوجوه وبناء بيانات للشخصيات، يُنصح بشدة بضبط الأبعاد على 720×1280 لالتقاط أدق التفاصيل البصرية.

1. التلقين (Prompting): لعزل البيانات وتسهيل تدريب LoRA لاحقاً، استخدم تلقيناً مباشراً لتحديد البيئة مثل: plain white background (خلفية بيضاء سادة). هذا يمنع النموذج من دمج الخلفية مع الحمض النووي (DNA) للشخصية.

٤. بناء مكتبة الوضعيات (ControlNet Pose Library)

بدلاً من البحث اليدوي عن الوضعيات وضبطها، استخدم مسار العمل الثانوي (Pose Extractor):

1. اجمع مجلداً يحتوي على صور بوضعيات هيكلية متنوعة تريد أن تتخذها شخصيتك (حركة جسدية، إمالة رأس، إلخ).

1. حمّل مسار عمل Pose Extractor وحدد مسار المجلد الذي يحتوي على هذه الصور.

1. نفّذ مسار العمل لاستخراج هياكل الحركة (Poses).

1. انتقل إلى مجلد المخرجات وأجرِ مراقبة جودة يدوية: احذف أي صور فارغة، أو وضعيات متداخلة، أو غير دقيقة.

٥. التنفيذ واستخراج البيانات النهائية

عُد إلى مسار العمل التوليدي الرئيسي واربط مسار ControlNet بمجلد الوضعيات الذي أنشأته للتو.

عند إعطاء أمر التشغيل، ستقوم عقدة K-Sampler بالمرور على مجلد الوضعيات بالكامل، وتطبيق هوية الصورة المرجعية على كل وضعية هيكلية باستخدام Qwen ControlNet. النتيجة النهائية هي مجموعة بيانات موحدة بصرياً، متسقة الهوية، وجاهزة فوراً لبدء عملية تدريب LoRA المتقدمة.

المصادر وحقوق مسارات العمل (Credits)

تم بناء هندسة هذا المسار وتطويعها استناداً إلى الشرح التقني ومسار العمل الأصلي المقدم في الدرس المرئي بواسطة Bored Coder:

«Generate an entire data set for training a character Lora in one click using this comfy UI workflow»

رابط المصدر: https://www.youtube.com/watch?v=QZfg4FHEn8w

التقنيات المستخدمة: **Qwen Image Edit (Nunchaku)، ComfyUI، ControlNet
Links:
Download Workflow: **‣

Qwen Image Edit Nunchaku :

https://huggingface.co/nunchaku-ai/nunch...afetensors

Text Encoder :

https://huggingface.co/Comfy-Org/Qwen-Im...t_encoders

VAE :

https://huggingface.co/Comfy-Org/Qwen-Im..._files/vae

Control Net :

https://huggingface.co/Comfy-Org/Qwen-Im...afetensors

© Ai Guide / دليل الذكاء الاصطناعي — Sameh Al Tawil / سامح الطويل