Biến video thành normal map ổn định ngay trong ComfyUI với NormalCrafter

NormalCrafter cho ComfyUI là bộ custom node chuyển video RGB thành chuỗi surface normal map, tức bản đồ mô tả hướng bề mặt tại từng điểm ảnh. Thay vì phải xuất từng khung hình rồi chạy qua nhiều công cụ rời rạc, bạn có thể đặt toàn bộ bước ước lượng và ổn định kết quả ngay trong một workflow ComfyUI.

Công cụ này hữu ích nhất với người làm VFX, compositing, relighting hoặc thử nghiệm tái dựng 3D. Điểm đáng chú ý là mô hình xử lý video theo chuỗi, không ước lượng từng ảnh hoàn toàn độc lập. Gói còn có một node hậu kỳ riêng để giảm nhấp nháy giữa các khung hình.

Ảnh minh họa do Tài Nguyên Số tạo để bổ sung ngữ cảnh cho bài viết.

Bạn có thể dùng nó vào việc gì?

Chuẩn bị dữ liệu cho relighting

Normal map cho biết bề mặt đang hướng về đâu, vì vậy có thể dùng làm tín hiệu hình học khi thử thay đổi ánh sáng của cảnh quay. Kết quả không thay thế dữ liệu 3D chính xác, nhưng hữu ích cho các workflow cần ước lượng hướng bề mặt từ video có sẵn.

Hỗ trợ compositing và chỉnh sửa vật liệu

Chuỗi normal map có thể làm đầu vào cho các bước xử lý tiếp theo như tạo mask theo hướng bề mặt, phân tích vật liệu hoặc thử retexturing. Đầu ra ở dạng batch IMAGE, thuận tiện để nối với các node khác trong ComfyUI.

Tạo tham chiếu hình học cho workflow video AI

Nếu đang dùng video gốc làm tham chiếu chuyển động hoặc hình ảnh, normal map bổ sung một lớp thông tin về cấu trúc bề mặt. Điều này phù hợp với các thử nghiệm video-to-video cần giữ cảm giác khối và hướng của vật thể tốt hơn.

Giảm nhấp nháy trong chuỗi normal map

Node VizClick Normal Temporal Stabilizer lấy chuyển động từ video RGB gốc bằng optical flow, sau đó căn chỉnh và hòa trộn normal map của khung trước với khung hiện tại. Mức hòa trộn tự giảm ở những vùng có thay đổi lớn, giúp hạn chế việc làm mờ chuyển động hoặc giữ lại hình học đã lỗi thời.

Điểm đáng thử

Workflow có các tùy chọn kiểm soát kích thước suy luận, cửa sổ thời gian và số khung hình giải mã theo từng đợt. Bạn có thể bắt đầu bằng clip ngắn ở kích thước 512, sau đó mới tăng độ phân giải hoặc thời lượng. Khi thiếu bộ nhớ ở bước giải mã, giảm decode_chunk_size có thể giúp hạ mức sử dụng bộ nhớ đỉnh.

Model chỉ được nạp khi node thực sự chạy. Bộ ổn định không cần checkpoint riêng vì đây là bước hậu kỳ dựa trên optical flow, không phải một mạng AI thứ hai.

Cần lưu ý

Bạn phải cài custom node trong ComfyUI và tải đầy đủ model NormalCrafter vào đúng thư mục. Nguồn công bố kho model có dung lượng khoảng 4,51 GB, nên cần chừa thêm dung lượng cho quá trình tải và vận hành.

Kết quả là ước lượng hướng bề mặt, không phải depth map theo đơn vị thực, mesh 3D, khoảng cách vật lý hay dữ liệu hiệu chỉnh camera. Tăng độ phân giải cũng làm tốn thêm thời gian và bộ nhớ. Mức ổn định cao có thể giảm nhấp nháy nhưng đôi lúc tạo độ trễ hoặc vệt ở chuyển động nhanh.

Nếu bạn đã quen dựng workflow ComfyUI và cần một bước video-to-normal-map có xử lý tính liên tục theo thời gian, đây là dự án đáng tải về để thử với một đoạn video ngắn trước.