[AIGC服务] IC-Light Relighting | 图像重打光

⚡[AIGC服务] IC-Light Relighting | 图像重打光

[For 1104] 本文介绍Impose Constant Light (IC-Light)，给图像在任意方向重打光。提供文本条件重新光照模型和背景条件模型，分别实现对光照的文本控制和背景控制。IC-Light能够精确、一致地重新照亮图像，为创意表达开辟了新的途径，使用户能够在视觉创作中探索光与形式的相互作用。

简介

光与物体相互作用的方式决定了它们的外观。在图像编辑领域，控制和操纵这种交互是一个强大的工具！IC-Light 代表“施加一致的光”，是一个应对这一挑战的项目，为用户提供以卓越的精度和一致性重新照亮图像的能力。IC-Light 由 ControlNet 和 Fooocus 的创建者 lllyasviel 开发，利用人工智能领域的先进技术取得了令人印象深刻的成果。

先睹为快

Prompt: beautiful woman, detailed face, warm atmosphere, at home, bedroom

Lighting Preference: Left

Prompt: beautiful woman, detailed face, sunshine from window

Lighting Preference: Right

Prompt: beautiful woman, detailed face, shadow from window

Lighting Preference: Left

Prompt: Buddha, detailed face, sci-fi RGB glowing, cyberpunk

Lighting Preference: Left

Prompt: dog, magic lit, sci-fi RGB glowing, studio lighting

Lighting Preference: Bottom

方法论

1. Text-Conditioned Relighting

该模型使用户能够使用自然语言描述所需的照明条件。通过提供诸如“beautiful woman, detailed face, sunshine from window”之类的文本提示，模型会解释描述并相应地调整输入图像的照明。这允许创造性的控制和实现特定照明效果的能力。

2. Background-Conditioned Relighting

该模型需要一个图像作为附加输入，该图像将用作背景并代表主要信息源。通过分析背景，模型自动推断与场景相协调的合适照明条件。这对于难以用文字描述所需照明的情况或首选自然的、上下文感知的重新照明的情况特别有用。

3. Consistent Light

IC-Light 令人印象深刻的性能源于对 HDR 成像的光行为的理解。什么是 HDR 成像？HDR（高动态范围）成像是一种通过捕获并组合不同曝光级别的同一场景的多幅图像来克服单次曝光摄影的局限性的技术。这样，各个光源对最终照明的贡献是独立且相加的。这意味着混合不同光源下的外观相当于混合光源下的外观。

IC-Light 在扩散模型的潜在空间中采用多层感知器 (MLP)，以在训练过程中增强一致性。这确保了生成的重新照明效果不仅真实而且内部连贯。这种一致性非常强大，以至于可以合并不同的重新照明结果来创建法线贴图，从而捕获对象的表面细节。

应用前景

Relighting，即重新照明技术，在图像编辑和计算机视觉领域有着广泛的应用前景。以下是一些主要的应用场景：

1. 增强现实（AR）和虚拟现实（VR）：在AR和VR中，重新照明技术可以用来调整虚拟对象的光照，使其与现实世界的环境光更好地融合。
2. 电影和视频制作：在后期制作中，重新照明可以用来改变场景的光照条件，增强氛围感，或者修正实际拍摄中的光照问题。
3. 游戏开发：游戏中的动态光照效果可以提升场景的真实感和沉浸感，重新照明技术可以用来实现这些效果。
4. 肖像摄影：在肖像摄影后期处理中，重新照明可以用来模拟不同的光照条件，创造出不同的艺术效果。
5. 图像修复：对于光照条件不理想的图像，重新照明技术可以用来改善图像的光照效果，提升图像质量。
6. 3D建模和渲染：在3D建模中，重新照明可以用于预览模型在不同光照条件下的外观，帮助设计师做出更好的设计决策。
7. 艺术创作：艺术家和设计师可以利用重新照明技术来创作具有独特光照效果的数字艺术作品。
8. 教育和培训：在教育领域，重新照明技术可以用于模拟不同的光照场景，帮助学生更好地理解光照对视觉的影响。
9. 安防监控：在安全监控系统中，重新照明技术可以用来改善低光照条件下的图像清晰度，提升监控质量。
10. 医学成像：在医学成像领域，重新照明技术可以用于改善医学图像的光照条件，帮助医生进行更准确的诊断。
11. 自动驾驶：自动驾驶技术中，重新照明可以用于模拟不同光照条件下的驾驶环境，以训练和测试自动驾驶系统。
12. 广告和营销：在广告和营销材料中，重新照明可以用来调整产品或场景的光照，以吸引潜在客户的注意力。
13. 法律取证：在法律取证中，重新照明技术可以用来增强图像证据的清晰度和可读性。
14. 建筑可视化：在建筑可视化中，重新照明可以用于展示建筑在不同光照条件下的外观，帮助客户和设计师更好地理解设计。

这些应用展示了重新照明技术在多个行业中的潜力，随着技术的进步，未来可能还会出现更多创新的应用场景。

免费试用

• https://huggingface.co/spaces/lllyasviel/IC-Light