AI图像着色工具DDColor ！

DDColor是一款照片级、真实感的图像着色工具，采用了双解码器技术，能够同时考虑色彩分布和像素级详细信息，实现高度真实的图像上色效果。

它不仅能给历史黑白照片上色，还能对动漫或游戏中的风景进行真实风格的上色，并将动画场景转化为现实生活风格。

DDColor使用了双解码器来处理图片:一个是恢复图片的结构，另一个是决定图片每个部分的颜色。

与以往的方法不同的是，DDColor不需要依赖于人工设置的规则，而是能够自己学习图片的内容并决定合适的颜色。这种方式可以更准确地给复杂场景的图片上色，减少颜色错误涂抹的问题，并且使得最终的图片看起来色彩更丰富、更自然。

DDColor的工作原理如下:

1、它使用一个编码器来分析输入的黑白图像，并从中提取重要的视觉特征。

2、提取的特征被处理成不同尺度的表示，以更好地理解图像中每个部分的内容和上下文。

3、根据这些不同层次的特征，DDColor决定如何上色，并将这些颜色信息综合起来，对整张照片进行上色。

4、通过将像素解码器和颜色解码器的输出结合起来，DDColor生成具有丰富色彩和逼真细节的彩色图像。

DDColor还引入了一个专门的损失函数，即色彩丰富度损失，用于增强生成图像的色彩饱和度和视觉吸引力，使最终的彩色图像更加生动和真实。这一技术的创新之处在于它能够更准确和自然地给图片的每个部分上色，确保颜色的正确应用和自然过渡。

[2024-01-18] 在线运行

demo： https://www.modelscope.cn/models/iic/cv_ddcolor_image-colorization/summary
[2023-12-13] Release the DDColor-tiny pre-trained model!
[2023-09-07] Model Zoo 多个模型发布:https://github.com/piddnad/DDColor/blob/master/MODEL_ZOO.md
[2023-05-15] 代码开源：https://github.com/piddnad/DDColor?tab=readme-ov-file
[2022-12-22] 发布论文 DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders

简介

阿里巴巴摩院提出基于Unet+Transfomer(cross-attenrtion)。双解码结构的图像上色着色（image colorization）模型

由于图片残缺脱色破损等病态，多模态的信息的不确定性，自动图像着色是一个具有挑战性的问题。
直接训练深度神经网络通常会导致语义颜色不正确，颜色丰富度低（low color richness）
不像以前的方法是通过额外的网络或手动计算先验来优化颜色可能性，我们的方法使用基于变换的颜色解码器以端到端方式学习自适应语义感知的颜色嵌入。通过使用多尺度图像特征来学习颜色查询，我们的方法减轻了颜色溢出，并显著改善了小物体的着色(见图1)。在此基础上，我们提出了一种新的色彩损失，以提高生成结果的色彩丰富度。

主要方法

为了使灰度图像XL上色，我们的模型首先使用骨干网络(ConvNeXt)提取其视觉特征。然后将这些特征输入图像解码器，解码器恢复图像的空间结构。
同时，颜色解码器利用图像解码器产生的不同尺度的图像特征学习自适应颜色查询（adaptive color queries）。
融合模块(fusion)将两个解码器产生的图像和颜色特征结合起来，产生色彩生动，语义清晰(vivid and semantic-aware color)的颜色输出。
最后，我们沿着通道维度(channel dimension)将y^AB和xL 串联起来，得到最终的着色结果。
(b)彩色解码器块的结构。以图像特征和**可学习**的颜色查询为输入，通过交叉注意、自注意和前馈操作(feed forward operations)建立语义和颜色表示之间的相关性

具体的：包括一个多尺度(multi-scale) 图像解码器和一个基于transformer的颜色解码器( color decoder)。
前者恢复图像的空间分辨率，而后者通过交叉注意(cross-attention)建立颜色和语义表示之间的相关性。
我们的两个解码器不是使用额外的先验，而是协同工作以利用多尺度图像特征来指导自适应颜色查询的优化，从而显著减轻颜色溢出（color bleeding effects）效果。此外，还引入了一种简单而有效的色彩损失（colorfulness loss），以进一步提高生成结果的颜色丰富度。

实测

国内阿里demo(打开界面右侧比较小)：

https://www.modelscope.cn/models/iic/cv_ddcolor_image-colorization/summary

replicate

https://replicate.com/piddnad/ddcolor

本机部署测试

项目介绍https://github.com/camenduru/DDColor-colab

体验地址：https://www.modelscope.cn/studios/iic/old_photo_restoration/summary

DDColor
【项目地址】https://github.com/piddnad/DDColor
【Colab】https://github.com/camenduru/DDColor-colab
【Demo】https://www.modelscope.cn/studios/damo/old_photo_restoration/summary
PhotoMaker
【项目地址】https://github.com/TencentARC/ PhotoMaker
【项目地址】https://photo-maker.github.io/
【Demo】https://huggingface.co/spaces/TencentARC/PhotoMaker-Style
【风格化Demo】https://huggingface.co/spaces/TencentARC/PhotoMaker

MAGNeT
【项目地址】https://github.com/facebookresearch/audiocraft
【Colab】https://github.com/camenduru/MAGNeT-colab

Resemble
【项目地址】https://github.com/resemble-ai/resemble-enhance
【Demo】https://www.resemble.ai/enhance/
【Demo】https://huggingface.co/spaces/ResembleAI/resemble-enhance

MotionShop
【项目地址】https://aigc3d.github.io/motionshop/
【Demo】https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

Animate Anyone
【项目地址】https://github.com/MooreThreads/Moore-AnimateAnyone
【Demo】https://github.com/camenduru/Moore-AnimateAnyone-colab

下载地址：https://pan.quark.cn/s/d32de0a091aa#/list/share

https://www.123pan.com/s/vdecVv-8l6wv.html

学习资料见知识星球。

以上就是今天要分享的技巧，你学会了吗？若有什么问题，欢迎在下方留言。

快来试试吧，小琥 my21ke007。获取 1000个免费 Excel模板福利！

更多技巧， www.excelbook.cn

欢迎加入 零售创新 知识星球，知识星球主要以数据分析、报告分享、数据工具讨论为主；