用文字描述控制图像色彩处理参数，实现风格化图像生成。
Language-based Color ISP Tuning
- 将色彩处理模块可微分化，通过文本提示优化参数。
- 使用预训练视觉语言模型衡量图像与文本的相似性，指导优化。
- 无需重训练模型，适合想快速调整图像风格的开发者。
我们提出一种基于语言提示调节色彩处理图像信号处理器（ISP）参数的方法。用户只需用文字描述期望的视觉风格，即可自动调整ISP参数以生成对应效果。方法首先将ISP模块实现为可微形式，再利用预训练的视觉语言模型（VLM）定义目标函数，使处理后的图像与输入语言描述在视觉上最匹配。通过梯度下降优化ISP参数，实验验证了不同语言提示下的参数调优效果，并对比了多种VLM和优化策略的表现。该方法实现了无需手动调参的风格化图像生成。
原文摘要 · Abstract (English)
We propose a method for tuning the parameters of a color adjustment Image Signal Processor (ISP) algorithmic "block" using language prompts. This enables the user to impart a particular visual style to the ISP-processed image simply by describing it through a text prompt. To do this, we first implement the ISP block in a differentiable manner. Then, we define an objective function using an off-the-shelf, pretrained vision-language model (VLM) such that the objective is minimized when the ISP processed image is most visually similar to the input language prompt. Finally, we optimize the ISP parameters using gradient descent. Experimental results demonstrate tuning of ISP parameters with different language prompts, and compare the performance of different pretrained VLMs and optimization strategies.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。