通过智能识别提示词风险,仅对不安全区域进行引导,提升文本生成图像的安全性。
SP-Guard: Selective Prompt-adaptive Guidance for Safe Text-to-Image Generation
- 根据提示词危害性动态调整引导强度,实现自适应控制。
- 仅对潜在不安全区域施加引导,减少对整体图像的干扰。
- 提升生成内容安全性,适合注重可控与透明性的应用场景。
基于扩散模型的文本到图像生成虽已取得卓越的图像质量,但也容易生成有害内容,引发社会关注,亟需更安全的生成方式。现有推理阶段的引导方法既缺乏自适应性——无法根据提示词调整引导强度,也缺乏选择性——无法仅针对图像中的不安全区域进行引导。本文提出SP-Guard方法,通过估计提示词的危害程度,并应用选择性引导掩码,仅对不安全区域实施引导。实验表明,相较于现有方法,SP-Guard在保持图像质量的同时显著提升了安全性,且减少了不必要的内容修改。研究还强调了图像生成过程中透明性与可控性的重要性。
原文摘要 · Abstract (English)
While diffusion-based T2I models have achieved remarkable image generation quality, they also enable easy creation of harmful content, raising social concerns and highlighting the need for safer generation. Existing inference-time guiding methods lack both adaptivity--adjusting guidance strength based on the prompt--and selectivity--targeting only unsafe regions of the image. Our method, SP-Guard, addresses these limitations by estimating prompt harmfulness and applying a selective guidance mask to guide only unsafe areas. Experiments show that SP-Guard generates safer images than existing methods while minimizing unintended content alteration. Beyond improving safety, our findings highlight the importance of transparency and controllability in image generation.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。