用摄像头实时捕捉画面，直接操控生成模型的潜在空间。
Towards Kinetic Manipulation of the Latent Space
- 通过摄像头提取特征，实现对生成模型的视觉响应式控制。
- 无需专用硬件，普通摄像头即可完成潜在空间的动态操纵。
- 适合交互设计、创意生成等需要实时反馈的应用场景。
许多生成模型的潜在空间中存在大量未探索的复杂结构。目前用于探索这些空间的工具大多局限于图形用户界面（GUI）。尽管可使用专用硬件进行操作，但本文表明，仅需从实时RGB摄像头画面中提取预训练卷积神经网络（CNN）的特征，即可实现对潜在空间的有效操控，且只需简单改变场景内容。该方法展现出巨大改进潜力。我们将其命名为视觉响应式插值（Visual-reactive Interpolation），完整代码已公开于 https://github.com/PDillis/stylegan3-fun。
原文摘要 · Abstract (English)
The latent space of many generative models are rich in unexplored valleys and mountains. The majority of tools used for exploring them are so far limited to Graphical User Interfaces (GUIs). While specialized hardware can be used for this task, we show that a simple feature extraction of pre-trained Convolutional Neural Networks (CNNs) from a live RGB camera feed does a very good job at manipulating the latent space with simple changes in the scene, with vast room for improvement. We name this new paradigm Visual-reactive Interpolation, and the full code can be found at https://github.com/PDillis/stylegan3-fun.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。