生成零样本个性化肖像

lixia01

一种新的 AI 模型，可以将自拍照转换成不同的艺术风格，同时保持面部特征的可识别性。
文本转图像和图像转图像 (I2I) 模型的最新进展显著提高了图像质量和即时性。然而，现有的 I2I 模型通常难以生成精细的细节，尤其是在人脸等具有挑战性的领域，在这些领域中，保留图像相似性至关重要。
这篇文章介绍了一种专为个性化和风格化自拍照生成而设计的新型零样本 I2I 模型。它结合了两项关键功能，有效地解决了细粒度图像处理的挑战：（1）个性化，准确保留输入自拍照中面部图像的相似性；（2）风格化，忠实地应用文本提示中指定的艺术风格。这使用户可以将他们的自拍照转换成各种风格，同时保持他们独特的面部特征。我们通过展示该模型生成高质量、个性化和风格化自拍照的能力来证明其有效性。
使用适配器捕捉面部细微差别
虽然文本提示对于许多图像生成任务（例如“一只戴着帽子的猫”）效果很好，但在生成具有具体和细微细节的图像时，它们可能会受到限制。对于面部图像尤其如此，仅用文字捕捉个人特征和表情非常困难。
该模型需要两个输入：一张人脸图像和一条描述所需风格的文字提示。然后我们使用两种“适配器”（类似于迷你人工智能助手）来帮助基础模型理解面部的细微差别。
图像适配器：此助手专注于自拍照图像的独特特征。这确保生成的图像看起来真正像自拍照。
控制适配器：此助手分析面部的姿势和表情。
这些助手使用一种称为交叉注意的技术与基础模型进行通信，这使它们能够无缝融合参考图像、所需风格和任何表情的信息。这种团队合作确保创建风格化的图像，同时仍然可以清晰地识别为输入图像。
GenSelfie2-概览英雄
风格多样的创意
我们的模型可以生成各种风格的人脸。以下是一些示例：
3D 卡通：将自己变成 3D 动画角色。
水彩画：捕捉手绘肖像的精致之美。
动漫：成为您自己的动漫冒险的明星。
铅笔素描：拥抱素描肖像的古典优雅。
此外，用户可以提示模型修改表情——微笑、哭泣或生气——同时保持图像相似性和所选风格。
应用肖像风格
该模型可在 Vertex AI 上的 Imagen 上使用。有关使用该模型的详细说明，请参阅随附的用户指南和负责任地使用 Imagen 的指南。该框架支持个性化图像风格化，让用户能够探索各种艺术表达方式，同时保留输入面部图像的相似性。
下一步
AI 生成的图像的个性化不仅限于生成头像。通常，用户希望个性化整个人，包括身体姿势等特征。请继续关注更多创新，以实现进一步的艺术表达。
致谢
这项研究得到了众多贡献者的支持，包括 Suraj Kothawade、Yu-Chuan Su、Xuhui Jia、Sherry Ben、Kelvin Chan、Igor Kibalchich、Chenxia Wu、Ting Yu、Yukun Ma、Nelson Gonzalez、Hexiang Hu、Inbar Mosseri , 莎拉·兰布利, 罗妮·佩斯, 李彦东, Viral Carpenter, 妮可·布里奇托娃, 杰西·加列戈斯, 赵阳, Florian Schroff、Dmitry Lagun、Tanmay Shah、Keyang Xu、Hongliang Fei、Yukun Zhu、Yeqing Li 和 Lawrence Chan。