Imagen 文本到图像扩散模型

关于「Imagen」

文本到图像的扩散模型，具有前所未有的照片真实感和深层次的语言理解

Imagen 是一种文本到图像扩散模型，具有前所未有的逼真度和深度的语言理解能力。该模型充分利用了大型变压器语言模型在理解文本方面的强大能力，并依赖于扩散模型在生成高保真图像方面的强大性能。研究人员的关键发现是，通用的大型语言模型（例如 T5），在仅对文本进行预训练的语料库上表现出惊人的编码文本用于图像合成的效果：在 Imagen 中增加语言模型的大小不仅提高了样本的保真度，还显著提升了图像与文本的对齐度，远远超过了增加图像扩散模型的大小。在 COCO 数据集上，Imagen 实现了新的最先进 FID 分数为 7.27，而且从未在 COCO 上进行过训练，人工评估者发现 Imagen 的样本在图像与文本对齐方面与 COCO 数据本身不相上下。为了更深入地评估文本到图像模型，研究人员引入了 DrawBench，这是一个全面而具有挑战性的文本到图像模型基准。通过 DrawBench，他们将 Imagen 与包括 VQ-GAN+CLIP、潜在扩散模型和 DALL-E 2 在内的最新方法进行比较，发现人工评估者在一对一比较中更喜欢 Imagen，无论是在样本质量还是图像与文本对齐方面。

主要功能

先进的文本到图像合成：

Imagen 是一种创新的文本到图像扩散模型，实现了无与伦比的逼真程度，并展现了对语言的深刻理解。利用大型预训练语言模型（例如 T5）的强大功能，Imagen 在编码文本以进行高保真图像生成方面表现卓越，超越了那些仅专注于增加图像扩散模型大小的模型。这种先进的合成能力允许根据文本描述创建逼真的图像。

DrawBench 基准测试：

为了全面评估文本到图像模型，研究人员引入了 DrawBench，这是一个专门设计用于此目的的具有挑战性的基准测试。Imagen 与其他最新方法进行了比较，包括 VQ-GAN+CLIP、潜在扩散模型和 DALL-E 2。人类评估者在对比评估中一致地偏好 Imagen，强调了它在多个评估标准下的样本质量和图像与文本对齐方面的优越性。

高效 U-Net 架构：

Imagen 采用了高效的 U-Net 架构，增强了计算效率、内存利用率和收敛速度。这种创新有助于模型有效处理大规模文本编码器，从而提高图像保真度并与文本描述对齐的能力。

最先进的 FID 分数：

Imagen 在 COCO 数据集上实现了突破性的最先进 Fréchet Inception Distance（FID）分数，展示了其在生成与文本描述相符的图像方面的卓越性能。值得注意的是，Imagen 在没有对 COCO 数据集进行特定训练的情况下取得了这一成绩，突显了其在多样的图像合成任务中具有很好的泛化能力。