[论文翻译]RE-IMAGEN: 检索增强的文本到图像生成器

文本到图像生成研究在扩散模型和自回归模型的推动下取得了显著进展，这些模型通过大规模图文数据训练能够生成多样化且逼真的图像。尽管当前最先进的模型可以生成常见实体的高质量图像，但在生成罕见实体（如"Chortai（犬种）"或"Picarones（食物）"）时往往表现不佳。为解决这一问题，我们提出了检索增强文本到图像生成器（Re-Imagen），该生成模型利用检索信息生成高保真图像，即使对于罕见或未见过的实体也能保持准确性。给定文本提示时，Re-Imagen会访问外部多模态知识库检索相关（图像，文本）对，并将其作为参考生成图像。通过这种检索机制，模型能够获取所述实体的高层语义和底层视觉细节知识，从而提升生成实体视觉外观的准确性。我们在构建的（图像，文本，检索）三元组数据集上训练Re-Imagen，使模型能够同时基于文本提示和检索信息进行生成。此外，我们开发了新的采样策略，通过交错文本条件和检索条件的无分类器引导，平衡文本与检索的对齐效果。Re-Imagen在COCO和WikiImage数据集上的FID分数显著提升。为进一步评估模型能力，我们提出了实体绘制基准（Entity Draw Bench），该基准评估从高频到低频实体（涵盖犬类、食物、地标、鸟类和角色等多个类别）的图像生成能力。在实体绘制基准上的人工评估表明，Re-Imagen能显著提升生成图像的保真度，尤其在低频实体上表现突出。