Imagen AI，从自然文本中生成逼真的图像

曹欣

说起DALL-E2的大名，很多关注人工智能科技行业的读者都了解。可以说，文本生成图像这个堪比考验人工智能想象力的技术制高点，被DALL-E2发挥得淋漓尽致。在OpenAI宣布DALL-E2（其最新的从文本创建图像的 AI 系统）大约一个月后，Google 的“文本到图像扩散模型Imagen”加入到了这场AI竞赛中。

使用标准度量FID（Frechet Inception Distance score，计算真实图像和生成图像的特征向量之间距离的一种度量），Google Imagen 在COCO（Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集）数据集上以 7.27 的得分超过了Open AI 的 DALL-E2。尽管没有使用COCO进行“培训”，但Imagen的表现仍然很好。Imagen 在人工评分者中也优于 DALL-E2 和其他竞争的文本到图像方法。

Imagen的工作原理是采用自然语言文本输入，例如“一只戴着蓝色格子贝雷帽和红色圆点高领毛衣的金毛猎犬”，然后使用T5-XXL 编码器将该输入文本转换为嵌入。接下来“条件扩散模型”将文本嵌入映射到一个小的64×64 图像中，Imagen使用文本条件超分辨率扩散模型将64×64图像采样为256×256和1024×1024。

与去年秋天NVIDIA的GauGAN2方法相比，Imagen 在灵活性和结果方面都有了显著的提升，意味着影像基础的人工智能正在迅速发展。比如右面这张“一只柯基犬住在用寿司做的房子里”的图片，看起来真实度很高，就像有人真的用寿司建造了一个狗屋，而且柯基犬很喜欢它，其实这一切都是虚构的。

一些用户在访问Imagen后会立即开始输入各种短语，比如：“一对机器人夫妇在埃菲尔铁塔的背景下享用美食。”如果没有特定的关键词，有可能生成的人种、肤色会不同。我们不知道Imagen如何处理这些文本字符串，文本到图像的研究还存在伦理挑战。……