AI工具除应用于文本信息相关的任务(写文章、写代码、做分析)，也越来越广泛应用于处理其他类型(也称为"模态 modality")的信息 : 根据文字生成逼真的照片，模拟人类的语音或创作音乐，甚至根据一句话生成电影级的视频。这被统称为"多模态(multi-modal)"AI系统。

这些能力和工具看起来差异很大：

·ChatGPT、DeepSeek生成文字

·Midjourney、豆包生成图片

·Azure AI Speech、ElevenLabs生成语音

·Seedance、Runway、可灵生成视频

但它们背后的核心，其实越趋统一。

作为本系列第一篇，我们尝试以图片生成作为切入点，拆解现代多模态AI系统的工作原理。

我们先聚焦最热门、也是最容易让人产生好奇的问题：

AI到底是怎么画图的？

一、AI绘画真的在“画画”吗？

很多人第一次接触AI绘画时，会产生一个直觉：

AI是不是像人一样，一笔一笔把图片画出来？

实际上并不是。

现代主流AI绘画系统更接近于：

从一团随机噪声中，逐步“雕刻”出图像。

这个过程被称为：

Diffusion（扩散模型）

也是今天大多数先进图像生成系统的核心技术路线。包括大部分主流

AI绘画模型都属于这一类。

二、为什么扩散模型成为主流？

在扩散模型出现之前，AI绘画领域主要依赖GAN（生成对抗网络）。

简单理解：

GAN像是一个画家和一个评委互相较劲: 画家负责生成图片，评委负责判断真假。

这种方式曾经取得巨大成功，但存在两个问题：

  • 训练不稳定

  • 容易陷入固定风格

而扩散模型则采用完全不同的思路：

图片 → 不断加噪声 → 变成纯噪声

然后学习反向过程：

纯噪声 → 逐步去噪 → 恢复图片

这种方法训练更稳定，也更容易生成高质量、多样化的图片。

因此逐渐成为行业标准。

三、AI为什么不直接处理图片？

这里涉及现代图像生成最重要的概念：

潜空间（Latent Space）

一张高清图片的信息量非常大。

例如：

1024 × 1024 像素

包含超过300万个颜色数值。

如果AI直接处理这些像素，计算成本会非常高。

于是研究人员想到一个办法：

先压缩。

类似于：

原图 → 压缩 → 视觉摘要 → 处理 →  解压 → 最终图片

这个“视觉摘要”所在的空间，就叫做：Latent Space（潜空间）

四、潜空间是什么？

可以把它理解成：

AI眼中的图片，不再是一堆像素，而是一组抽象的视觉特征。

例如当人看到一只猫时：

我们不会记住每一个像素。

而是记住：

  • 耳朵
  • 眼睛
  • 毛发
  • 姿态
  • 颜色

AI也在做类似的事情。

它会把图片压缩成：

  • 形状信息

  • 纹理信息

  • 光照信息

  • 颜色信息

  • 空间结构

等抽象表示。

因此现代扩散模型实际上不是在像素空间工作，而是在潜空间工作。

这也是为什么今天的AI绘画能够在保证质量的同时保持较高效率。

五、AI如何理解图片中的物体？

这又涉及另一个重要概念：

Patch（图像块）

现代AI通常不会一次性看完整张图片。

而是会把图片切成很多小块。

例如：

一张大图片 →  很多小方格

每个小方格都变成一个数字向量。

类似于：

文字 → 单词

图片 → 图像块

对于AI来说：

图像块就像图片世界里的“单词”。

六、如果切成小块，AI怎么知道这是一张脸？

这是很多人的疑问。

例如：

  • 眼睛

  • 鼻子

  • 嘴巴

可能分散在不同图像块中。

AI如何知道它们属于同一张脸？

答案是：

Attention（注意力机制）

这也是LLM背后的核心技术。

注意力机制允许左上角图像块和右下角图像块互相交流信息。

因此模型能够发现：

眼睛 + 鼻子 + 嘴巴 = 人脸

最终建立对整个画面的理解。

这也是为什么今天的AI能够处理复杂场景和人物关系。

七、AI绘画与LLM有什么共同点？

很多人以为：

LLM是一种技术

AI绘画是另一种技术

实际上它们越来越相似。

共同点包括：

1. 都需要海量数据

LLM学习互联网文本。

图像模型学习海量图片和描述。

2. 都使用Transformer

现代大模型几乎都建立在Transformer架构之上。

3. 都使用Embedding

文字会变成向量。

图片也会变成向量。

AI最终处理的都是数字空间中的点。

4. 都需要后期对齐

"预训练"完成后，通过：

  • 人类反馈
  • 偏好学习
  • 安全规则

的"后训练"都会继续优化模型表现。

八、AI绘画与LLM最大的区别

虽然越来越相似，但核心生成方式不同。

LLM：续写

它的工作方式可以理解为：

预测下一个词

例如：

留尼汪的天气很 → 好

不断重复。

于是形成完整文章。

AI绘画：雕刻

扩散模型则是：

随机噪声 →  去掉一点噪声 →  再去掉一点噪声 →  形成图片

因此：

大语言模型是在“续写故事”，而扩散模型是在“雕刻图像”。

这是理解两者差异最重要的一句话。

九、一张AI图片是如何诞生的？

当用户输入：

夕阳下奔跑的金毛犬

现代系统大致会经历以下步骤：

第一步：理解需求

语言模型分析用户意图。

识别：

  • 金毛犬
  • 沙滩
  • 奔跑
  • 夕阳
  • 摄影风格

第二步：生成随机噪声

系统先创建一张完全随机的“雪花图”。

第三步：逐步去噪

模型不断判断：

哪些部分不像目标图片？

然后进行修正。

几十次迭代之后：

天空 → 海面 → 狗的轮廓 → 毛发细节

逐渐浮现出来。

第四步：解码成高清图片

最终潜空间中的结果被还原成真实图片。

用户看到的成品由此诞生。

十、未来趋势：AI不只是画图

过去的图像生成系统可以理解为：

文字 → 图片

而今天的前沿系统越来越接近：

用户需求 → 多模态大模型理解 → 规划场景 → 图像模型绘制 → 最终结果

换句话说：

AI正在从“画图工具”演变为“创作助手”。

未来的图像、语音、视频甚至3D内容，都可能由同一个多模态系统统一生成。

这也是为什么理解图像生成原理，会成为理解整个多模态AI时代的重要起点。

本篇小结

记住下面四句话即可：

  • 现代AI绘画主流技术是扩散模型（Diffusion）。

  • AI不是直接处理像素，而是在潜空间（Latent      Space）中工作。

  • Attention让AI能够理解不同图像区域之间的关系。

  • LLM是在续写文字，扩散模型是在从噪声中雕刻图像。