Skip to Content
生成式深度学习,第二版
book

生成式深度学习,第二版

by David Foster
May 2025
Intermediate to advanced
456 pages
5h 50m
Chinese
O'Reilly Media, Inc.
Content preview from 生成式深度学习,第二版

第 1 章 生成模型

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见:translation-feedback@oreilly.com

本章是对生成式建模领域的一般性介绍。

我们将首先从理论上温和地介绍生成建模,并了解生成建模是如何与更广泛研究的判别建模自然对应的。然后,我们将建立一个框架,描述一个好的生成模型应具备的理想特性。我们还将阐述必须了解的核心概率概念,以便充分理解不同方法如何应对生成模型的挑战。

这将自然而然地引导我们进入倒数第二部分,该部分列出了当今该领域占主导地位的六大生成模型系列。最后一节将介绍如何开始使用本书附带的代码库。

什么是生成模型?

生成模型可大致定义如下:

生成模型是机器学习的一个分支,它涉及训练一个模型,以生成与给定数据集相似的新数据。

这在实践中意味着什么?假设 ,我们有一个包含马匹照片的数据集。我们可以在这个数据集上训练一个生成模型,以捕捉支配马匹图像中像素间复杂关系的规则。然后,我们可以从该模型中提取样本,创建出原始数据集中不存在的新颖、逼真的马匹图像。图 1-1 展示了这一过程。

图 1-1. 经过训练可生成逼真马匹照片的生成模型

为了建立一个生成模型,我们需要一个由我们试图生成的实体的许多示例组成的数据集。 称为训练数据,其中一个数据点称为观测点

每个观测结果都包含许多特征。对于图像生成问题,特征通常是单个像素值;对于文本生成问题,特征可能是单个单词或字母群。我们的目标是建立一个模型,它能生成新的特征集,这些特征集看起来就像使用与原始数据相同的规则创建的一样。从概念上讲,对于图像生成来说,这是一项非常困难的任务,因为单个像素值的分配方式非常多,而构成我们试图生成的实体图像的这种排列方式相对较少。

生成式模型还必须是概率性的,而不是确定性的,因为我们希望能够对输出的多种不同变化进行采样,而不是每次都得到相同的输出。如果我们的模型仅仅是一种固定的计算,比如取训练数据集中每个像素的平均值,那么它就不是生成式模型。 生成模型必须包含随机成分,以影响模型生成的各个样本。

换句话说,我们可以想象存在某种未知的概率分布,它解释了为什么某些图像可能出现在训练数据集中,而另一些图像则不可能。我们的工作就是建立一个尽可能接近这种分布的模型,然后从中采样,生成新的、独特的观察结果,这些观察结果看起来就像是原始训练集中的观察结果。

生成模型与判别模型

为了真正理解生成式建模的目标以及其重要性,我们有必要将生成式建模与其对应的判别式建模进行比较。如果你学习过机器学习,那么你所面临的大多数问题都很可能是判别性的。为了理解两者的区别,让我们来看一个例子。

假设我们有一个画作数据集,其中一些是梵高画的,另一些是其他艺术家画的。有了足够的数据,我们就可以训练一个判别模型来预测某幅画是否出自凡高之手。我们的模型会发现,某些颜色、形状和纹理更有可能表明画作出自这位荷兰大师之手,对于具有这些特征的画作,模型会相应地提高预测权重。图 1-2显示了判别建模过程,请注意它与图 1-1 所示的生成建模过程有何不同。 ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

AirBnbBlueOriginElectronic ArtsHomeDepotNasdaqRakutenTata Consultancy Services

QuotationMarkO’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
QuotationMarkI wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
QuotationMarkI’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
QuotationMarkI'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Mark W.
Embedded Software Engineer

You might also like

机器学习速查手册

机器学习速查手册

Matt Harrison
R深度学习权威指南

R深度学习权威指南

Posts & Telecom Press, Joshua F. Wiley
产品路线图全面升级

产品路线图全面升级

C. Todd Lombardo, Bruce McCarthy, Evan Ryan, Michael Connors

Publisher Resources

ISBN: 9798341656703