到目前为止，我们在基于梯度的学习方法中遇到了两个极端：第 12.3 节使用完整数据集来计算梯度和更新参数，一次一个传递。相反， 第 12.4 节一次处理一个训练示例以取得进展。它们中的任何一个都有其自身的缺点。当数据非常相似时，梯度下降并不是特别有效。随机梯度下降在计算上不是特别有效，因为 CPU 和 GPU 无法利用矢量化的全部功能。这表明可能存在介于两者之间的东西，事实上，这就是我们迄今为止在讨论的示例中一直使用的东西。
12.5.1。矢量化和缓存
决定使用小批量的核心是计算效率。在考虑并行化到多个 GPU 和多个服务器时，这一点最容易理解。在这种情况下，我们需要向每个 GPU 发送至少一张图像。每台服务器 8 个 GPU 和 16 个服务器，我们已经达到了不小于 128 的小批量大小。
当涉及到单个 GPU 甚至 CPU 时，事情就有点微妙了。这些设备有多种类型的内存，通常有多种类型的计算单元和它们之间不同的带宽限制。例如，CPU 有少量寄存器，然后是 L1、L2，在某些情况下甚至是 L3 缓存（在不同处理器内核之间共享）。这些缓存的大小和延迟都在增加（同时它们的带宽在减少）。可以说，处理器能够执行的操作比主内存接口能够提供的要多得多。
首先，具有 16 个内核和 AVX-512 矢量化的 2GHz CPU 最多可以处理2⋅109⋅16⋅32=1012每秒字节数。GPU 的能力很容易超过这个数字的 100 倍。另一方面，中端服务器处理器的带宽可能不会超过 100 GB/s，即不到保持处理器所需带宽的十分之一喂。更糟糕的是，并非所有内存访问都是平等的：内存接口通常为 64 位宽或更宽（例如，在 GPU 上高达 384 位），因此读取单个字节会产生更宽访问的成本。
其次，第一次访问的开销很大，而顺序访问相对便宜（这通常称为突发读取）。还有很多事情要记住，比如当我们有多个套接字、小芯片和其他结构时的缓存。 有关更深入的讨论，请参阅此 维基百科文章。
缓解这些限制的方法是使用 CPU 高速缓存的层次结构，这些高速缓存的速度实际上足以为处理器提供数据。这是深度学习中批处理背后的驱动力。为了简单起见，考虑矩阵-矩阵乘法，比如 A=BC. 我们有多种计算方法A. 例如，我们可以尝试以下操作：
-
我们可以计算 Aij=Bi,:C:,j，即，我们可以通过点积的方式逐元素计算它。
-
我们可以计算 A:,j=BC:,j，也就是说，我们可以一次计算一列。同样我们可以计算 A一排Ai,:一次。
-
我们可以简单地计算A=BC.
-
我们可以打破B和C分成更小的块矩阵并计算A一次一个块。
如果我们遵循第一个选项，每次我们想要计算一个元素时，我们都需要将一行和一列向量复制到 CPU 中 Aij. 更糟糕的是，由于矩阵元素是顺序对齐的，因此当我们从内存中读取两个向量之一时，我们需要访问许多不相交的位置。第二种选择要有利得多。在其中，我们能够保留列向量C:,j在 CPU 缓存中，同时我们继续遍历B. 这将内存带宽要求减半，访问速度也相应加快。当然，选项 3 是最可取的。不幸的是，大多数矩阵可能无法完全放入缓存（毕竟这是我们正在讨论的内容）。然而，选项 4 提供了一个实用的替代方法：我们可以将矩阵的块移动到缓存中并在本地将它们相乘。优化的库会为我们解决这个问题。让我们看看这些操作在实践中的效率如何。
除了计算效率之外，Python 和深度学习框架本身引入的开销也相当可观。回想一下，每次我们执行命令时，Python 解释器都会向 MXNet 引擎发送命令，而 MXNet 引擎需要将其插入计算图中并在调度期间对其进行处理。这种开销可能非常有害。简而言之，强烈建议尽可能使用矢量化（和矩阵）。
由于我们将在本书的其余部分频繁地对运行时间进行基准测试，因此让我们定义一个计时器。
class Timer: #@save
"""Record multiple running times."""
def __init__(self):
self.times = []
self.start()
def start(self):
"""Start the timer."""
self.tik = time.time()
def stop(self):
"""Stop the timer and record the time in a list."""
self.times.append(time.time() - self.tik)
return self.times[-1]
def avg(self):
"""Return the average time."""
return sum(self.times) / len(self.times)
def sum(self):
"""Return the sum of time."""
return sum(self.times)
def cumsum(self):
"""Return the accumulated time."""
return np.array(self.times).cumsum().tolist()
timer = Timer()
class Timer: #@save
"""Record multiple running times."""
def __init__(self):
self.times = []
self.start()
def start(self):
"""Start the timer."""
self.tik = time.time()
def stop(self):
"""Stop the timer and record the time in a list."""
self.times.append(time.time() - self.tik)
return self.times[-1]
def avg(self):
"""Return the average time."""
return sum(self.times) / len(self.times)
def sum(self):
"""Return the sum of time."""
return sum(self.times)
def cumsum(self):
"""Return the accumulated time."""
return np.array(self.times).cumsum().tolist()
timer = Timer()
class Timer: #@save
"""Record multiple running times."""
def __init__(self):
self.times = []
self.start()
def start(self):
"""Start the timer."""
self.tik = time.time()
def stop(self):
"""Stop the timer and record the time in a list."""
self.times.append(time.time() - self.tik)
return self.times[-1]
def avg(self):
"""Return the average time."""
return sum(self.times) / len(se
