将扩散模子量化到 1 比特极限，又有新 SOTA 了！

来自北航、ETH 等机构的盘问东谈主员提倡了一种名为BiDM的新要领，初度将扩散模子（DMs）的权重和激活澈底二值化。

具体而言，作家们从时刻和空间的角度对扩散模子进行了优化：

从时刻角度来看，引入了"时刻步友好二值结构"（TBS），通过可学习的激活二值化器和跨时刻步特征承接来嘱托 DMs 高度时刻步关系的激活特征。

从空间角度来看，提倡了"空间分块蒸馏"（SPD），看法是处置二值化特征匹配的贫寒，迥殊蔼然图像生成任务和噪声臆想收罗的空间局部性。

实验收场清楚，W1A1 BiDM 在 LSUN-Bedrooms 256 × 256 上的 LDM-4 模子上取得了 22.74 的 FID 分数，远远超过了现时情状的来源进通用二值化要领的 59.44 分，并已毕了高达28 倍的存储勤俭和52.7 倍的操作遵守栽种。

底下具体来看。

现存扩散模子 1 位量化主要鸠集在「权重」

现在为止，扩散模子由于其高质料和各样化的生成才气，在图像、语音和视频等多个规模引起了极大的蔼然和应用。它不错通过多达 1000 步的去噪花样，从迅速噪声生成数据。

不外，自然一些加快采样要领不祥有用减少生成任务所需的花样数目，但每个时刻步的辛苦浮点计较仍然放手了该模子在资源受限场景中的平庸应用。

因此，对扩散模子的压缩成为其更平庸应用的关键花样，现存的压缩要领主要包括量化、蒸馏、剪枝等。这些压缩要领的看法是在保捏准确性的同期减少存储和计较资本。

其中，量化被以为是一种相等有用的模子压缩技能，通过将权重和 / 或激活量化为低位整数或二值化，已毕紧凑存储和推理中的高效计较。

是以，已有一些盘问将量化应用于扩散模子，以在保捏生成质料的同期已毕模子的压缩和加快。

而 1 位量化，即二值化，不祥最大适度地勤俭模子的存储空间，而且在卷积神经收罗（CNN）等判别模子中发达致密。此外，当权重和激活同期量化为 1 位时，如澈底二值化，使用雷同 XNOR 和 bitcount 的高效位运算不错替代矩阵乘法，达到最高效的加快遵守。

一些现存的使命尝试将扩散模子量化为 1 位，但它们的探索主要鸠集在权重上，离澈底二值化仍有较大距离。

试验上，关于扩散模子这么的生成模子，澈底二值化权重和激活的影响是倒霉性的：

a ) 手脚生成模子，扩散模子的丰富中间暗示与时刻步密切关系，而高度动态的激活界限在使用二值化权重和激活时受到严重放手；

b ) 像扩散模子这么的生成模子时时需要输出竣工的图像，但高度闹翻的参数和特征空间使得在端庄历程中很难与真确值匹配。闹翻空间中的优化难度以及与时刻步动态关系的暗示才气不及，导致二值化扩散模子难以敛迹，以致在优化历程中崩溃。

提倡 BiDM：澈底二值化「权重」和「激活」

面临上述不及，作家们提倡了 BiDM。通过澈底二值化权重和激活，将扩散模子推向极限的压缩和加快。

详尽而言，BiDM 看法是处置扩散模子激活特征、模子结构以及生成任务的独到需求，克服澈底二值化带来的挑战。

它包含两项蜕变技能：

从时刻角度动身，作家们不雅察到扩散模子的激活特征与时刻步高度关系。

因此引入了"时刻步友好二值结构"（TBS），通过可学习的激活二值量化器匹配扩散模子的动态激活界限，并筹算跨时刻步的特征承接，欺诈相邻时刻步之间的特征雷同性，增强二值模子的暗示才气。

而从空间角度动身，作家们提防到生成任务中的空间局部性以及扩散模子使用的基于卷积的 U-Net 结构。

于是提倡了"空间分块蒸馏"（SPD），引入一个全精度模子手脚监督，通过对分块的自提防效法，专注于局部特征，更好地教导二值扩散模子的优化看法。

具随机刻步友好二值结构和空间分块蒸馏的 BiDM

平庸的实验标明，与现存的 SOTA 澈底二值化要领比较，BiDM 在保捏辩论推理遵守的同期显耀提高了精度，在各式评价目的上超过了整个现存基线要领。

具体来说，在像素空间扩散模子中，BiDM 是唯独一种将 IS 提高到 5.18 的要领，接近全精度模子的水平，比最好基线要领高出 0.95。

在 LDM 中，BiDM 将 LSUN-Bedrooms 的 FID 从 SOTA 要领的 59.44 镌汰到了令东谈主印象深入的 22.74，同期勤俭了 28.0 倍的存储空间和 52.7 倍的 OPs。

手脚第一种澈底二值化的扩散模子要领，大批生成的样本也讲明 BiDM 是现在唯独一种不祥生成可接受的澈底二值化 DM 图像的要领，从而使 DM 在低资源场景中得到有用应用。

具体咋已毕的二值扩散模子基线

扩散模子：给定一个数据散播� �0~ � �（� �0），前向历程生成一个迅速变量序列� � � �   ∊ ｛� �1，…，� � � �｝，该序列通过出动核� �（� � � �| � � � �-1）生成，时时是高斯扰动，其抒发式为：

其中� � � �   ∊（0，1）是噪声退换。高斯出动核允许作家们旯旮化吞并散播，因此欺诈� � � �：=1- � � � � 和

，不错通过采样一个高斯向量� �~N（0，I）并应用变换粗野得回� � � � 的样本。

反向历程旨在通昔日除噪声生成样本，使用可学习的出动核� � � �（� � � �-1| � � � �）近似不可用的条款散播 q（� � � �-1| � � � �），其抒发式为：

均值和方差不错使用重参数化手段得到：

其中� � � � 是具有可学习参数� � 的函数靠拢，用于凭据� � � � 预测� �。

关于扩散模子的端庄，时时使用变分下界的简化变体手脚亏本函数，以提高样本色量，其抒发式为：

由于 U-Net 不祥和会低眉目和高维特征，它已成为扩散模子的主流主干。U-Net 的输入输出块不错暗示为和，其中较小 m 对应的块是更低眉目的。进步承接将低眉目信息从 Dm ( ·）传播到 Um ( ·），因此 Um 招揽到的输入暗示为：

二值化：量化通过将权重和激活闹翻化为低位宽，压缩并加快噪声臆想模子。在二值化扩散模子的基线中，权重 W 被二值化为 1 位：

其中标识函数将 W 放手为 +1 或 -1，并设 0 为阈值。� � 是浮点标量，脱手化为（n 暗示权重数目），并在端庄历程中进行学习。

同期，激活时时通过肤浅的 BNN 量化器进行量化：

当权重和激活同期被量化为 1 位时，去噪模子的计较不错由 XNOR 和 bitcount 运算代替，从辛苦毕显耀的压缩和加快。

时刻步友好二值结构

在正式先容所撮要领之前，作家们先转头对扩散模子（DMs）属性的不雅察：

下图中， ( a ) 全精度 DDIM 模子在 CIFAR-10 上第 4 层卷积层的激活界限随去噪花样变化。 ( b ) 在 LSUN-Bedrooms 数据集上，全精度 LDM-4 模子在每一步的输出特征与前一步雷同。

不雅察 1：激活界限在永恒时刻步中变化显耀，但激活特征在短期相邻时刻步中雷同。

之前的盘问，如 TDQ 和 Q-DM，也曾标明，DMs 的激活散播在去噪历程中高度依赖于时刻步，发达为相邻时刻步之间的雷同性，而远距离时刻步之间的差异较大，如图 2 ( a ) 所示。

因此，在整个时刻步中应用固定的缩放因子会导致激活界限的严重失真。除了散播界限除外，Deepcache 强调了一语气时刻步之间高维特征的显耀时刻一致性，如图 2 ( b ) 所示。

这些清静促使作家们再行注释现存的二值化结构。

二值化，尤其是权重和激活的澈底二值化，与 4 位等低位量化比较，会导致激活界限和精度的更大亏本。这使得生成丰富激活特征变得愈加贫寒。激活界限和输出特征的不及严重挫伤了像 DMs 这么丰富暗示的生成模子。

因此，接受更天确实激活界限的二值量化器，并通过欺诈其特征输出来增强模子的合座抒发才气，是在澈底二值化后提高其生成才气的关键计谋。

作家们领先蔼然永恒时刻步之间的差异。

大多数现存的激活量化器，如 BNN 和 Bi-Real，径直将激活量化为｛+1，-1｝，如式 ( 7 ) 所示。这种要领严重搅扰了激活特征，负面影响了生成模子的抒发才气。一些纠正的激活二值量化器，如 XNOR++，接受了可端庄的缩放因子 k：

其中 kaiyun.comK 的花样不错是向量或多个向量的乘积，但在推理历程中保捏为常量值。尽管这种要领部分还原了激活的特征抒发，但它与高度关系的时刻步不匹配，可能仍会导致显耀的性能亏本。

作家们将提防力转向原始的 XNOR，它接受动态计较的均值来构造激活二值量化器。其对二维卷积的运算不错暗示为：

其中，，，

。暗示二维过滤器，

和分别暗示带和不带乘法的卷积操作。这种要领自然保留了激活特征的界限，并跟着不同时代步的输入界限动态调理。

但是，由于 DM 特征的丰富抒发，局部激活在模块通过前后的界限内发达出不一致，标明预定的 k 值不可有用还原激活暗示。

因此，作家们使 k 可调理，并允许其在端庄历程中进行学习，以自合适匹配激活在前后发生的界限变化。作家们提倡的可学习的轻微卷积 k 的梯度计较历程如下：

值得提防的是，使 k 可学习不会加多任何特地的推理包袱。计较资本保捏不变，允许进行高效的二值运算。

另一方面，作家们专注于相邻时刻步之间的雷同性。

Deepcache 径直索求高维特征手脚缓存，以跳过 U-Net 中的大批深度计较，已毕了显耀的推理加快。其历程暗示为：

但是，这种要领不适用于二值化扩散模子，因为二值收罗的每个输出的信息内容相等有限。关于本色上也曾已毕了显耀压缩和加快但抒发才气有限的二值扩散模子，作家们预测相邻时刻步之间的特征雷同性将增强二值暗示，从而弥补抒发挑战。

作家们构建了一个跨时刻步的信息增强承接，以使用前一时刻步的特征丰富现时时刻步的抒发。其历程不错暗示为：

其中是一个可学习的缩放因子。正如图 2 ( b ) 所示，不同块和时刻步中的高维特征雷同性差异。

因此，作家们劝诱了多个孤独的� � 值，以允许模子在端庄历程中更有用地自合适学习。

转头来说，时刻步友好的二值结构（TBS）包括在输入平均和跨时刻步承接后应用于缩放因子的可学习微卷积。它们的组合遵守不祥合适扩散模子在永恒时刻步中的激活界限变化，并欺诈相邻时刻步之间高维特征的雷同性来增强信息暗示。

从差错减少的角度来看，图 3 中展示了TBS 的可视化。

领先，作家们将基线要领下二值扩散模子的输出抽象为向量 Bt-1。

缩放因子的不匹配会在它与全精度模子的输出向量 Ft-1 之间产生显耀的长度差异。

通过使用提倡的缩放因子和可学习的微卷积，Bt-1 被推广为 Lt-1。Lt-1 更接近 Ft-1，但仍与全精度模子存在方进取的差异。

跨时刻步的承接进一步结合了前一个时刻步的输出 Ft、Bt 和 Lt。相邻时刻步之间的高维特征雷同性意味着 Ft-1 和 Ft 之间的差距相对较小，从而促进了 Lt-1 和 Lt 的结合。

终末，作家们通过应用 TBS 得到二值化扩散模子的输出，抒发式为 Tt-1= ( 1- � � ) · Lt-1+ � � · Lt，这一输出最接近全精度模子的输出 Ft-1。

空间分块蒸馏

由于生成模子的特色，扩散模子的优化历程与以往的判别模子有着不同的特征：

不雅察 2：传统的蒸馏难以教导澈底二值化的扩散模子与全精度模子对皆，而扩散模子在生成任务中的特征在空间上发达出局部性。

在以往的推行中，在量化模子的端庄历程中添加蒸馏亏本是常见的作念法。由于二值模子的数值空间有限，径直使用肤浅的亏本进行优化会导致调理梯度更新看法的贫寒，使学习变得具有挑战性。因此，向中间特征添加蒸馏亏本不错更好地率领模子的局部和全局优化历程。

但是，手脚生成模子，扩散模子的高度丰富的特征暗示使得二值模子极难密致地效法全精度模子。

尽管原始扩散模子端庄中使用的 L2 亏本与扩散历程中的高斯噪声对皆，但并不适用于中间特征的蒸馏匹配。在惯例蒸馏历程中，常用的 L2 亏本时常优先优化差异较大的像素，从而导致愈加均匀和平滑的优化收场。

这种全局管理学习历程关于以图像生成为看法的二值模子来说是贫寒的，因为其有限的暗示才气使得精细的蒸馏效法难以径直调理模子以澈底匹配全精度模子的看法。

与此同期，作家们提防到，使用 U-Net 手脚主干的扩散模子由于其基于卷积的结构和生成任务的要求，自然发达出空间局部性。

这与以往的判别模子不同，判别模子中的任务（如分类）只需合座特征索求，而不需要低眉目的要求，这使得传统的蒸馏要领不适用于具有空间局部性的生成任务。此外，大多数现存的扩散模子蒸馏要领专注于减少时刻步数，并未处置图像生成任务中对特征空间局部性的需求。

因此，鉴于现存亏本函数在优化二值扩散模子上的贫寒以及扩散模子的空间局部性，作家们提倡了空间分块蒸馏（SPD）。

具体来说，他们筹算了一种新的亏本函数，该亏本函数在蒸馏之前将特征离别为小块，然后逐块计较空间自提防力。自然传统的 L2 亏本使二值扩散模子难以已毕径直匹配，导致优化挑战，但提防力机制使得蒸馏优化不错更侧重于关键部分。

但是，关于澈底二值化的扩散模子来说，这仍然是具有挑战性的，因为高度闹翻的二值输出信息有限，使得模子难以拿获全局信息。

因此，作家们通过将中间特征离别为多个小块，并为每个小块孤独计较空间自提防力，使得二值模子在优化历程中不祥更好地欺诈局部信息。

SPD 领先将二值扩散模子和全精度扩散模子的某个块输出的中间特征� �bi 和� �fp ∊� �bxcxwxh 离别为 p2 个小块：

然后，分别对每个小块计较自提防力：

在正则化之后，计较并累加相应位置的亏本：

其中