Instant-NGP: Multi-resolution Hash Encoding（多分辨率哈希编码）

文章目录

• Multi-resolution Hash Encoding（多分辨率哈希编码）
• 双线性插值
• 一个很小的MLP用来做映射
• 训练MLP来做映射
• model就是压缩后的结果

Multi-resolution Hash Encoding（多分辨率哈希编码）

输入： 输入是 x \mathbf{x} x = [ x , y ] [x, y] [x,y]，一个2D weight tensor归一化的坐标 （后续会进行插值）

输出：
在 Instant-NGP 的架构中，训练过程实际上是在优化两部分：显式特征（Explicit Features）：

• 存储在哈希表（Hash Table）中的 L × T L \times T L×T 个特征向量。
• 隐式映射（Implicit Mapping）：后端小型 MLP 的权重。

Multi-resolution Hash Encoding分为四个步骤

• 系统预设 L L L 个不同精度的网格（从粗糙到精细）。粗层捕捉大轮廓，细层捕捉微小细节。
• 网格顶点索引与哈希 (Hashing)：在每一层，坐标 x \mathbf{x} x 会落在某个小格子（Voxel）里。计算该格子 4 个顶点的索引（三维空间8个顶点，二维空间4个顶点）。为了节省空间，如果顶点数超过预设大小 T T T，则使用空间哈希函数将坐标映射到固定大小的哈希表中： h ( x ) = ( ⨁ i = 1 d x i π i ) m o d T h(\mathbf{x}) = (\bigoplus_{i=1}^d x_i \pi_i) \mod T h(x)=(i=1⨁d​xi​πi​)modT 这里d=4是顶点数，x是坐标， π \pi π是一个很大的质数，为了让坐标的每一维在计算时都能产生巨大的差异，从而打乱空间顺序，减少“空间聚集性”导致的冲突（就是哈希的原理）， ⨁ \bigoplus ⨁是按位异或
• 双线性插值 (Interpolation)：根据 x \mathbf{x} x 在当前格子内的相对位置，对 4 个顶点的哈希特征向量进行线性插值，得到该层分辨率下的特征。
• 特征拼接 (Concatenation)：将所有 L L L 层得到的特征向量拼接在一起，输入给一个非常小的 MLP（通常只有 2 层）解码回图像像素值。

下面分步骤讲解代码实现：

双线性插值

classImage(torch.nn.Module):def__init__(self, filename, device):...# load a tensor/imagedefforward(self, xs):with torch.no_grad():# Bilinearly filtered lookup from the image. Not super fast,# but less than ~20% of the overall runtime of this example. shape = self.shape xs