为何说UE8M0违反物理定律局部性原理？

info 核心问题：UE8M0的设计如何导致"1旁边是10亿"的极端数值分布，从而违反局部性原理？

1. 局部性原理在深度学习中的含义

局部性原理是计算机科学中的基本概念，在深度学习中有两个关键方面：

location_on 空间局部性

相邻参数（权重、激活、梯度）数值应该接近，这样用同一组量化参数（scale、zero-point）才不会产生过大误差。

trending_up 梯度局部性

反向传播时，相邻参数的梯度量级相近，才能保证数值稳定性，不会"梯度爆炸/消失"。

局部性原理示意图

局部性原理示意图：程序的基本块在内存中的分布及其控制流

2. UE8M0格式介绍

UE8M0是一种特殊的FP8格式，主要用于MXFP8中的缩放因子：

FP8格式定义
UE8M0 = U(无符号) + E8(8位指数) + M0(0位尾数)

lightbulb 关键特性：

在MXFP8中，UE8M0通常不直接用于存储计算数值，而是作为缩放因子(Scale)，与其他FP8格式（如E4M3或E5M2）配合使用。

MXFP块和MXFP格式解释

MXFP块和MXFP格式解释

3. UE8M0的"tile共用scale"如何打破局部性

warning 核心问题：UE8M0的设计会导致同一个缩放因子覆盖的128个权重大小差异巨大，出现"1旁边是10亿"的极端不连贯数值分布。

3.1 tile大小与缩放因子

3.2 极端场景示例

假设一个tile里：

为了包住最大值，scale必须取2^(+20)。结果最小值被量化到2^(−30)的FP8表示，下溢成0。

于是出现「1旁边是10亿」：前一个权重真实值1被量化成0，后一个权重10亿被量化成1。

3.3 梯度灾难

error 数值不稳定表现：

梯度下降算法示意图

梯度下降算法示意图

4. 为什么说这"违反"物理局部性

物理局部性要求「局域参数可比」：在相互作用尺度内，物理量不能突变

UE8M0的tile共用scale相当于人为制造了一个远大于物理相互作用尺度的"量化单元"，导致局部不可比。

因此，从数值模拟角度看，它违背了"局部参数变化要平滑"这一物理先验，也就"违反"了局部性原理。

量化误差示例代码 (C语言)
#include <math.h>
#include <stdio.h>

int main() {
    // 假设tile中有两个相邻的权重值
    float weight1 = 1.0f;      // 第一个权重
    float weight2 = 1e9f;     // 第二个权重（10亿）
    
    // UE8M0缩放因子必须覆盖最大值
    float scale = powf(2.0f, 30.0f);  // 2^30，足够覆盖10亿
    
    // 量化过程
    float quantized_weight1 = weight1 / scale;  // 接近0，下溢
    float quantized_weight2 = weight2 / scale;  // 接近1
    
    // 反量化过程
    float dequantized_weight1 = quantized_weight1 * scale;  // 仍然是0
    float dequantized_weight2 = quantized_weight2 * scale;  // 接近10亿
    
    // 结果：相邻的权重值从(1, 10亿)变成了(0, 10亿)，局部性被破坏
    printf("原始权重: weight1 = %f, weight2 = %f\n", weight1, weight2);
    printf("量化后权重: quantized_weight1 = %f, quantized_weight2 = %f\n", 
           quantized_weight1, quantized_weight2);
    printf("反量化后权重: dequantized_weight1 = %f, dequantized_weight2 = %f\n", 
           dequantized_weight1, dequantized_weight2);
    
    return 0;
}

5. 结论

summarize 一句话总结：

UE8M0的"超大tile + 单一scale"设计，在极端权重分布下会制造「1旁边是10亿」的数值悬崖，破坏了相邻参数的数值连续性，从而与局部性原理冲突，导致梯度计算失稳。

lightbulb 可能的解决方案：