量化

一、定点数 与 浮点数（核心区别） 1. 什么是定点数（Fixed Point） 定义 定点数表示方式的核心特点是： 小数点位置是固定的 计算机内部存的是一个整数，而真实数值由一个固定的比例关系解释。 表示方式（直觉） 真实值 = 存储的整数 × 缩放因子 例如规定： 缩放因子 = 0.1 那么： 存 15 → 表示 1.5 存 1 → 表示 0.1 INT8 / INT16 / INT32 都属于定点数体系。 本质特点 所有数共用一个尺度 精度和范围无法同时兼顾 数值分布一旦变化就容易失真 在神经网络中的问题 神经网络中同一 tensor 内： 可能同时存在非常小的数和非常大的数 固定尺度无法适配这种变化 2. 什么是浮点数（Floating Point） 定义 浮点数的核心思想是： 允许小数点“浮动”，让数值大小和精细程度分开表示 基本结构 [ 符号位 ][ 指数位 ][ 尾数位 ] 符号位：正 / 负 指数位：数量级（决定“有多大”） 尾数位：有效数字（决定“有多准”） 直觉理解 浮点数本质等价于科学计数法： ...