https://kairosxy.cn/tags/%E5%A4%A7%E6%A8%A1%E5%9E%8B/ Recent content in 大模型 on zz.blog Hugo zh-CN Wed, 29 Jul 2026 00:00:00 +0000 https://kairosxy.cn/posts/llm-precision/ Wed, 29 Jul 2026 00:00:00 +0000 https://kairosxy.cn/posts/llm-precision/ <h2 id="一定点数-与-浮点数核心区别">一、定点数 与 浮点数（核心区别）</h2> <h3 id="1-什么是定点数fixed-point">1. 什么是定点数（Fixed Point）</h3> <p><strong>定义</strong> 定点数表示方式的核心特点是：</p> <blockquote> <p><strong>小数点位置是固定的</strong></p></blockquote> <p>计算机内部存的是一个整数，而真实数值由一个<strong>固定的比例关系</strong>解释。</p> <p><strong>表示方式（直觉）</strong></p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-fallback" data-lang="fallback"><span class="line"><span class="cl">真实值 = 存储的整数 × 缩放因子 </span></span></code></pre></div><p>例如规定：</p> <ul> <li> <p>缩放因子 = 0.1</p> </li> <li> <p>那么：</p> <ul> <li>存 15 → 表示 1.5</li> <li>存 1 → 表示 0.1</li> </ul> </li> </ul> <p>INT8 / INT16 / INT32 都属于定点数体系。</p> <p><strong>本质特点</strong></p> <ul> <li>所有数共用一个尺度</li> <li>精度和范围无法同时兼顾</li> <li>数值分布一旦变化就容易失真</li> </ul> <p><strong>在神经网络中的问题</strong></p> <ul> <li> <p>神经网络中同一 tensor 内：</p> <ul> <li>可能同时存在非常小的数和非常大的数</li> </ul> </li> <li> <p>固定尺度无法适配这种变化</p> </li> </ul> <hr> <h3 id="2-什么是浮点数floating-point">2. 什么是浮点数（Floating Point）</h3> <p><strong>定义</strong> 浮点数的核心思想是：</p> <blockquote> <p><strong>允许小数点“浮动”，让数值大小和精细程度分开表示</strong></p></blockquote> <p><strong>基本结构</strong></p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-fallback" data-lang="fallback"><span class="line"><span class="cl">[ 符号位 ][ 指数位 ][ 尾数位 ] </span></span></code></pre></div><ul> <li>符号位：正 / 负</li> <li>指数位：数量级（决定“有多大”）</li> <li>尾数位：有效数字（决定“有多准”）</li> </ul> <p><strong>直觉理解</strong> 浮点数本质等价于科学计数法：</p>