一步一步理解大模型：模型量化技术1-简介_大模型量化等级是什么意思-程序员宅基地
模型量化（Quantization）是一种用来减少模型大小和提高模型运行速度的技术。
默认情况下，模型使用32位浮点数进行所有预测计算，这也使得模型变得非常大。我们可以通过进行一些舍入操作，基本上达到接近正确的答案，这样可以在不损失太多精度的情况下，使模型变得更小。
具体而言，假设我们的模型参数都是从0到1的之间的数，如果用一个比特来储存，你只能储存两个数0和1， 如果增加一个比特，你就有4种方法来表示从0到1之间的范围：
| 比特 | 代表的值 |
| 00 | 0 |
| 01 | 0.33 |
| 10 | 0.66 |
| 11 | 1 |
值的间隔为0.33.
再增加一个比特，你就有8种方法来表示这个范围：
| 比特 | 代表的值 |
| 000 | 0 |
| 001 | 0.125 |
| 010 | 0.25 |
| 011 | 0.375 |
| 100 | 0.5 |
| 101 | 0.625 |
| 110 | 0.875 |
| 111 | 1 |
值的间隔为0.125
依此类推，你有2的n次方种方法来表示这个范围，这里的n就是比特的位数。值的间隔就是
1 / pow(2,n)现在，我们把这个0到1之间的范围称为一个权重，看成一片连续的水面，上面表中的值看成一个一个的“落脚点”。
假设我们有一个特定的值，该权重在某个“落脚点”处"激活"。简单的说，激活的意思就是如果这个靠近的某个落脚点，就把它算成某个落脚点的值. 在训练模型的时候，机器会调整这些权重，这些权重会用某个落脚点的值来表示。
比如，我们有一个权重，它被训练成在0.12的时候时激活。如果是8位比特来表示，阈值的间隔为 1 / pow(2,8) = 0.00390625
那么权重会在哪里激活呢，会在0.12109375的地方激活，如下表所示：
| 阀门 | 权重 |
| 。。。 | |
| 0.12109375 | 0.12 |
| 0.125 | |
| 。。。 |
如果用4位比特来表示，权重会在0.125的的地方激活：
| 阀门 | 权重 |
| 。。。 | |
| 0.625 | |
| 0.125 | 0.12 |
| 。。。 |
那么二者的精度相差多少呢？
我们先比较两者的绝对精度，用8位比特表示0.12时候，精度为
0.12 / 0.12109375 = 0.9909677419354839
用4位比特表示的时候，精度为：
0.12 / 0.125 = 0.96,
二者的比值为：
0.96 / 0.9909677419354839 = 0.96875 约为97%，也可以说损失的精度大约为3%
就是说，你仅用少量的精度损失的代价节省了大量的存储空间，是非常划算的。
当然对于不同的数字，损失的精度是不同的。总的来看，模型量化的精度损失取决于多种因素，包括所使用的量化策略、模型的特性，以及实际应用中的需求等。以下是一些常见的量化方法有：
16-bit量化，也叫半精度浮点数，也叫做FP16量化，精度损失通常非常小，很多情况下几乎可以忽略不计。这使得FP16成为许多深度学习任务中的优选量化策略，特别是在需要在GPU上进行大规模计算时。
8-bit量化：8-bit（INT8）量化可能会导致一些精度损失，但通常能够控制在可接受的范围内。在许多任务中，INT8量化后的模型精度与原始模型相比，精度下降往往在1%以内。
4-bit量化：对模型进行4-bit（INT4）量化，精度损失可能会相对更大。一些先进的量化策略已经能够将精度损失控制在个位数百分点范围内。
智能推荐
计算机的外围设备简介_计算机外围固定-程序员宅基地
文章浏览阅读6.1k次，点赞3次，收藏5次。外围设备介绍计算机的外围设备（简称外设）虽然很多，但按功能分大类只有四类：输入、输出、存储、网络通讯。有些专业计算机需要的外围设备也不尽相同，并不都需要这四类外围设备。外围设备可以按需要组装，有些专业计算机甚至可以将存储设备和主芯片集成到一片芯片上，从而不再需要外加存储设备。最早的计算机（那时还只能称为计算器，只能做简单运算，如ABC机和ENIAC机）输入只是一些拨码开关，只能输入数字（还得是二进_计算机外围固定
java 图片中加文字_java怎么在图片上加文字-程序员宅基地
文章浏览阅读1.5k次。java 图片中加文字_java怎么在图片上加文字
GBase8cGDCA认证模拟题题库（三）_如果需要打开delete语句的审计功能,需要开启下面哪个参数-程序员宅基地
文章浏览阅读720次，点赞20次，收藏6次。B 选项，在创建模式时，可以不指定模式名。C 选项，兼容模式可选值为 AB、C、PG.安装GBase 8c分布式集群时所需的配置文件gbase.yml，在解压GBase8cV5 S3.0.0BXX CentOS x86 64.tar.bz2压缩包生成的目录中得到。真值的有效文本值是: TRUE、t、"true'、y、yes'、"1'TRUE'、true、整数范围内1~2^63-1、整数范围内-1~-2^63。GBase 8c 使用create table 创建表时，不指定参数，默认是astore，行存表。_如果需要打开delete语句的审计功能,需要开启下面哪个参数
xml文件中几个名词_xml文件里面的名词-程序员宅基地
文章浏览阅读334次。1 xmlns是XML Namespaces的缩写，中文名称是XML(标准通用标记语言的子集)命名空间。 web-app是web.xml的根节点标签名称 version是版本的意思 xmlns是web.xml文件用到的命名空间 xmlns:xsi是指web.xml遵守xml规范 xsi:schemaLocation是指具体用到的schema资源_xml文件里面的名词
【OpenGL】中点圆、椭圆生成算法_用setpixel函数中点画圆算法代码c++-程序员宅基地
文章浏览阅读1.6w次，点赞12次，收藏69次。OpenGL 中点圆、椭圆生成算法_用setpixel函数中点画圆算法代码c++
HTML-CSS实现背景图片出现不同的位置_css背景图高度占据一半另一半有别的背景色-程序员宅基地
文章浏览阅读2.1k次。首先在HTML中写入div,命名为img，在这个div中加入一个span标签并命名为img-bg和img50（5星为50）.<div class="img"> <span class="img-bg img50"></span> <span class="img-bg img45"></span> <span class="img-bg img40"></span> </div> 在css代码._css背景图高度占据一半另一半有别的背景色
随便推点
matlab建模DNA双链,PPT绘制科研图形—DNA双链、分子细胞模型-程序员宅基地
文章浏览阅读1.3k次。原标题：PPT绘制科研图形—DNA双链、分子细胞模型 PPT绘制DNA双链 1用矩形工具画一个矩形如下，线条颜色设置为无，填充色如下图蓝色 2选中矩形框，选择菜单栏的“格式—— 编辑形状——转换为任意多边形” 3这个时候再看下“编辑形状”，可以看到“编辑顶点” 已经为可用状态 4点击“编辑顶点“，矩形框四个角变为黑色实点。可以拖动实点变为如下图示。然后在边缘上右键，选择”添加顶点“，添加如下顶点 ..._matlab双螺旋结构模型图怎么画
duilib vs2015 安装_DuiLib（1）——简单的win32窗口-程序员宅基地
文章浏览阅读169次。资源下载https://yunpan.cn/cqF6icWRN5CTc 访问密码 92e3 注：DUILIB库.7z 是vs2015下编译好的动态库及静态库，如上图所示一、新建一个win32工程项目设置中选择：debug，常规中：全程无优化-全程无优化，多线程调试 (/MTd)；我的项目选择的是静态编译，使用的是静态库，就不需要带duilib.dll文件了代码如下：#include #inclu..._vs2015使用duilib
OpenGL: 渲染管线理论详解_通过此次实验你对固定渲染管线的opengl编程有什么了解。-程序员宅基地
文章浏览阅读5k次，点赞4次，收藏13次。学习着色器，并理解着色器的工作机制，就要对OpenGL的固定功能管线有深入的了解。首先要知道几个OpenGL的术语：渲染(rendering)：计算机根据模型(model)创建图像的过程。模型(model)：根据几何图元创建的物体(object)。几何图元：包括点、直线和多边形等，它是通过顶点(vertex)指定的。 最终完成了渲染的图像是由在屏幕上绘制的像素组成的。在内存中，和像素有关的信息（如像素的颜色）组织成位平面的形式，位平面是一块内存区域，保存了屏幕上每个像素的一个位的信息。_通过此次实验你对固定渲染管线的opengl编程有什么了解。
Android MPAndroidChart：动态添加统计数据线【8】_android 动态统计-程序员宅基地
文章浏览阅读3.9k次。Android MPAndroidChart：动态添加统计数据线【8】本文在附录相关文章6的基础上，动态的依次增加若干条统计折线（相当于批量增加数据点）。布局文件：
vmware中的linux虚拟机如何增加磁盘容量_linux虚拟机磁盘空间不足-程序员宅基地
文章浏览阅读6.3k次。vmware中 centos的磁盘大小 20G->30G现象：fdisk -l可以看到增大后的磁盘总量,但是需要增加分区并格式化然后挂载才能使用.一、vmware中的设置先关闭虚拟机vm->settings->hard disk->utilities->expand->输入大小（增加后的大小）二、启动虚拟机，进入命令行1、 fdisk /dev/sda进入命令行Comman_linux虚拟机磁盘空间不足
Hadoop2.7.3下Mysql8.0下Hive2.3.8的安装_hive2.3.8安装-程序员宅基地
文章浏览阅读927次。hive安装前提：1.基于hadoop2.7的完全分布式集群搭建完成hadoop2.7集群搭建2.MySQL8.0安装完成 安装centos7上MySQL8.0Hive2.3.8的安装下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/下滑找到hive点击进去点击hive2.3.9（hive2.3.9和hive2.3.8差别不大）下载画红线的也就是bin.tar.gz后缀的hive解压安装下载完成后通过xftp传到虚拟机上（基操不在赘述）_hive2.3.8安装