null - 程序员宅基地

深度学习修炼（一）线性分类器 | 权值理解、支撑向量机损失、梯度下降算法通俗理解-程序员宅基地

技术标签： python 机器学习深度学习计算机视觉CV

文章目录

1 基本特点
2 训练过程

如图是神经网络训练的一般过程总结图
今天从线性分类器开始
在这里插入图片描述

为什么我们从线性分类器开始?是由于线性分类器的基本特点决定的

1 基本特点

形式简单、易于理解，通过层级结构（神经网路）或者高维映射（支撑向量机）可以形成功能强大的非线性模型。
从某种意义上来说，未来的卷积网络以及更为复杂的网络都离不开线性分类器

线性分类器是一种线性映射，将输入的图像特征映射为类别分数

2 训练过程

2.1 图像预处理

比如张CIFAR10 中每一张图像像素为32×32 ，每一个（采用RGB）像素通道为3，我们首先要将图片转换为一个向量，转换方式多种，现在我们只做简单的转换方式，用一个32×32×3=3072维的列向量来表示我们这张图片。

2.2 线性分类器构造

$f_i(x,w_i)=w_i^Tx+b_i$ $i = 1, ..., c$

x代表输入的d维图像向量这个例子是3072维度的向量
$w_i=[w_{i1},...,w_{id}]^T$ 为第i个类别的权值向量，行数由类别数决定，如以上例子有10类，列数由输入的x向量的维度决定，如以上例子为3072维因而 $w_i$ 的维度为10×3072
$b_i$ 为偏置值。

当我们把一张图片（转换为3072×1的向量），输入到这个式子中，得到每个类下这张图片的分数（10×1的列向量），分数越高，是该类别的可能性就越大
在这里插入图片描述

然后我们就需要让模型不断优化这些参数，使得最后正确的类别的分数尽可能高
在线性模型的例子中，我们本质学习到什么？就是上图的这个W矩阵 ! 也就是分类器的权值，优化模型也就是优化这里的权值
那边该怎么理解这个权值呢？

2.2.1多角度理解我们分类器的权值W

理解线性分类器的角度一

线性分类器的w权值信息，其实就是训练样本的平均值，统计信息，是每一类别的一个模板。由于W也是3072维的，因而我们可以进行权值模板的可视化

我们可以把它显示为32×32×3的图片，这时候就会得到10张图片，对应10类，我们实际上是将权值W可视化，观察我们可以发现：每一类其实就是该类下各个图片的一个均值，一个统计信息，如果我们新输入的图片和某一类模板相似，就会导致该类模板对应的额分数更高。

比如这里的W8代表马类，观察到两个马头，一个朝左，一个朝右，为什么呢？因为训练样本中就有的马头朝左，有的马头朝右

在这里插入图片描述

理解线性分类器权值角度二

如图，我们实际上就是要找一些分界面，来把不同类比的分开，如下面的红蓝绿线

我们距离线越远，他的得分越高，也就意味着相应的类别特征越明显
距离线越近，得分越低，也就类别特征越模糊

分数等于0的相当于一个决策面分界面。

w控制着线的方向，b控制着分界面的偏移

在这里插入图片描述
但是真实世界中的数据集往往都不是线性可以分开的，线性网络表现会很差
所以在此基础上有很多非线性操作进行改进，如多层感知机，卷积等

2.3 损失函数计算损失值

我们要优化模型参数，就离不开损失函数的帮助

2.3.1 损失函数定义

什么是损失函数呢？

比如我们的真实值是猫咪，设有两组权值他们对于猫咪的预测的分数都是最高的，但我们权值一预测猫咪的分数是900分，权值二预测的分数是100分，很明显权值一更好，因而我们就是通过损失函数来定量的展现这样的差异。

它搭建了模型性能与模型参数之间的桥梁，指导模型参数的优化，

它其实是预测值与真实值的不一致程度，量化了这个指标，我们把它称为损失值，损失值越大，不一致程度越大，也就预测的越不准确

我们的每一次学习结束后，都可以对应得到一些新的参数，我们检测新的参数的好坏。

可以拿一百张新的图像去测试，然后把每一张图片的测试结果都对应得到一个损失值，把这一百个损失值加起来除以测试总数一百，就得到我们平均的损失值。反映了这一组参数的整体的水平，抽象为数学表达式为

$L=\frac{1}{N}\sum(L_i)$

$L_i$ 为单张图片的损失值

损失函数有很多，先举一个例子

2.3.2 损失举例：多类支撑向量机损失

单样本的多类支撑向量机损失

$L_i=\sum{max(0,s_{ij}-s_{yi}+1)}$

如何直观理解多类支撑向量机损失？

如果模型给正确类别打的分数比给错误类别的分数高1分及以上，这时损失函数返回为0。
否则的话就是把模型给错误类别的分数加上1分减去我们正确类别的分数就是我们得到的损失值。
看个例子就明白了
横行是模型给一张图的类别判断，分越高，模型觉得图形是哪一类

在这里插入图片描述

如上

第一行的正确类为鸟类，模型给错误类猫类分数比鸟类分数高2.9 超过一分，该项损失值为0，但对于汽车类模型没有高超过一分（反而低），因而错误的汽车类分数+1得到2.9再减去正确类鸟类的分数0.6等于2.3 1.9+1-0.6=2.3 总损失0+2.3=2.3
第二行的正确类为猫类，比错误类鸟类分数高超过一分，该项损失值为0，但对于汽车类没有高超过一分，因而错误的汽车类分数+1得到3.3再减去正确类猫类的分数2.9等于0.4 2.3+1-2.9=0.4 总损失0+0.4=0.4
第三行的正确类为汽车类，比其他错误类的分数都大于一分，因而总损失为零

2.3.3 优化损失函数

即便有了损失值，有时候我们也会出现损失值一模一样的情况，这时候如何评定参数好坏呢？就是通过添加包含超参数正则项损失其中 $\lambda$ 是超参数（超参数不通过学习设置的参数，预先人为设定好的参数）这个超参数的作用是控制着正则项损失在总损失中占得比重

$\lambda$ 为0的时候只依靠前面的损失函数
$\lambda$ 为无穷的时候仅考虑正则项损失

$L=\frac{1}{N}\sum(L_i)+\lambda R(W)$

正则项具体可以分为：

L1 正则项把权值矩阵W的每个元素取绝对值后再相加

L2 正则项把权值矩阵W的每个元素先平方再相加

如何直观理解正则项

正则项对于大数权值进行惩罚，喜欢分散权值，鼓励分类器将所有维度的特征值用起来。而不是强烈的依赖其中少说的几维特征。防止模型训练的太好，过拟合（即只能学会自己的数据）。

使得每个维度的特征运用起来，有什么意义呢？

避免受到噪声影响，假设它强烈依赖某一维度，那么一但那一维度受到噪声污染，判断就会严重错误，而如果分散权值，那么即便某一维度受到影响，也不影响整体判断
还有避免模型产生偏好，对某一维度的特征喜欢，产生记忆，因而也就会产生过拟合，所以正则项的一个重要作用就是防止过拟合！！！

我们目前更多地是使用L2正则项，原因是计算方便

不过L1损失函数也有优点，就是L1对于异常值更不敏感，鲁棒性更强

2.4 优化算法

2.4.1 优化的定义？

是机器学习的核心步骤，利用函数的输出值作为反馈信号来调整分类器参数，以提升分类器对训练样本的预测性能。

实际上我们就是要找使得损失函数的值是最小的那一组参数！！！而我们对这类问题并不陌生，高中的时候学习导数的时候讲过求最值问题，实际上是要找一些导数为零的点，这些导数为零的点中就有我们的最小值点。

假如我们只有一个参数W,且损失函数是

$L=W^2+2W+1$

我们想要使得损失函数最小，我们可以很轻松知道是在W=-1的位置

但是实际问题中，我们的损失函数L往往非常复杂，同时W也十分庞大，如下图一个简单的线性模型，他的要学习的W的参数量就达到了10*3072维=30720。直接求导数为零的点就会变得十分困难，所以我们通过梯度下降算法来使得损失减小。
在这里插入图片描述

2.4.2 梯度下降算法

它是其中的一种简单而高效的优化算法

设想我们被遮住了双眼，被困在一个寂静的山谷，我们只知道只能在山谷最低的地方才有机会存活下来。我们该怎么办

唯一的办法是四处摸，找到向下的路，然后一点一点从高处移动到低处。
在这里插入图片描述

这便是梯度下降算法的核心思想

我们需要把全部训练数据样本传入我们的分类器，这时候他就会根据我们的输出类别分数的好坏去调整参数W

相当于此时我们是 $L(W{_i})$ 自变量是W,因变量是损失值L

我们只需要解决两个问题

往哪走？

负梯度方向，也就是向导数为负数且变化最快的点走，导数为负的点可以让函数值减小，也就是损失减小

走多远？

步长（也就学习率）来决定，步长也是我们的认识到的第二个超参数

因而我们把问题由找到导数为零的点转换为求某一点的梯度， $\frac{\partial f}{\partial W_{i}}$ 进而来不断更新权值

权值的梯度 <=计算梯度（损失，训练样本，权值）

权值 <=权值-学习率*权值的梯度

如何来求某一点的梯度呢？也就是在一个已知一个权值矩阵的基础上如何确定他的梯度

1、数值法

也就是利用求导的定义式，所以求得的是一个近似值

数值法求梯度主要用于检验解析梯度是否正确

2、解析法

求这一点的导数，然后代入这一点的值

但这有一个问题，我们每次迭代计算都得把样本中的每一个数据都算一遍！当数据集样本足够大的时候，运算速度就会很慢，因而我们采用以下的方式改进

2.4.3 随机梯度下降算法

也就是我们这次不参考全部样本，而是从样本集合中随机抽取一个来更新。这样就会计算很多了，但是这样有一个问题，就是可能会抽取到噪声等一些不太好的样本，这时候会把我们带偏，但是这种方法依然可行，因为在大量抽样的情况下，整体还是向着梯度下降的方向去的。

2.4.4 小批量梯度下降算法

既然全部抽取速度太慢，部分抽取又可能会不稳定，那我们很容易想到取中间，也就是说我们随机抽取m个样本，计算损失并更新梯度。

这样的话我们计算效率会更高，同时也会更稳定！！！

梯度下降算法（Gradient Descent)的原理和实现步骤 - 知乎 (zhihu.com)

[梯度下降算法原理讲解——机器学习_zhangpaopao0609的博客-程序员宅基地_梯度下降](

本文链接：https://blog.csdn.net/Q52099999/article/details/129132479

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

【PyQt5】Python在PyQt5中使用ECharts绘制图表_pyqt5 pyecharts-程序员宅基地

文章浏览阅读6k次，点赞2次，收藏33次。Python在PyQt5中使用ECharts绘制图表_pyqt5 pyecharts

将本地网站发布到服务器上_网页发布-程序员宅基地

文章浏览阅读1.5k次，点赞2次，收藏4次。将静态的网页部署到服务器上，首先需要下载一个xftp，帮助我们上传文件；以及它的服务端xshell帮助我们重启服务器1，首先与服务器建立连接2，要想把我们的静态网页发布到服务器上，前提是我们的服务器安装了nignx,完成这些以后把我们本地的网页文件夹上传到/usr/local/nginx/html的路径下3，文件上传成功后，还需要我们修改nignx的配置文件，打开/usr/local/ng..._网页发布

java.net.ConnectException: no available server-程序员宅基地

文章浏览阅读2.1w次，点赞8次，收藏10次。我出现这个错误是因为没有加载我的配置文件在这里插入图片描述可以看到我上图打印的是连接我本地的nacos,并且连接超时但实际我的配置文件并不是配置的本地，看下图这就是典型的没有加载解决办法：完成这些就能加载到配置文件了..._no available server

请求大佬帮忙看看VScode Tensorflow model.fit 报错_model.fit报错use_multiprocessing=use_multiprocessing-程序员宅基地

文章浏览阅读1k次。import numpy as npimport tensorflow_core as tffrom tensorflow.keras.layers import Dense, SimpleRNNimport matplotlib.pyplot as pltimport osinput_word = "abcde"w_to_id = {'a': 0, 'b': 1, 'c': 2, 'd': 3, 'e': 4} # 单词映射到数值id的词典id_to_onehot = {0: [1.,._model.fit报错use_multiprocessing=use_multiprocessing

chapter04-程序员宅基地

文章浏览阅读152次。1、创建/guanli 目录，在/guanli下创建zonghe 和 jishu 两个目录（一条命令）[root@localhost ~]mkdir -p /guanli/{zonghe,jishu}2、添加组帐号zonghe、caiwu、jishu，GID号分别设置为2001、2002、2003[root@localhost ~]# groupadd -g 2001 zon..._在chapter04的包cn.itcast.chapter04.prsponse

字符串_空串是什么都没有字符串吗-程序员宅基地

文章浏览阅读362次。串的定义串是字符串的简称。在数据结构中，串是一种在数据元素的组成上具有一定约束条件的线性表，即要求组成线性表的所有数据元素都是字符，所以说串是一个有穷的字符序列。串是由零个或多个字符组成的有限序列，记作s=”s0s1…sn-1”(n≥0)，其中s是串名，字符个数n称作串的长度，双撇号括起来的字符序列”s0s1…sn-1”是串的值字符串(String)是由数字、字母、任何其它的符号组成的一串字符。零个字符的串（即：""）称为空串，空串不包含任何字符。值得注意的是：（1）长度为1的空格串" “不等同于_空串是什么都没有字符串吗

随便推点

c++中字符、字符串和数字间的转换_c++string字符变ascii-程序员宅基地

文章浏览阅读701次，点赞3次，收藏5次。1、字符的ASCII码：获取字符ASCII码：(int)a或int m=a;获取ASCII对应的字符：(char)m或char a=m;字符之间相加减，就是ASCII的加减：int n=a-b;得到的n就是ASCII码，对应的字符为(char)n;2、字符串和数字间的转换：#include<sstream>#include<string>using namespace std;int main(){ double a = 123.32; _c++string字符变ascii

【SQL注入漏洞-04】布尔盲注靶场实战_oracle布尔盲注-程序员宅基地

文章浏览阅读6.5k次，点赞4次，收藏3次。当我们改变前端页面传输给后台sql参数时，页面没有显示相应内容也没有显示报错信息时，不能使用联合查询注入和报错注入，这时我们可以考虑是否为基于布尔的盲注。利用页面返回的布尔类型状态，正常或者不正常；我们输入的语句让页面呈现出两种状态，相当于true和false，根据这两种状态可以判断我们输入的语句是否查询成功。布尔盲注就是根据这两种状态，来反推我们输入的条件是真还是假。以sqli-labs-masterless-8关为例_oracle布尔盲注

ROS学习（11）使用ROS创建地图_ros建图-程序员宅基地

文章浏览阅读1w次，点赞10次，收藏72次。创建地图是一件比较复杂的工作，ROS利用map_server地图服务器，借助激光雷达和机器人的里程信息来完成这项工作。本篇我们还是利用柳树车库作为默认的地图环境。主要介绍了地图的创建、保存、加载，下一篇尝试配置导航功能包集，并在gazebo仿真环境下完成自定义机器人的自主导航。httpshttpshttpshttps。..._ros建图

自定义Magento页标题与Meta描述_magento seo suite 自定义 meta description-程序员宅基地

文章浏览阅读3.2k次。在Magento中，CMS页、产品页、分类页均可以设置Meta keywords与Meta Description。但在其它页面上如何设置呢？例如今天SEO团队发来文档，要求修改Checkout页、MyAccount页、Login页、Contact页等等的页标题与Meta描述部分。于是第一反应就是用XML来配置.另：在System-Configration-Design-Html-_magento seo suite 自定义 meta description

【PTA-python】第4章-15 换硬币 (20 分)_pta换硬币python-程序员宅基地

文章浏览阅读1.3k次。第4章-15 换硬币分析题目解法分析为了实现各个硬币数目>=1，range()函数设定倒序范围，先求五分硬币数目，再求二分硬币数目，最后求一分硬币数目，注意在往下递推求解的过程中，各个硬币数目的条件是>=1，这影响到range(five,0,-1)和if one>=1:题目将一笔零钱换成5分、2分和1分的硬币，要求每种硬币至少有一枚，有几种不同的换法？输入格式:输入在一行中给出待换的零钱数额x∈(8,100)。输出格式:要求按5分、2分和1分硬币的数量依次从大到小的顺序_pta换硬币python

firewall限制或开放IP及端口命令_firewall-cmd --zone=public --list-ports-程序员宅基地

文章浏览阅读1w次，点赞6次，收藏23次。一、查看防火墙状态1、首先查看防火墙是否开启，如未开启，需要先开启防火墙并作开机自启systemctl status firewalld开启防火墙并设置开机自启systemctl start firewalldsystemctl enable firewalld一般需要重启一下机器，不然后面做的设置可能不会生效二、开放或限制端口1、开放端口（1）如我们需要开启XShell连接时需要使用的22端口firewall-cmd --zone=public --add-port=22/tcp _firewall-cmd --zone=public --list-ports