这是一份高中生都能看懂的线性代数简介(史上最详细)_线性代数高中学,大学还学-程序员宅基地

技术标签: 算法  矩阵  机器学习  杂项专栏  线性代数  人工智能  

线性代数的概念对于理解机器学习背后的原理非常重要,尤其是在深度学习领域中。它可以帮助我们更好地理解算法内部到底是怎么运行的,借此,我们就能够更好的做出决策。所以,如果你真的希望了解机器学习具体算法,就不可避免需要精通这些线性代数的概念。这篇文章中,我们将向你介绍一些机器学习中涉及的关键线性代数知识。

基本介绍

  1. 线性代数是一种连续形式的数学,被广泛应用于理工类学科中;因为它可以帮助我们对自然现象建模,然后进行高效的计算。但是,由于线性代数是一种连续而非离散的数学,因此,很多计算机科学家都不太了解它。另外,线性代数还在几乎所有的数学学科中都拥有着核心地位:例如几何学和泛函分析。

  2. 线性代数中的概念是理解机器学习理论所必需的基础知识,尤其是对那些处理深度学习算法的人而言。在刚接触机器学习时,你可以不需要掌握线性代数。但到了一定程度后,当你希望更好地理解不同机器学习算法运作原理时,线性代数就很有用了,它可以帮助你在开发机器学习系统时更好地做决策。

  3. 在线性代数中,我们使用线性方程来表示数据,并把它们写成矩阵或向量的形式。因此,基本上你都是在与矩阵和向量打交道,而不是标量(我们会在文章的稍后部分介绍这些概念)。如果你能够想到使用一个合适的库,比如 NumPy,你就可以通过简短的几行代码,轻松实现复杂的矩阵乘法。请注意,这篇文章忽略了那些对机器学习并不重要的线性代数概念。

数学对象

在这里插入图片描述

  1. 标量
    标量就是一个简单的数,比如 24。

  2. 向量
    向量是一个有序数组,能够写成一行或者一列的形式。向量只包含一个索引,用来表示向量中的某个特定元素。比如 V_2 表示向量中的第二个元素,在上面淡黄色的图中是-8。
    在这里插入图片描述

  3. 矩阵
    矩阵是一个有序的二维数组,有两个索引。第一个索引表示行,第二个索引表示列。例如,M_23 表示的是第二行、第三列的元素,在上面淡黄色的图中是 8。矩阵可以有多个行或者列,注意一个向量也是一个矩阵,但仅有一行或者一列。在这里插入图片描述

  4. 张量
    三维张量是按照一定规律排列在方格中的数组,其中一个变量数字表示轴。张量有三个索引,其中第一个索引表示行,第二个索引表示列,第三个索引表示轴。例如,V_232 指向第二行、第三列、第二轴的元素,在下图右边的张量中表示 5。在这里插入图片描述
    张量是上面谈到的概念中最常用的一个,因为张量是一个多维数组,同时可以是一个向量或者一个矩阵,具体取决于它的索引数量。例如,一阶张量可以表示向量(1 个索引),二阶张量可以表示矩阵(2 个索引),三阶就是张量(3 个索引),更高阶的称为高阶张量(超过 3 个索引)

运算法则

  1. 矩阵和标量的计算
    如果你在一个矩阵上加、减、乘、除一个标量,你所做的就是直接对矩阵的每个元素进行这些数学运算。下图给出了矩阵数乘的一个很好的例子。
    在这里插入图片描述

  2. 矩阵和向量的运算
    对一个矩阵乘以一个向量,可以理解为对矩阵的每一行乘以向量的每一列,运算结果会是一个向量,它的行数和矩阵的行数一样。
    为了更好地理解这个概念,我们详细讲解一下第二张图中的计算步骤。为了得到结果向量中的第一个元素 16,选择拿来和矩阵相乘的向量中的元素 1 和 5,把它们与矩阵第一行中的元素 1 和 3 相乘,像这样:11 + 35 = 16。对矩阵第二行的元素进行相同的计算:41 + 05 = 4。同样,再计算矩阵第三行的元素:21 + 15 = 7。
    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

  3. 矩阵间的加减法
    矩阵间的加减法非常简单直接。这里要求,两个矩阵需要维度相同,运算结果也会是一个相同维度的矩阵。你只需要将第一个矩阵中的每 一个元素和第二个矩阵中对应位置的元素相加或者相减就可以了。在这里插入图片描述

  4. 矩阵间的乘法
    如果你知道如何计算矩阵和向量间的乘法,矩阵间的乘法就也简单了。注意,只有当第一个矩阵的列数和第二个矩阵的行数相等时,才能把它们两个乘起来。运算结果会是一个矩阵,行数和第一个矩阵的行数相等,列数和第二个矩阵的列数相等。(A42 * B27 = C47)
    计算方法如下:
    你只需要将第二个矩阵分成列向量,然后分别将第一个矩阵和每个列向量相乘。然后,将运算结果拼接成一个新的矩阵(不要把它们加起来!)。下图逐步展示了计算过程:在这里插入图片描述
    在这里插入图片描述
    矩阵的乘法性质
    矩阵乘法拥有一些性质,根据这些性质,我们可以将大量计算整合成一个矩阵乘法。在下面我们会依次讨论这些性质。为了便于理解,我们会先用标量来解释这些性质,然后再使用矩阵形式。

    交换律
    数乘满足交换律,但矩阵乘法并不满足。这意味着,当我们在将两个标量乘在一起的时候:7×3 和 3×7 的结果是一样的,但当我们将两个矩阵相乘起来的时候:A×B 并不等于 B×A。

    结合律
    数乘和矩阵乘法都满足结合律。这意味着,数乘 3×(5×3)等于(3×5)×3,同时矩阵乘法 A×(B×C)等于(A×B)×C。

    分配律
    数乘和矩阵乘法都满足分配律。这表示,数乘 3×(5+3)等于 3×5+3×3,而矩阵乘法 A×(B+C)等于 A×B +A×C。

单位矩阵

单位矩阵是一种特殊的矩阵,不过首先,我们需要定义什么是「单位」。数字 1 是一个「单位」,因为任何数乘以 1 都等于它自身。因此,任何矩阵乘以一个单位矩阵都应该等于它自己。例如,矩阵 A 乘以单位矩阵还等于矩阵 A。
单位矩阵的主对角线元素都是 1,其余元素都是 0,你可以根据这个性质得到一个单位矩阵。同时它也是一个「方阵」,这表示它的行数和列数是相等的。在这里插入图片描述
我我们之前说,矩阵乘法不满足交换律,但这里有一个例外:将一个矩阵和一个单位矩阵相乘。因此,下式是成立的:A × I = I×A = A。

矩阵的逆和转置

矩阵的逆和矩阵的转置是两种矩阵特有的性质。同样的,我们首先在实数上讨论这些性质,然后再使用在矩阵中。

  1. 逆运算
    首先,什么是逆(倒数)? 一个数乘以它的逆(倒数)等于 1。注意,任何非零的数都有倒数。如果将矩阵和它的逆矩阵相乘,结果就应该是单位矩阵。下面的例子展示了标量的逆(倒数):在这里插入图片描述

不过,并不是每个矩阵都有逆矩阵。如果一个矩阵是方阵,而且它可逆,就可以求出它的逆矩阵。很遗憾,讨论什么矩阵可逆超出了这篇文章的范围。
我们为什么需要逆矩阵呢?这是因为我们不能计算用矩阵相除,并没有「除以矩阵」的定义,但我们可以用一个矩阵乘以一个逆矩阵,来达到相同的目的。
下图展示了一个矩阵乘以它的逆矩阵,计算结果是一个 2×2 的单位矩阵。
在这里插入图片描述
可以利用 NumPy 轻松计算出一个矩阵的逆矩阵(如果它可逆的话)。

  1. 转置

最后,我们讨论矩阵转置的性质。这基本上就是将一个矩阵沿着 45 度轴线镜像翻转。计算矩阵的转置非常简单,原始矩阵的第一列就是转置后矩阵的第一行,第二列则变成了转置后矩阵的第二行。一个 m×n 的矩阵仅仅是转成了 n×m 的矩阵。同时,矩阵 A 的元素 A_ij 等于转置后矩阵的元素 A_ji。下图展示了矩阵的转置:在这里插入图片描述
总结

在这篇文章中,你接触到了一些机器学习中使用到的线性代数概念。你学会如何对这些对象进行加、减、乘、「除」。另外,你还掌握了矩阵最重要的性质,以及它们为什么可以帮我们得到更有效的计算。在这些知识的基础上,你还学习了逆矩阵和转置矩阵的概念,以及可以如何使用它们。虽然机器学习中还有很多线性代数知识,但这篇文章提供了关于最核心的概念的一些适当介绍。

https://www.lanqiao.cn/courses/2947,提供准备好的云主机ros环境,进行实操,课程包括了 Topic 通讯, Service 通讯,ROS 自定义消息,URDF可视化,TF坐标转换等技术要点。每个技术点都会结合例子先把原理讲解清楚,为了达到学以致用的目的,我们会再进行知识拓展,针对每个技术点实现对应的生动有趣的需求,保证学完后会有很大的收获。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_20550447/article/details/108346454

智能推荐

Manjaro 使用 pacman 安装软件出现 错误:无法从 mirrors.ustc.edu.cn : XXX 错误:无法升级 archlinuxcn (下载数据库出错) 信息_archlinuxcn.db下载失败-程序员宅基地

文章浏览阅读2.4w次,点赞6次,收藏18次。系统:Manjaro 20.0.3桌面:Gnome安装软件时出现错误:无法从 mirrors.ustc.edu.cn : Operation timed out after 10001 milliseconds with 0 out of 0 bytes received 获取文件 'archlinuxcn.db'错误:无法升级 archlinuxcn (下载数据库出错)错误:无法从 lonewolf-builder.duckdns.org : Recv failure: 连接被对方重设 获取._archlinuxcn.db下载失败

技术面试时这样介绍自己的项目经验,等于成功了一大半-程序员宅基地

文章浏览阅读2.9k次,点赞4次,收藏35次。源/头条 文 /程序员界的彭于晏面试时7分靠能力,3分靠技能,而刚开始时的介绍项目又是技能中的重中之重,决定一次面试的成败,那么面试时如果要介绍自己的项目该..._技术面如何将自己做的项目

git生成ssh密钥详细步骤 git如何生成ssh密钥_gitssh密钥生成-程序员宅基地

文章浏览阅读3.7w次,点赞16次,收藏100次。git生成ssh密钥详细步骤 git如何生成ssh密钥_gitssh密钥生成

app账号退不出去_ios企业签名掉签?苹果近日批量封了几百个企业级开发者账号...-程序员宅基地

文章浏览阅读687次。目前苹果基本暂停了新号注册,但今天开始市场会流入大量欧洲国家残留下的号到中国!全是虚假资质注册,使用超不过一个月100%会封号,(群里之前曝光的俄罗斯人所为,目前已下榻深圳某酒店甩卖)!苹果目前严厉查封虚假资质账号,未满14天也会被封的可能,哪怕不买,也不能趁虚而入被坑!熬过了这段时间,以后自然会有新的资质没问题账号下来!  个人 公司账号 查的同时 又把矛头指向了 企业账号?就在刚刚,..._app store 频繁封号

Chai3D之相机视角_chai3d示例-程序员宅基地

文章浏览阅读127次。相机是 3D 可视化中的主要查看工具。它们被放置在世界上并以独特的方式命名。场景中可以存在多个摄像机,每个摄像机都连接到单独的视口(窗口)以向用户显示场景。相机可以查看固定目标,跟随路径,或直接由触觉设备控制(例如模拟内窥镜)。本章探讨使用摄像机并将其连接到窗口显示或视口的基本过程。世界内的摄像机指向场景。近剪裁平面和远剪裁平面定义摄像机渲染的区域。_chai3d示例

Java 文件内容修改(一)_java 修改文件-程序员宅基地

文章浏览阅读5k次,点赞8次,收藏36次。遇到一个需求,需要修改文件中的内容,查找资料发现如下工具类:原链接:点击打开链接/** * 修改文件内容 * * @param fileName * @param oldstr * @param newStr * @return */ private static boolean modifyFileContent(String fileName, String o..._java 修改文件

随便推点

为什么linux安装程序 都要放到/usr/local目录下_linux 的软件为什么要安装到/usr/local 下-程序员宅基地

文章浏览阅读4.9k次,点赞2次,收藏5次。Linux 的软件安装目录是也是有讲究的,理解这一点,在对系统管理是有益的/usr:系统级的目录,可以理解为C:/Windows/,/usr/lib理解为C:/Windows/System32。/usr/local:用户级的程序目录,可以理解为C:/Progrem File..._linux 的软件为什么要安装到/usr/local 下

【哈士奇赠书活动 - 24期】-〖前端工程化:基于Vue.js 3.0的设计与实践〗_程沛权 博客-程序员宅基地

文章浏览阅读3.6k次,点赞132次,收藏98次。【哈士奇赠书活动 - 24期】-〖前端工程化:基于Vue.js 3.0的设计与实践〗_程沛权 博客

聊聊Git的使用方法_rsa key fingerprint is sha256:jok3fh7q5lj6qve7ipne-程序员宅基地

文章浏览阅读226次。Git克隆项目克隆项目代码git clone ssh地址若出现密钥问题The authenticity of host 'git.dev.tencent.com (118.25.166.124)' can't be established.RSA key fingerprint is SHA256:jok3FH7q5LJ6qvE7iPNehBgXRw51ErE77S0Dn+Vg/I..._rsa key fingerprint is sha256:jok3fh7q5lj6qve7ipnehbgxrw51ere77s0dn+vg/ik. a

强化学习(reinforcement learning)教程_强化学习教程-程序员宅基地

文章浏览阅读3.4w次,点赞2次,收藏29次。前一阵研究强化学习,发现中文的资料非常少,实例就更少。于是翻译一篇q学习算法的教程,供需要的人学习。原文链接:http://mnemstudio.org/path-finding-q-learning-tutorial.htm正文:Q学习算法是一种用来解决马尔可夫决策过程中最优化问题的方法。Q学习算法最大的特点是它具有选择瞬时奖励和延迟奖励的能力。在每一步中,agent通过观察状态_强化学习教程

字节跳动安全Ai挑战赛-小样本赛道方案总结_小样本赛题数据-程序员宅基地

文章浏览阅读3.8k次。1 赛题描述在真实的社交网络中,存在的作弊用户会影响社交网络平台。在真实场景中,会受到多方面的约束,我们仅能获取到少部分的作弊样本和一部分正常用户样本,现需利用已有的少量带标签的样本,去挖掘大量未知样本中的剩余作弊样本。给定一段时间内的样本,其中包含少量作弊样本,部分正常样本以及标签未知的样本。参赛者应该利用这段时间内已有的数据,提出自己的解决方案,以预测标签未知的样本是否为作弊样本。数据处理方法和算法不限,但是参赛者需要综合考虑算法的效果和复杂度,从而构建合理的解决方案。2 题目思路基于给定的少_小样本赛题数据

vuex之getters用法_vuex调用字仓库方法-程序员宅基地

文章浏览阅读278次。vuex的作用是用来状态共享的,state中定义数据,但如果需要对数据进行一定的处理,比如说state中有一个数组,但我们需要显示该数组中某些符合特定要求的值,而这些特定的数据需要在多个组件中shi'yong..._vuex调用字仓库方法