AI基础：简易数学入门
0.导语
学习AI建议掌握的数学资料：
数学分析（微积分），线性代数，概率论，统计，应用统计，数值分析，常微分方程，偏微分方程，数值偏微分方程，运筹学，离散数学，随机过程，随机偏微分方程，抽象代数，实变函数，泛函分析，复变函数，数学建模，拓扑，微分几何，渐近分析......
可以劝退了……
其实，绝大部分AI爱好者，对数学的要求没有那么高，只需要学习高等数学、线性代数、概率论与数理统计三门课，如果时间还不够，那看下本文我整理的必须掌握的部分。看不懂公式的时候，可以查下本文，大部分能找到是什么意思。
我最近在编写AI基础系列，数学是所有的基础。可以说，数学基础是机器学习从业人员的天花板。博士的代码能力，不一定比硕士强，但数学基础，往往要比硕士扎实很多。为什么机器学习从业人员学历越高，往往工资越高，通常和掌握的基础知识正相关。有时间，一定要认真打基础！！（黄海广）
AI基础：数据可视化简易入门（matplotlib和seaborn）
后续持续更新
本文节选自我的github里的内容，基本满足要求了，如果完整资料也可以在github下载：
https://github.com/fengdu78/Data-Science-Notes
高等数学
必须掌握导数和微分的概念
导数和微分的概念
（1）
或者：
（2）
四则运算法则
设函数]在点可导则：
(1)
(2)
基本导数与微分表
(1) （常数）
(2) (为实数)
(3)
特例:
(4)
特例:
(5)
复合函数，反函数，隐函数以及参数方程所确定的函数的微分法
(1) 反函数的运算法则:
设在点的某邻域内单调连续，在点处可导且，则其反函数在点所对应的处可导，并且有
(2) 复合函数的运算法则:
若在点可导,而在对应点()可导,则复合函数在点可导,且
(3) 隐函数导数的求法一般有三种方法：
1)方程两边对求导，要记住是的函数，则的函数是的复合函数.例如，，，等均是的复合函数.
对求导应按复合函数连锁法则做.
2)公式法.由知 ,其中，， 分别表示对和的偏导数
3)利用微分形式不变性
泰勒公式
设函数在点处的某邻域内具有阶导数，则对该邻域内异于的任意点，在与之间至少存在 一个，使得： 其中 称为在点处的阶泰勒余项。
令，则阶泰勒公式 ……(1)
其中 ，在0与之间.(1)式称为麦克劳林公式
常用五种函数在处的泰勒公式
(1)
或
(2)
或
(3)
或
(4)
或
(5)
或
线性代数
矩阵
矩阵：个数排成行列的表格 称为矩阵，简记为，或者 。若，则称是阶矩阵或阶方阵。
矩阵的线性运算
1.矩阵的加法
设是两个矩阵，则 矩阵称为矩阵与的和，记为 。
2.矩阵的数乘
设是矩阵，是一个常数，则矩阵称为数与矩阵的数乘，记为。
3.矩阵的乘法
设是矩阵，是矩阵，那么矩阵，其中称为的乘积，记为 。
4. 、、三者之间的关系
(1)
(2)
但 不一定成立。
(3) ，
但不一定成立。
(4)
5.有关矩阵秩的结论
(1) 秩=行秩=列秩；
(2)
(3) ；
(4)
(5) 初等变换不改变矩阵的秩
(6) 特别若 则：
(7) 若存在 若存在
若 若。
(8) 只有零解
向量
1.有关向量组的线性表示
(1)线性相关至少有一个向量可以用其余向量线性表示。
(2)线性无关，，线性相关可以由唯一线性表示。
(3) 可以由线性表示 。
2.有关向量组的线性相关性
(1)部分相关，整体相关；整体无关，部分无关.
(2) ① 个维向量 线性无关， 个维向量线性相关 。
② 个维向量线性相关。
③ 若线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。
3.有关向量组的线性表示
(1) 线性相关至少有一个向量可以用其余向量线性表示。
(2) 线性无关，，线性相关 可以由唯一线性表示。
(3) 可以由线性表示
4.向量组的秩与矩阵的秩之间的关系
设，则的秩与的行列向量组的线性相关性关系为：
(1) 若，则的行向量组线性无关。
(2) 若，则的行向量组线性相关。
(3) 若，则的列向量组线性无关。
(4) 若，则的列向量组线性相关。
5.维向量空间的基变换公式及过渡矩阵
若与是向量空间的两组基，则基变换公式为：
其中是可逆矩阵，称为由基到基的过渡矩阵。
6.坐标变换公式
若向量在基与基的坐标分别是 ，
即： ，则向量坐标变换公式为 或，其中是从基到基的过渡矩阵。
7.向量的内积
概率论和数理统计
1.事件的关系与运算
(1) 子事件：，若发生，则发生。
(2) 相等事件：，即，且 。
(3) 和事件：（或），与中至少有一个发生。
(4) 差事件：，发生但不发生。
(5) 积事件：（或），与同时发生。
(6) 互斥事件（互不相容）：=。
(7) 互逆事件（对立事件）：
2.运算律
(1) 交换律：
(2) 结合律：
(3) 分配律：
3.德摩根律
4.完全事件组
两两互斥，且和事件为必然事件，即
5.概率的基本公式
(1)条件概率:
,表示发生的条件下，发生的概率。
(2)全概率公式：
(3) Bayes公式：
注：上述公式中事件的个数可为可列个。
(4)乘法公式：
6.事件的独立性
(1)与相互独立
(2)，，两两独立
; ;;
(3)，，相互独立
;
; ;
7.独立重复试验
将某试验独立重复次，若每次实验中事件A发生的概率为，则次试验中发生次的概率为：
8.重要公式与结论
(5)条件概率满足概率的所有性质，
例如：
(6)若相互独立，则
(7)互斥、互逆与独立性之间的关系：
与互逆 与互斥，但反之不成立，与互斥（或互逆）且均非零概率事件与不独立.
(8)若相互独立，则与也相互独立，其中分别表示对相应事件做任意事件运算后所得的事件，另外，概率为1（或0）的事件与任何事件相互独立。
机器学习的常见推导
逻辑回归
逻辑回归代价函数：
即：
推导过程：
考虑：
则：
所以：
注：虽然得到的梯度下降算法表面上看上去与线性回归的梯度下降算法一样，但是这里的与线性回归中不同，所以实际上是不一样的。另外，在运行梯度下降算法之前，进行特征缩放依旧是非常必要的。
最小二乘法
需要用到的性质：
(如果是对称阵)
(如果是对称阵)
假设我们得到矩阵（为了简单起见，我们假设是满秩）和向量，从而使。在这种情况下，我们将无法找到向量，由于，因此我们想要找到一个向量，使得尽可能接近 ，用欧几里德范数的平方来衡量。
使用公式“，我们可以得到：
根据的梯度，并利用上面推导的性质：
将最后一个表达式设置为零，然后解出，得到了正规方程：
结语
本文节选自我的github里的内容，基本能满足要求了，如果需要完整资料可以在我的github下载：
https://github.com/fengdu78/Data-Science-Notes
备注：公众号菜单包含了整理了一本AI小抄，非常适合在通勤路上用学习。
往期精彩回顾
备注：加入本站微信群或者qq群，请回复“加群”