如需转载本文请注明作者：常遇及来源：“全栈深入”微信公众号。

在机器学习的过程中，用到了很多算法知识，而算法中用到很多推导和计算，涉及到很多初中数学、高中数学、高等数学中的知识。在市面的机器学习书籍中，往往最基础的代数运行、多项式运算、函数等没有涉及，这对很多毕业多年的人来说或数学基础不好的人来说，在学习的过程中并不是很顺畅。而市面也没有一本数学大全将不同的数学知识涵盖起来。因此，笔者梳理了人民教育出版社的初中数学、高中数学，同济大学出版的高等数学中算法学习相关的16个知识点，方便学习和复习。

数学包括对数量（数论/算术）、结构（代数）、空间（几何）、变化（分析）的研究，还包括逻辑、集合、应用数学等的研究。

初中数学 - 数论中的数学概念

以下初中、高中数学中涉及的一些数学概念

整数：正整数，0，负整数统称为整数
分数：正分数，负分数统称为分数
有理数：整数和分数统称为有理数（rational number)

相反数：正负的两个数互为相反数 (opposite number)
倒数：一个数x与其相乘为1的数，记为1/x，其中x!=0
无理数：无限不循环小数叫无理数，包括正负无理数，如很多数的平方根或立方根是无理数。
实数：有理数 + 无理数统称为实数。包括正实数 + 负实数。对应平面上的横轴。
虚数：将偶指数幂是负数的数定义为纯虚数（形如a+bxi的数，其中a,b是实数，且b≠0,i²=-1。a为实部，b为虚部），虚数无算术根。对应平面上的纵轴。
复数：实数 + 虚数称为复数。

一张思维导图总结了各种数的关系。

初中数学 - 整式乘法

1、多项式相乘

多项式与多项式相乘，先用一个多项式的每一项乘另一个多项式的每一项，再把所得的积相加。

(a+b)(p+q) = a(p+q)+b(p+q) = ap+aq+bp+bq

2、平方差公式

两个数的和与两个数的差的积，等于这两个数的平方差。

(a+b)(a−b) = a²−b²

3、平方和公式

两个数的和（或差）的平方，等于他们的平方和，加上（或减去）它们积的2倍。

(a+b)²=a²+2ab+b²

(a−b)²=a²−2ab+b²

4、因式分解

a²−b² = (a+b)(a−b)

a²+2ab+b² = (a+b)²

a²−2ab+b² = (a−b)²

初中数学 - 一元二次方程

一元二次方程

初中数学 - 多项式

多项式在推导计算算法复杂度用得较多。

多项式由称为未知数的变量和称为系数的常数通过有限次加减法、乘法以及自然数幂次的乘方运算得到的代数表达式。

单项式：仅由一项构成的多项式称为单项式
常数项：一项中不含未知数

示例
x²+3x−4 为三项一元二次多项式
x³+2y²−4z 为三项三元三次多项式

应用
1、多项式的加减乘除
2、多项式的矩阵乘除
3、因式分解
4、多项式方程、函数

高中数学 - 集合

集合在算法图论中用得较多。

集合把对象称为元素(element)，把元素组成的总体叫集合，简称集(set)。如果两个集合的元素相同则两个集合相等。

a属于集合记作：a∈A
a不属于集合B记为：a∉B

1、集合的表示

列举法：把集合里的所有元素一一列举出来，并用 {} 括起来表示集合的方法。如：{a,b}
描述法：无法用列举法表示的无穷个元素的集合，利用集合中元素的共同特征来表示的方法。如：{x∈R|x<10}

2、集合的关系

1）子集
对于两个集合A和B，如果集合A中任意一个元素都是B中的元素，则称集合A为B的子集。记作：A⊆B 或 B⊇A

韦恩图(Venn)：平面上封闭曲线的内部代表集合。

子集韦恩图：

2）真子集
如果集合 A⊆B，但存在元素 x∈B，且 x∉A，则称集合A是集合B的真子集(proper subset)。记作：A⫅B 或 A⫆B

3）空集
不包含任何元素的集合叫空集(empty set)。记作：∅

3、集合的基本运算

1）并集
由所属集合A及所属集合B的元素组成的集合，称为集合A与B的并集(union set)，记作：A∪B。或：A∪B={x|x∈A,或x∈B}

2）交集
由属于集合A且属于集合B的元素组成的集合，称为集合A与B的交集(intersection set)，记作：A∩B。即:且A∩B={x|x∈A,且x∈B}

3）全集
一个集合包含研究问题中涉及的所有元素，则该集合为全集(universe set)，记作U。

4）补集
对于一个集合，由全集U中不属于集合A的所有元素组成的集合称为集合A相对于全集U的补集(complementary set)，记作：CUA，即：且CUA={x|x∈U,且x∉A}

高中数学 - 充要条件

充要条件在算法的推导论证中需要用到。

1、真命题

若p，则q，即由p可以推出q，记作：p⇒q。

p是q的充分条件(sufficient condition)
q是p的必要条件(necessary condition)

2、假命题

若p，不能得出q，即由p不能得出结论q。记作：p⇏q

3、逆命题

“若p，则q” 中的条件p和结论q互换，得到一个新的命题 “若q，则p”，则该命题为原命题的逆命题。

4、充要条件

“若p，则q” 中的条件p和结论q互换，得到一个新的命题 “若q，则p”，均为真命题，即：p⇐q，又 q⇒p，记作：p⇔q。

此时 p即是q的充要条件，也是q的必要条件，则说p是q的充分必要条件，简称充要条件(sufficient adn necessary condition)

5、全称量词

短语 “所有的”、“任意一个” 在逻辑中通常叫做全称量词(universal proposition)。用符号：∀ 表示。

含有全称量词的命题称为全称量词命题(universal proposition)。

对于M中任意一个x, p(x)成立，记作：∀x∈M,p(x)

6、存在量词

短语 “存在一个”，“至少有一个”在逻辑中通常叫做存在量词(existential quantifier)，用符号：∃ 表示。

含有存在量词的命题称为存在量词命题(existential proposition)。

存在M中的元素x，p(x)成立，记作：∃x∈M,p(x)

7、全称量词的否定

∀x∈M,p(x)
否定：
∃x∈M,¬p(x)

8、存在量词的否定

∃x∈M,p(x)

否定：∀x∈M,¬p(x)

高中数学 - 函数

函数是刻画变量之间对应关系的数学模型和工具。

设A,B是非空的实数集，如果对于集合A中的任意一个数x，按照某种确定的对应关系 f, 在集合B中都有唯一确定的数y和它对应，则称f: a→B为从集合A到B的一个函数(function)。记作：y=f(x),x∈A

其中：

x:自变量
x的取值范围叫做函数的定义域(domain)
与x值对应的y值叫做函数值，也是函数的值域(range)。即{f(x)|x∈A}

1、开闭区间

研究函数时常会用到区间的概念，设a,b是两个实数,而且a<b

(1)满足不等式a≤x≤b的实数x的集合叫做闭区间,表示为[a,b]
(2)满足不等式a<x<b的实数x的集合叫做开区间,表示为(a,b)
(3)满足不等式a≤x<b或a<x≤b的实数x的集合叫做半开半闭区间,分别表示为[a,b),(a,b].

实数a与b都叫做相应区间的端点这些区间的几何表示如下所示，在数轴表示时,用实心点表示包括在区间内的端点,用空心点表示不包括在区间内的端点。实数集R可以用区间表示为(-∞,+∞),'∞”读作'无穷大”,'-∞”读作'负无穷大”,”读作'正无穷大”

2、函数的表示

坐标线

3、单调性与最大值、最小值

单调性：利用函数图像研究函数值随自变量的增大而增大（或减少）的性质叫函数的单调性。
单调递增：设函数f(x)的定义域为I ,区间D是I的真子集。如果Vx1,x2∈D,当x1 < x2时, 都有 f(x1) < f(x2),那么就称函数f(x)在区间D上单调递增。
增函数：当函数f(x)在它的定义域上单调递增时,我们就称它是增函数(increase function)
单调递减：设函数f(x)的定义域为I ,区间D是I的真子集。如果Vx1,x2∈D,当x1 > x2时, 都有 f(x1) > f(x2),那么就称函数f(x)在区间D上单调递减。
减函数：当函数f(x)在它的定义域上单调递减时,我们就称它是减函数(increase function)

单调区间：如果函数y=f(x)在区间D上单调递增或单调递减, 那么就说函数y=f(x)在这一区间具有(严格的)单调性,区间D叫做y=f(x)的单调区间
最大值：
设函数y=f(x)的定义域为I,如果存在实数M满足 (1)Vx∈I ,都有f(x)≤M; (2)彐x0∈I,使得f(x0)=M 则M是函数y=f(x)的最大值( maximum value).
最小值：
设函数y=f(x)的定义域为I,如果存在实数M满足 (1)Vx∈I ,都有f(x)>=M; (2)彐x0∈I,使得f(x0)=M 则M是函数y=f(x)的最小值( minimum value).

4、奇偶性

偶函数(even function)：设函数f(x)的定义域为I,如果Vx∈I,都有-x∈I, 且f(-x)=f(x),那么函数f(x)就叫做偶函数(even function).
奇函数(odd function）：设函数f(x)的定义域为I, 如果x∈I,都有一x∈I, 且f(-x)=-f(x), 那么函数f(x)就叫做奇函数( odd function)

高中数学 - 幂函数

幂函数：形如 y=x^a的函数，都是以幂的底数为自变量，指数为常数，这些函数称为幂函数(power function)

高中数学 - 指数函数

1、n次方根

如果，则x叫做a的n次方根，其中n>1且。a的n次方根用符号：表示

根式：叫根式(radical)，n为根指数，a叫被开n次方。

n为奇数、偶数时n次方根计算：

当n是偶数时, 正数的n次方根有两个,这两个数互为相反数. 正数a的正的n次方根用符号 a√nan 表示, 负的n次方根用符号— a√nan.表示, 正的n次方根与负的n次方根可以合并写成± a√nan (a>0).

负数没有偶次方根
0的任何次方根都是0,记作0=0.

性质

0的正分数指数幂为0，0的负分数指数幂没有意义

2、指数函数

函数叫指数函数(exponential function)，其中x为自变量，定义域为R。

1) 函数y=a(a>0,且a≠1)的图象.由于底数a可取大于0且不等于1的所有实数,所以不妨用一端圆定于y轴的水平线段PA的长度来表示底数a的值, 即点A的横坐标xA显示的就是a的取值

2) 如图1,从左向右拖动点A(0<xA<1),则xA的值逐渐增大,当xA 的值越来越接近于1时,图象就越来越接近于直线y=1;当xA=1时,图象就是直线y=1; 继续向右拖动点A(xA>1),如图2,图象发生了变化.

指数函数乘除

同底数幂相除，底数不变，指数相减。
同底数幂相乘，底数不变，指数相加。

高中数学 - 对数函数

如果，那么数x叫做以a为底N的对数(logarithm)，记作：。其中a为对数的底数，N为真数。

常用对数：common logarithm, 以10为底的对数，即，简写为：
自然对数：natural logarithm, 以科技、经济、生活中常用的无理数e=2.71828..为底数的对象，即（N>0)
计算机以2为底的对数：

1、指数与对数的关系

2、对数规则

负数与0没有对数

3、对数的性质

推导过程见高一上Page127

4、对数的运算

对数换底公式：

5、对数函数

函数

6、对象的性质

高中数学 - 反函数

反函数是函数，x=logab，y∈(0,1]是函数y=ax，x∈[0,+∞) 的反函数。基定义域互换。

高中数学 - 三角函数

1、正弦函数

y=sinx,x∈[0,2π]

2、余弦函数

y=cosx,x∈R

3、正切函数

y=tanx,x∈R,x≠π2+kπ,k∈Z

高中数学 - 数列

1、数列

按确定顺序排列的数称为数列。用正整数表示事物发展过程的先后顺序，把正整数作为自变量的取值，把事务对应数值看作是相应的函数值，数列是定义在正整数集上的一类离散函数。

数列形式：a1, a2, a3, ..., an 简记为: {an}

因为：{an} 中每一项an和它的序号n有关系，所以数列an是从正整数集N或它的子集到实数集R的函数,自变量为n。记为：an=f(n)

递增数列：每一项都大于它前一项的数列
递减数列：每一项都小于它前一项的数列
常数列：每一项都相等的数列
通项公式：数列 {an} 的第 n 项 an 与序号 n之间的对应关系可用一个式子来表示，式子即为数列的通项公式
数列前{an}前n项和：Sn = a1 + a2 + ... + an

应用
1）根据通项公式求指定项的值，并作出图像
2）根据数列前n项写出通项公式
3）根据通项公式判断指定是否为数列的项，求序号
4）斐波那契数列

2、等差数列

一个数列从第2项起，每一项与它前一项的差都等于同一个常数，就叫等差数列，常数叫的公差，常以字母 d 表示。

等差中项：在a和b间存在一个数使得 2A = a+b，则A为a和b的等差中项。

应用：等差数列求和，利用等差中项来计算

3、等比数列

一个数列从第2项起，每一项与它前一项的比都等于同一个常数，就叫等比数列，常数叫数列的公比，常以字母 q 表示。

等比中项：在a和b间存在一个数使得 G² = ab，则G为a和b的等比中项。

等比数列前n项公式: =

=>由等比公式得到A式：

=>左右都乘以公比得到B式：

=>A式B式左右相减：

高中数学 - 导数

1、微积分的创立与四类科学相关

已知物体运动的路程作为时间的函数，求物体在任意时刻的速度和加速度。反之已知物体的加速度作为时间的函数，求速度与路程
求曲线的切线
求函数的最大值、最小值
求长度、面积、体积、重心等

2、导数及应用

导数定量地刻画函数的局部变化，是研究函数增减、变化快慢、最大值、最小值等性质的基本方法，是解决如增长率、膨胀率、效率、密度、速度、加速度等实际问题的基本工具。

3、平均变化率

对于函数，设自变量x从变化到，相应地值y就从变化到了。此时x, y的变化量为：

比值叫做函数从到的平均变化率

4、导数

当时，平均变化率无限趋近于一个确定的值，即有极限，则称 y=f(x)在处可导，并把这个确定的值叫做处的导数(derivative)。也叫瞬时变化率，记作 或。

即：

5、求导数

设，求解：

将原油精炼为汽油、柴油、塑胶等各种不同产，需要对原油进行冷却和加热。已知在x 时，原油的温度为，（0<=x<=8)。计算第2h时第6h时原油的瞬时变化率并说明它们的意义。

解: 在第2h和第6h时,原油温度的瞬时变化率就是f'(2)和f'(6). 根据导数的定义:

所以同埋可得: f'(6) = 5

在第2h与第6h时,原油温度的瞬时变化率分别为-3C/h与5℃/h。说明在第2h附近，原油温度大约以3℃/h的速度下降;在第5h附近,原池温度大约以5℃/h的速率上升。一般地 f'(x0) (0≤x0≤8)反映了原油温度在时刻x0附近的变化情况

3）一辆汽车在公路上沿直线变速行驶，假设t s时汽车的速度为，求汽车在第2s与第6s时的瞬时加速度，并说明他们的意义。

分析: 瞬时加速度是速度关于时间的瞬时变化率, 因此在第2s与第6s时汽车的时加速度分别为v'(2), v'(6)

解: 在第2s和第6s时,汽车的瞬时加速度就是v'(2)和v'(6)

根据导数的定义

所以

同理可得: v'(6)=-6.

在第2s与第6s时,汽车的瞬时加速度分别是2m/s^2与-6m/s^2. 说明在第2s附近汽车的速度每秒大约增加2m/s; 在第6s附近,汽车的速度每秒大约减少6m/s

6、导数的运算

1、常用函数的导数

1）

2）

3）

所以：

4）

5）

所以 <span role="presentation" data-formula="\displaystyle y" =="" \lim_{△x="" \rightarrow="" 0}="" \frac="" {△y}="" {△x}="\lim_{△x" 1="" {\sqrt="" {x+△x}="" +="" \sqrt="" x}="\frac" {2\sqrt="" x}'="" data-formula-type="inline-equation">

2、基本初等函数的导数公式基本初等函数的导数公式

若f(x)=c(c为常数),则f'(x)=0
若f(x)=x(n∈Q),则f'(x)=nx^(n-1)
若f(x)=sinx,则f'(x)=cosx
若f(x)=cosx,则f'(x)=-sinx
若f(x)=a^x,则f'(x)=a^x lna;
若f(x)=e^x,则f'(x)=e^x;
若f(x)=loga x,则f'(x)=1 / (xlna)
若f(x)=lnx,则f'(x)=1/x

练习

求函数的导数：

求函数的导数：

3、复合函数求导求导：

4、导数运算法则导数运算法则

[f(x) ± g(x)]'=f'(x) ± g'(x)
[f(x) · g(x)]'=f'(x)g(x) + f(x)g'(x)
[f(x) / g(x)]'=（f'(x)g(x) - f(x)g'(x)) / [g(x)]^2 (其中g(x)≠0)

7、导数在研究函数中的应用

1、函数的单调性在某个区间(a,b)内, 如果f'(x)>0,那么函数y=f(x)在这个区间内单调递增; 如果f'(x)<0,那么函数y=f(x)在这个区间内单调递减0

2、函数的极值与导数求函数y=f(x)的极值的方法是:

解方程f'(x)=0. 当f(x0)=0时:(1) 如果在x0附近的左侧f'(x)>0,右侧f'(x)<0,那么f(x0)是极大值;(2) 如果在x0附近的左侧f'(x)<0,右侧f'(x)>0,那么f(x0)是极小值

3、生活中优化问题导数是求函数最大值、最小会上有力的工具。

练习1:学校或班级举行活动, 通常需要张贴海报进行宣传. 现让你设计一张如图所示的竖向张贴的海报, 要求版心面积为128dm^2, 上、下两边各空2dm, 左、右两边各空1dm. 如何设计海报的尺寸,才能使四周空白面积最小?

解法：设版心的高度为x dm，则版心的宽为 128/x dm, 四周空白面积为：S(x) = (x + 4)(128/x + 2) -128 = 2x + 512/x + 8, x>0S'(x) = 2 - 512 /x^2 => x=+-16，舍去负数，当时，S'(x)<0, 当 0' data-formula-type='inline-equation'>

当x=16时函数S(x)的极小值点也是最小点，所版版心高为16dm，宽为8dm时，四周空白面积最小。

高中数学 - 定积分

1、近似替代法求曲面的面积及加速行汽车的距离。

练习1阴影部分类似于一个梯形,但有一边是曲钱y=f(x)的一段。我们把由直线x=a, x=b(a≠b), y=0和曲线 y=f(x) 所围成的图形称为曲边梯形. 当 y= x^2, x=1, y=0时，如何计算这个曲边梯形的面积呢?

求解步骤1）分割：将区间[0, 1]分割成n个小区间，用表达式计算每个小区间的长度△x=i/n - (i-1)/n = 1/n，面积△S ，总面积.2）近似替代：当n很大，△x很小时，可认为每个区间f(x)=x^2值变化很小，近似等于一个常数（可认为是左端点处的函数值y=x^2）。即用直线段近似地代替小曲边，近似可用小矩形面积代替曲边梯形面积。得到面积△S的表达式 (i-1/n)^2 * 1/n 其中i为第i个小区间,。

3）求和：通过将n段的每个△S进行相加，得到一个表达式，进行代数运算后得到总面积S一个简单的表达式。

4）取极限：当n取无穷大时，即△x趋向于0时，得到总面S的会上为1/3

练习2汽车以速度v作匀速直线运动时,经过时间t所行驶的路程为s=vt. 如果汽车作变速直线运动,在时刻t的速度为v(t)=-t^2+2 (t的单位:h,v的单位:km/h), 那么它在0≤t≤1这段时间内行驶的路程s(单位:km)是多少?

求解步骤：参照上个练习，得到最终答案为：

2、定积分

由近似替代法求曲面的面积及加速行汽车的距离都可归结为求这种特定形式和的极限。将区间[a,b]等分成n个小区间,在每个小区间[x_i-1,x_i]上任取一点(i=1,2,…,n)作和式为：

当时，该和式无限接近某个常数，该常数叫做函数f(x)在区间[a,b]上的定积分(definite integral)，记作：

其中：

a和b：积分上限和积分下限
区间[a,b]：积分区间
函数f(x)：被积函数
x：积分变量
f(x)dx：被积式

上面曲边梯形面积定积分表示：几何意义：表示由直线x=a, x=b （a!=b），y=0和曲线y=f(x)所围成的曲边梯形的面积。

上面汽车路径定积分表示：

练习1）计算的值解题步骤：

分割：区间[0,1]等分为n个区间, [i-1/n, i/n] （i=1,2,3..n）,每个小区间长度△x=i/n - (i-1)/n = 1/n
近似代替、作和：
取极限：

定积分性质：

其中k为常数
其中

高等数学 - 微积分

1、微积分

用定积分的定义计算的值比较麻烦，导数和定积分存在联系。

一个作变速直线运动的物体的运动规律是y=y(t). 由导数的概念可知,它在任意时刻t的速度v(t)=y'(t). 设这个物体在时间段[a,b]内的位移为s,你能分别用y(t),v(t)表示s吗?

解：1）物体的位移s是函数y=y(t)在t=b处与t=a处的函数值之差，即 s=y(b)-y(a)2) 用定积分求位移：

分割
近似替代、求和
求极限得到与s的近似程度就越好。

一般地如果f(x)是区间[a,b]上的连续函数，且F'(x) = f(x)，则，则F(b)-F(a)常记作，即：

计算定积分的关键是找到满足的函数F(x)，通常可运用基本初等函数的求导公式和导数的四则运算法则从反方向上求出F(x)

练习1、计算下列定积分

解

参考：基本初等函数的求导公式

2、定积分的简单应用

1、计算曲线所围图形的面积S解：

1) 画出草图

2) 解方程

得到的解为交点的横坐标为x=0, x=1

3) 求图形面积S = S曲边形梯形OABC - S曲边形梯形OABD =

2、计算直线y=x-4, 曲线所围图形的面积S

1) 画出草图

2) 解方程

直线与曲线交点的坐标为(8,4)，直线与x轴交点坐标为(4,0)

3) 求图形面积

3、变速直线运动的路程作变速直线运动的物体所经过的路程s,等于其速度函数v=v(t) （v(t)≥0）在时间区间[a,b]上的定积分

辆汽车的速度-时间曲线如图所示,求汽车在这1min行驶的路程.

解：

3、小结

16
高等数学 - 矩阵

1、矩阵与向量
1) 矩阵
矩阵是矩形的数组。

2) 矩阵转置

交换矩阵的行和列，获得的矩阵是矩阵A的转置

3) 向量

向量是一维数组。长度为n的向量称为n向量，用表示向量中第i个元素，其中i=1,2,3..n。将向量的标准形式定义为列向量，是n x 1的矩阵，转置后是行向量。

单位向量：除第i个元素为1，其他均为0的向量。

3) 各种矩阵

4) 矩阵基本操作
矩阵或向量中的元素是实数、复数、或整数取模某素数等数系中的数。

零矩阵相加
是矩阵加法的单位元，A+0=0+A=A

如果你觉得这篇内容有收获，请帮我戳戳你的手指头：

1、点个 『在看』，让更多人看到。