数学概念

title: 数学概念 tags:

• 机器学习

• 数学

  categories:

• 机器学习

曲线拟合

最小二乘拟合

最小二乘拟合（又称最小平方法）是一种数学优化技术。它通过最小误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简单地求得未知的数据，并使得这些求得的数据与实际数据之间的误差的平方和为最小。

最小二乘法可以用于曲线拟合。

概率统计

置信度

在统计学中，一个概率样本的置信区间（Confidence interval）是对这个样本的某个总体参数的区间估计。

置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。

置信区间给出的是被测量参数的测量值的可信程度，即前面所要求的“一定概率”。这个概率被称为置信水平。

其他

Sigmoid函数

Sigmoid函数是一个在生物学中常见的S型的函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

概念

回归分析

• 回归分析 是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

• 在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。

闭式解

在解组件特性相关的方程式时，大多数的时候都要去解偏微分或积分式，才能求得其正确的解。依照求解方法的不同，可以分成以下两类：解析解和数值解。

解析解

• 解析解(analytical solution)就是一些严格的公式，给出任意的自变量就可以求出其因变量，也就是问题的解，他人可以利用这些公式计算各自的问题。

• 所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。

• 用来求得解析解的方法称为解析法〈analytic techniques〉，解析法即是常见的微积分技巧，例如分离变量法等。

• 解析解为一封闭形式〈closed-form〉的函数，因此对任一独立变量，我们皆可将其带入解析函数求得正确的相应变量。

• 因此，解析解也被称为闭式解（closed-form solution）

数值解

数值解(numerical solution)是采用某种计算方法，如有限元的方法， 数值逼近，插值的方法， 得到的解。别人只能利用数值计算的结果，而不能随意给出自变量并求出计算值。

当无法藉由微积分技巧求得解析解时，这时便只能利用数值分析的方式来求得其数值解了。数值方法变成了求解过程重要的媒介。

在数值分析的过程中，首先会将原方程式加以简化，以利后来的数值分析。

例如，会先将微分符号改为差分符号等。然后再用传统的代数方法将原方程式改写成另一方便求解的形式。 这时的求解步骤就是将一独立变量带入，求得相应变量的近似解。

因此利用此方法所求得的相应变量为一个个分离的数值〈discrete values〉，不似解析解为一连续的分布，而且因为经过上述简化的动作，所以可以想见正确性将不如解析法来的好。

解析解和数值解

• 数值解是在特定条件下通过近似计算得出来的一个数值，而解析解为该函数的解析式。

• 解析解就是给出解的具体函数形式，从解的表达式中就可以算出任何对应值； 数值解就是用数值方法求出解，给出一系列对应的自变量和解。

残差

残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。

“残差”蕴含了有关模型基本假设的重要信息。如果回归模型正确的话， 我们可以将残差看作误差的观测值。

先验概率分布

先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率。

在贝叶斯统计推断中，不确定数量的先验概率分布是在考虑一些因素之前表达对这一数量的置信程度的概率分布。例如，先验概率分布可能代表在将来的选举中投票给特定政治家的选民相对比例的概率分布。未知的数量可以是模型的参数或者是潜在变量。

独立同分布

在概率统计理论中，指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。

参考

• 参考一