损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。
其中，平方损失函数经常用在预测标签y为实数值的任务中，一般不适用于分类问题。
平方损失函数公式，y为真实值，ar{y}为预测值：
J( heta)=frac{1}{2}(y-ar{y})^2 (1)
二、为什么回归问题中损失函数可以用平方形式？（平方损失函数的由来）
基础准备：
正态分布 Xsim N(mu ,sigma ^{2}) ，连续型随机变量X的概率密度为：
f(x)=frac{1}{sqrt{2pi sigma }} e^{-frac{(x-mu )^{2}}{2 sigma^{2}}} (2)
设总体X的概率密度为f(x, heta )，其中 heta为未知参数，(x_{1},x_{2},...,x_{n})是一次试验中所获得的样本观察值，则似然函数为
L( heta ,x_{1},x_{2},cdotcdotcdot ,x_{n})=prod_{n}^{j=1}f(x_{j}, heta ) (3)
证明：
设y为真实值，ar{y}为预测值，x为输入，epsilon为误差
则：
left{egin{matrix} y^{(i)}-ar{y^{(i)}}=epsilon ^{(i)}\ y^{(i)} = heta^Tx^{(i)} end{matrix} ight.
整理可得：
y^{(i)} = heta^Tx^{(i)} + epsilon^{(i)}
假设epsilon^{(i)} hicksim mathcal{N}(0,sigma^2)，分布是均值为0，方差为sigma^2的正态分布，那么根据公式(2)可得，的概率密度为：
f(epsilon^{(i)})=frac{1}{sqrt{2pi}sigma}mathrm{exp}iggl(-frac{(epsilon^{(i)})^2}{2sigma^2}iggl)
整理后等价于：
f(y^{(i)}|x^{(i)}; heta)=frac{1}{sqrt{2pi}sigma}mathrm{exp}iggl(-frac{(y^{(i)}- heta^Tx^{(i)})^2}{2sigma^2}igg)
根据似然函数的定义得:
egin{align*} L( heta) &= prod_{i=1}^nf(y^{(i)}|x^{(i)}; heta) \ &= prod_{i=1}^nfrac{1}{sqrt{2pi}sigma}mathrm{exp}iggl(-frac{(y^{(i)}- heta^Tx^{(i)})^2}{2sigma^2}iggr) end{align*}
两边同取log，得：
egin{align*} mathrm{log}L( heta) &=mathrm{log}prod_{i=1}^nfrac{1}{sqrt{2pi}sigma}mathrm{exp}igg(-frac{(y^{(i)}- heta^Tx^{(i)})^2}{2sigma^2}igg) \&= sum_{i=1}^nmathrm{log}frac{1}{sqrt{2pi}sigma}mathrm{exp}igg(-frac{(y^{(i)}- heta^Tx^{(i)})^2}{2sigma^2}igg) \ &=-nmathrm{log}{sqrt{2pi}sigma}-frac{1}{sigma^2}cdotfrac{1}{2}sum_{i=1}^n(y^{(i)}- heta^Tx^{(i)})^2end{align*}
为了让似然函数尽可能打，需要让 frac{1}{2}sum_{i=1}^n(y^{(i)}- heta^Tx^{(i)})^2尽可能小，（其余部分都为定值）；
也就等价于frac{1}{2}cdot(y-ar{y})^2最小化。
我们把这个函数称为损失函数J( heta )，在训练模型时，通过训练来找到使J( heta )最小的 heta值。
