如何解决训练样本少的问题

目前大部分的深度学习模型仍然需要海量的数据支持。例如 ImageNet 数据就拥有1400多万的图片。而现实生产环境中，数据集通常较小，只有几万甚至几百个样本。这时候，如何在这种情况下应用深度学习呢?

牛顿法

  设f(x)是二次可微实函数，又设\(x^{(k)}\)是f(x)一个极小点的估计，我们把f(x)在\(x^{(k)}\)处展开成Taylor级数， 并取二阶近似。

原理

  给定n个带权的观察样本\((w_i,a_i,b_i)\):

• \(w_i\)表示第i个观察样本的权重；
• \(a_i\)表示第i个观察样本的特征向量；
• \(b_i\)表示第i个观察样本的标签。

原理

  迭代再加权最小二乘(IRLS)用于解决特定的最优化问题，这个最优化问题的目标函数如下所示：

\[arg min_{\beta} \sum_{i=1}^{n}|y_{i} - f_{i}(\beta)|^{p}\]