深度学习

参考资料

任意连续函数都可以用多个分段线性函数来逼近
sigmoid 函数: 将输入映射到 0 和 1 之间的函数
- \(\sigma(x) = c \cdot \frac{1}{1 + e^{b+ax}}\)
- \(a\) 控制函数的斜率, \(b\) 控制函数的水平位置, \(c\) 控制函数的垂直缩放
Relu 函数: 将输入小于 0 的部分置为 0, 输入大于 0 的部分保持不变的函数
- \(relu(x) = max(0, c \cdot (b + ax))\)
- \(a\) 控制函数的斜率, \(b\) 控制函数的水平位置, \(c\) 控制函数的垂直缩放
hard sigmoid 函数: 将输入映射到 0 和 1 之间的函数
- \(hard\_sigmoid(x) = c \cdot max(0, min(1, b + ax))\)
- \(a\) 控制函数的斜率, \(b\) 控制函数的水平位置, \(c\) 控制函数的垂直缩放
softmax 函数: 将输入的一组实数映射到 0 和 1 之间的函数, 并且使得输出的和为 1
- \(softmax(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}}\)
- \(x_i\) 是输入的第 \(i\) 个元素, \(j\) 是输入的所有元素的索引

feedforward: 前向传播, 从输入层到输出层的计算过程
error: 模型输出和真实标签之间的差距
error surface: 模型参数空间中的一个函数, 其值为模型的损失函数值
Cross entropy: 用于分类任务的损失函数, 衡量模型输出的概率分布和真实标签的概率分布之间的差距
- \(L = -\sum_{i} y_i \log(p_i)\)
- \(y_i\) 是真实标签的第 \(i\) 个元素, \(p_i\) 是模型输出的第 \(i\) 个元素的概率