深度学习 精选笔记（4）线性神经网络-交叉熵回归与Softmax 回归

学习参考：

• 动手学深度学习2.0
• Deep-Learning-with-TensorFlow-book
• pytorchlightning

①如有冒犯、请联系侵删。
②已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。
③非常推荐上面（学习参考）的前两个教程，在网上是开源免费的，写的很棒，不管是开始学还是复习巩固都很不错的。

深度学习回顾，专栏内容来源多个书籍笔记、在线笔记、以及自己的感想、想法，佛系更新。争取内容全面而不失重点。完结时间到了也会一直更新下去，已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。所有文章涉及的教程都会写在开头、一起学习一起进步。

一、交叉熵回归

交叉熵回归（Cross-Entropy Regression）：交叉熵是一种用于衡量两个概率分布之间差异的指标，在机器学习中常用于分类问题的损失函数。交叉熵回归通常用于二分类问题，其中模型输出的是一个概率值，表示样本属于某一类的概率，损失函数是交叉熵损失函数。交叉熵损失函数可以表示为：

二、Softmax 回归

Softmax 回归：Softmax 回归是一种多分类模型，用于将模型的输出转化为多个类别的概率分布。在 Softmax 回归中，模型的最后一层是一个 Softmax 函数，将模型的输出转化为每个类别的概率，使得所有类别的概率之和为 1。

交叉熵回归通常用于二分类问题，而 Softmax 回归用于多分类问题。此外，Softmax 回归中的 Softmax 函数将模型输出转化为概率分布，而交叉熵回归中的损失函数用于衡量二分类模型输出与真实标签的差异。

1.分类问题

分类任务是机器学习和统计学中常见的一类任务，其目标是将数据集中的样本划分到预定义的类别或标签中。分类任务通常涉及预测离散的输出值，即将样本分为不同的类别。例如，将电子邮件分为“垃圾邮件”和“非垃圾邮件”、将图片识别为“猫”、“狗”或“鸟”等。

分类问题是指解决这类分类任务的问题。分类问题的关键在于构建一个分类模型，该模型可以根据输入的特征将样本正确地分配到各个类别中。常用的分类算法包括逻辑回归、支持向量机（SVM）、决策树、随机森林、K近邻（K-NN）等。

一种表示分类数据的简单方法：独热编码（one-hot encoding）。 独热编码是一个向量，它的分量和类别一样多。 类别对应的分量设置为1，其他所有分量设置为0。 从一个图像分类问题开始,假设每个图像属于类别“猫”“鸡”和“狗”中的一个、每次输入是一个 2×2 的灰度图像、每个图像对应四个特征