NLP自然语言处理、机器学习学习梳理（一）_机器学习 自然语言处理

---

一、机器学习/ 神经网络 / BP反向传播/CNN卷积神经网络/

神经网络编程一书

1、主要就是反向传播，使用的是手写数值微分，内容不多

鱼书

1、神经网络反向传播（数值微分的方法实现）

神经网络反向传播，导数计算，手写实现。已经看了很多遍了，有些忘记了

2、计算图反向传播

理论原理，手写实现。

3、参数更新方法

1、梯度下降
2、动量Momentum
3、AdaGrad
4、Adam 忘记
原理清楚，，，忘记了，在整理的深度学习笔记里。

4、CNN卷积神经网络

1、卷积神经网络，原理推导，清楚看过了。。忘记了
2、卷积神经网络也看了，理论推导包括方向更新梯度的计算。 整理的深度学习笔记里。

5、AlexNet、VGGNet

和卷积神经网络差别不大，主要是层数，卷积核的变化。

6、GoogleNet

主要是加入Inception模块、
使用不同尺度的卷积核进行卷积（原始的设置pad使得same padding，问题是计算参数很多【改进，使用1*1降维后再处理。】），再把结果堆叠起来传入下一层。

7、ResNet 深度残差网络

深度残差网络，能够把网络加深。

8、RNN、LSTM、GRU

1、循环神经网络，原理大致清楚。公式方向传播有点忘记
2、一般直接调包实现了。

9、AE、VAE自编码、对抗学校GAN

1、自编码理论公式推导，没细看，现在用的少，大致知道怎么回事
2、GAN自然语言用的相对较少，后面空了可以搞着玩

8、Dropout和 Batch Normalization

1、每次训练随机杀死神经元
2、BatchNormalization 改变数据分布啥的，帮助更好训练。
为了使各层拥有适当的广度，“强制性”地调整激活值的分布会怎样呢？实际上， Batch Normalization方法就是基于这个想法而产生的。

将这个处理插入到激活函数的前面（或者后面） A，可以减小数据分布的偏向

权值衰减：一直以来经常被使用的一种抑制过拟合的方法。该方法通过在学习的过程中对大的权重进行惩罚，来抑制过拟合。（为损失函数加上权重的平方范数（L2范数）。这样一来，就可以抑制权重变大。）

统计机器学习/李航-------------------------（后面可以补充）

看了很久 / 理论推导/、手写代码也实现了 /忘记了后面再补

1、感知机

理论推导、手写实现。
与或非门、
手写实现感知机，使用鸢尾花数据、
sklearn实现
感知机手写体数字识别/

2、朴素贝叶斯

理论推导、手写实现。
训练速度快，泛化能力差于逻辑回归支持向量机

三种分类器，GaussianNB 、BernoulliNB 、MultinomialNB。
高斯可应用于任意连续数据，
而伯努利假定输入数据为二分类数据，BernoulliNB假设数据输入为二分类
MultinomialNB假定输入数据为计数数据，即每个特征代表某个对象的整数计数。

1、手写朴素贝叶斯，应用在手写体数字（和白努力结果一样）

GuassianNB主要用于高维数据，其它两种广泛用于稀疏矩阵比如文本，MultinomialNB性能优于BernoulliNB特别是包含很多非零特征的数据集。
2、鸢尾花数据实现

3、KNN近邻算法

理论推导、手写实现
1、手写KNN实现，应用到手写体数字、鸢尾花数据

4、逻辑回归与最大熵

逻辑回归简单一点，理论推导和手写实现
1、手写逻辑回归应用到手写体数字识别
2、最大熵模型有点模糊了 （后面再看吧）

5、决策树

决策树分类、回归。理论还记得、手写代码实现了，现在已经忘的差不多了
决策树回归掉包的。
后面看看

6、Adaboost提升算法

看了很多遍了，理论公式基本清楚、还是很多还是忘记了，包括指数损失函数，还有推导
大概知道它是通过每次训练增大错分样本权重，最后叠加所有分类器实现。
提升树模型，就是将决策树作为基分类器。
随机森林，多个决策树投票结果。
空了在整理理论推导，已经看的挺透彻了就是忘记了（参考：刘建平的博客）

7、支持向量机

硬间隔，软间隔，原理清楚，理论推导也看过几遍，忘记了，
设计到KTT条件，带约束的最小最大值问题。理论基本明白，忘记。
核函数的支持向量机有点复杂，推导证明还是不咋明白。但是用的少了，基本都是树模型。

8、EM算法

含有隐变量的概率模型参数的极大似然估计。
理论推导清楚明白，具体忘记。
1、手写实现了个EM算法实现GMM高斯混合模型，区分两个混合分布再做分类
2、实例实现了男女身高数据的GMM算法。

9、HMM隐马尔可夫模型

理论推导明白清楚， 看了挺多。很多也忘记了
状态转移矩阵、发射矩阵。
三个问题 （概率计算问题、学习问题、预测问题）
1、有个包、实现HMM摸球那个问题
2、使用HMM实体识别的一个小实例

10、CRF条件随机厂

1、理论有点复杂，有些不是很懂实体识别，关系抽取好像都有用，后面可以再看看（）
2、CRF实现的实体识别案例

机器学习中Xgboost 、和 LightGBM、模型融合还不太了解
已经看完手写代码也是实现了。后面补充。

11、Xgboost算法

12、LightGBM算法

二、自然语言处理 / 实例

1、传统的基础

TF 表示单词出现的频数
“Fruit flies like time flies a fruit”这句话具有以下TF表示:[1,2,2,1,1,1,0,0]
注意，每个条目是句子(语料库)中出现相应单词的次数的计数。

TF-IDF Representation

反文档频率(IDF)是一种启发式算法
IDF表示惩罚常见的符号，并奖励向量表示中的罕见符号

TF-IDF分数就是TF(w) * IDF(w)的乘积。

用的很少的了，了解下。

三、Pytorch框架与实例

四、Tensorflow框架与实例

1、第一章：数据类型

0维tensor称为scalar：1.1 一维vector向量[1.1]
数据类型：int、float、double、bool、string。
1、x = tf.constant()
2、转换为numpy：x.numpy()
3、以list形式传入，可以传入字符串tf.string模块中提供了常见的工具函数，lower()、join()、length()、split()。
a = tf.constant([[1, 2], [3, 4]])
4、布尔类型：tf.constant(True)、tf.constant([True, False])其布尔类型和Python语言布尔类型不等价。
5、a.ndim查看维度，
6、检验是否是tensor：tf.is_tensor(b)、 isinstance(b, tf.Variable) a.dtype == tf.float32
7、numpy转换为tensor： aa = tf.convert_to_tensor(a, dtype=tf.int32)并指定数据类型
8、tf.cast(aa, dtype=tf.float32) 数据转换操作 tf.cast(b, dtype = tf.bool)
9、tf.Variable(a) 可以计算梯度的。
10、a = tf.ones([]) 值为1的0维tensor 当tensor是一个scalar时可以用int(a)/float(a)

2、第二章：创建Tensor

笔记懒得写了。

基本上看完了，需要完整的时间项目