感知器_感知器学习算法中的权重如何初始化

作者：Cpp五条 | 2024-03-22 09:19:37

踩

感知器学习算法中的权重如何初始化

传统机器学习适合结构化数据

深度学习适合处理非结构化数据（图像，音频，视频，文本）

感知器

1.1算法公式：可以实现二分类任务

z为净输入，是连续的值，通过激励函数转成离散的值

1.2权重更新

感知器是一个自学习算法，即可以根据输入的数据（样本），不断调整权重的更新，最终完成分类。权重的更新公式如下：

其中，j表示某一列，i表示某一个样本。学习率 y(hat)代表y预测值

1.3更新原则

感知器的权重更新依据是：如果预测准确，则权重不进行更新，否则，增加权重，使其更趋向于正确的类别。

1.4实现步骤

对权重进行初始化。（初始化为0或者很小的数值。）
对训练集中每一个样本进行迭代，计算输出值y。
根据输出值y与真实值，更新权重。
循环步骤2。直到达到指定的次数（或者完全收敛）。

说明：

如果两个类别线性可分，则感知器一定会收敛。
如果两个类别线性不可分，则感知器一定不会收敛。

1.5程序示例

参考之前感知器的实现步骤，使用感知器实现与门与或门的计算。


import numpy as np
# 定义数据集
X = np.array([[1, 0, 0], [1, 0, 1], [1, 1, 0], [1, 1, 1]])
# 定义标签（每个样本所属的分类）。
y = np.array([0, 0, 0, 1])
# 定义权重。对于单层感知器，权重通常初始化为0或者很小的数值。
# w = np.zeros(3)
w = np.random.random(3)
# 定义学习率。
eta = 0.1
 
for epoch in range(7):
    for x, target in zip(X, y):
        # 计算净输入 
        z = np.dot(w, x)
        # 根据净输入，计算分类值。
        y_hat = 1 if z >= 0 else 0
        # 根据预测值与真实值，进行权重调整。
        w = w + eta * (target - y_hat) * x
        # 注意数组的矢量化计算，相当于执行了以下的操作。
    #     w[0] = w[0] + eta * (y - y_hat) * x[0]
    #     w[1] = w[1] + eta * (y - y_hat) * x[1]
    #     w[2] = w[2] + eta * (y - y_hat) * x[2]
        print(target, y_hat)
        print(w)

算法的Python实现

现在，我们使用Python语言来实现感知器算法，进行鸢尾花的分类


class Perceptron:
    """通过Python语言实现感知器类。用来进行二分类任务。"""
    
    def __init__(self, eta, epoch):
        """初始化方法。
        
        Parameter:
        -------
        eta: float
            学习率。
        epoch： int
            对训练集训练的轮数。
        """
        self.eta = eta
        self.epoch = epoch
        
    def step(self, z):
        """阶跃函数。对净输入进行转换。
        
        Parameter:
        -----
        z: 标量或数组类型
            净输入。
        
        Return:
        ------
        t: 变量或数组类型。
            分类的结果。0或者1。当z >= 0时，返回1，否则返回0。
        """
#         return 1 if z >= 0 else 0
        return np.where(z >= 0, 1, 0)
        
    def fit(self, X, y):
        """训练方法。
        
        Parameter:
        X: 类数组类型。形状为 (样本数量, 特征数量)
            提供的训练集。
        y: 类数组类型。形状为(样本数量,)
            样本对应的标签（分类）
        """
        # 对类型进行转换，不管是什么二维类型，统一转换成二维的ndarray数组类型。
        X = np.asarray(X)
        y = np.asarray(y)
        # 注意：权重的数量要比特征的数量多1。多出来的一个就是偏置。
        self.w_ = np.zeros(X.shape[1] + 1)
        # 定义损失列表。用来存放每个epoch迭代之后，分类错误的数量。
        self.loss_ = []
        # 迭代epoch指定的轮数。
        for i in range(self.epoch):
            # 用来记录单次epoch的损失值(分类错误的数量)
            loss = 0
            for x, target in zip(X, y):
                # 计算净输入
                z = np.dot(x, self.w_[1:]) + self.w_[0]
                # 根据净输入，计算分类。
                y_hat = self.step(z)
#                 if target != y_hat:
#                     loss += 1
                loss += target != y_hat
                # 调整权重
                self.w_[1:] += self.eta * (target - y_hat) * x
                # 调整偏置
                self.w_[0] += self.eta * (target - y_hat)
            # 将损失值加入到损失列表当中。 
            self.loss_.append(loss)
            
    def predict(self, X):
        """预测方法。根据提供的数据集X，返回每一个样本对应的标签（分类）。
        
        Parameter:
        -----
        X: 类数组类型。形状为 (样本数量, 特征数量)
            提供预测集。
            
        Return：
        -----
        label: 类数组类型。形状为：(样本数量,)
            预测的每一个便签分类。
        """
        X = np.asarray(X)
        # 计算净输入。(矢量化计算，没有使用循环分别对每一个样本求净输出)
        z = np.dot(X, self.w_[1:]) + self.w_[0]
        # 获取最终的分类结果。（一维数组类型。）
        result = self.step(z)
        return result
# 感知器类进行测试。
X = np.array([[1, 0, 0], [1, 0, 1], [1, 1, 0], [1, 1, 1]])
y = np.array([0, 0, 0, 1])
p = Perceptron(0.1, 7)
p.fit(X, y)
print(p.w_)
print(p.loss_)

练习

使用感知器对鸢尾花两个类别进行分类。


class Perceptron:
    """通过Python语言实现感知器类。用来进行二分类任务。"""
    
    def __init__(self, eta, epoch):
        """初始化方法。
        
        Parameter:
        -------
        eta: float
            学习率。
        epoch： int
            对训练集训练的轮数。
        """
        self.eta = eta
        self.epoch = epoch
        
    def step(self, z):
        """阶跃函数。对净输入进行转换。
        
        Parameter:
        -----
        z: 标量或数组类型
            净输入。
        
        Return:
        ------
        t: 变量或数组类型。
            分类的结果。0或者1。当z >= 0时，返回1，否则返回0。
        """
#         return 1 if z >= 0 else 0
        return np.where(z >= 0, 1, 0)
        
    def fit(self, X, y):
        """训练方法。
        
        Parameter:
        X: 类数组类型。形状为 (样本数量, 特征数量)
            提供的训练集。
        y: 类数组类型。形状为(样本数量,)
            样本对应的标签（分类）
        """
        # 对类型进行转换，不管是什么二维类型，统一转换成二维的ndarray数组类型。
        X = np.asarray(X)
        y = np.asarray(y)
        # 注意：权重的数量要比特征的数量多1。多出来的一个就是偏置。
        self.w_ = np.zeros(X.shape[1] + 1)
        # 定义损失列表。用来存放每个epoch迭代之后，分类错误的数量。
        self.loss_ = []
        # 迭代epoch指定的轮数。
        for i in range(self.epoch):
            # 用来记录单次epoch的损失值(分类错误的数量)
            loss = 0
            for x, target in zip(X, y):
                # 计算净输入
                z = np.dot(x, self.w_[1:]) + self.w_[0]
                # 根据净输入，计算分类。
                y_hat = self.step(z)
#                 if target != y_hat:
#                     loss += 1
                loss += target != y_hat
                # 调整权重
                self.w_[1:] += self.eta * (target - y_hat) * x
                # 调整偏置
                self.w_[0] += self.eta * (target - y_hat)
            # 将损失值加入到损失列表当中。 
            self.loss_.append(loss)
            
    def predict(self, X):
        """预测方法。根据提供的数据集X，返回每一个样本对应的标签（分类）。
        
        Parameter:
        -----
        X: 类数组类型。形状为 (样本数量, 特征数量)
            提供预测集。
            
        Return：
        -----
        label: 类数组类型。形状为：(样本数量,)
            预测的每一个便签分类。
        """
        X = np.asarray(X)
        # 计算净输入。(矢量化计算，没有使用循环分别对每一个样本求净输出)
        z = np.dot(X, self.w_[1:]) + self.w_[0]
        # 获取最终的分类结果。（一维数组类型。）
        result = self.step(z)
        return result
# 感知器类进行测试。
X = np.array([[1, 0, 0], [1, 0, 1], [1, 1, 0], [1, 1, 1]])
y = np.array([0, 0, 0, 1])
p = Perceptron(0.1, 7)
p.fit(X, y)
print(p.w_)
print(p.loss_)
# 使用感知器实现鸢尾花的分类。
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import pandas as pd
 
# return_X_y设置为True，只返回Data与target。
X, y = load_iris(return_X_y=True)
# X.shape, y.shape
# np.concatenate 合并的数组，要求具有相同的维度，因此，需要将y变成
# 2维的形式。
data = pd.DataFrame(np.concatenate((X, y.reshape((-1, 1))), axis=1))
# np.sum(data.duplicated())
# display(data.shape)
data.drop_duplicates(inplace=True)
# display(data.shape)
 
# data[4].map({0:1, 1:-1, 2:2})
# data = data[data[4] != 2]
data[4] = data[4].map({0:10, 1:0, 2:1})
data = data[data[4] != 10]
data[4].value_counts()
# data[4].value_counts()
 
X, y = data.iloc[:, :4], data.iloc[:, 4]
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size=0.2, random_state=0)
# train_X.shape, test_X.shape
p = Perceptron(0.1, 20)
p.fit(train_X, train_y)
# 查看训练后的权重与损失情况。
# display(p.w_)
# display(p.loss_)
result = p.predict(test_X)
np.sum(test_y == result) / len(result)
 
import matplotlib as mpl
import matplotlib.pyplot as plt
mpl.rcParams["font.family"] = "SimHei"
mpl.rcParams["axes.unicode_minus"] = False
 
plt.plot(test_y.values, "go", ms=15, label="真实值")
plt.plot(result, "rx", ms=15, label="预测值")
plt.title("感知器二分类预测")
plt.xlabel("样本序号")
plt.ylabel("样本类别")
plt.legend()
plt.show()
 
# 绘制损失曲线。（每个epoch预测样本错误的数量）
plt.plot(range(1, len(p.loss_) + 1), p.loss_, "o-")

使用Python实现train_test_split方法的功能


split_index = test_size * len()
data[:split_index]  
data[split_index:]

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/286847