手搓函数，实现train_test_split一样的数据集划分_test train split选取是否重复

在机器学习训练算法模型之前，我们一般都需要对数据集进行划分为训练集和测试集。训练集用作机器学习训练得出算法模型，而测试集用来对训练出来的模型进行检验。 

在sklearn中可以从sklearn.model selection中调用train_test_split函数方法实现数据集的划分。

1、train_test_split

今天我们来手搓一个函数实现train_test_split一样的数据集划分。

话不多说，我们直接先上代码!

from random import randrange
from random import seed
 
 
def train_test_split(data, proportion=0.7, random_seed=None):
    train_data = []
    seed(random_seed)
    train_size = proportion*len(data)
    data_copy = list(data)
 
    while len(train_data) < train_size:
        train_data_index = randrange(len(data_copy))
        train_data.append(data_copy.pop(train_data_index))
    return train_data, data_copy
 
 
data = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11]]
train, test = train_test_split(data, proportion=0.7)
print(train)
print(test)
'
运行
运行

data是我们要划分的数据集，proportion是划分占比，random_seed是随机数种子（正整数），默认是None，每次划分结果随机。

这里我们只用了random库的randrange和seed方法。

其中randrange是用作生成随机数，而seed是为了保持同一个随机状态，可以实现一个随机数种子一个随机结果，只要随机数种子不变，就保持一样的结果。

我们下面举例子说明，相信你就清楚了。

比如，我们把random_seed赋值为22，我们会发现多次运行结果是一致的。

data = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11]]
train, test = train_test_split(data, proportion=0.7, random_seed=22)
print(train)
print(test)

 我们再把random_seed赋值为66，看下运行结果，你会发现结果变了。我们可以通过seed方法实现一个伪随机。

 2、k_fold

机器学习中除了划分数据集，还有一个交叉验证也是经常会使用到的，且实现原理类似。

我们直接上代码，k值是指划分成多少份。

def k_fold(data, k=5, random_seed=22):
    train_data = []
    seed(random_seed)
    train_size = int(len(data)/k)
    data_copy = list(data)
 
    for i in range(k):
        data_basket = []
        while len(data_basket) < train_size:
            data_basket_index = randrange(len(data_copy))
            data_basket.append(data_copy.pop(data_basket_index))
        train_data.append(data_basket)
    return train_data
 
 
data = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11]]
train = k_fold(data)
print(train)

仔细看我们会发现，思想和前面类似。

思考：这样的实现方法会出现数据丢失的情况，怎样解决好呢？或者几乎无影响可以不管呢？