One Shot Learning（单样本学习） with Siamese Networks （孪生网络）using Keras

目录：
1.介绍
2.先验知识
3.classfication vs one shot leanrning
4.应用
5 omnilog 数据集
6.加载数据集
7.映射问题到二分类
8.模型的架构与训练
9.KNN模型
10.随机模型
11.测试结果和展望
12.结论
13.参考文献

1. 介绍
卷积神经网络是图像分类领域的最新方法可以说，但是卷积神经网络我们都知道需要非常庞大的数据集来支撑，万一我们无法收集到这些数据集怎么办呢? one shot learning就来啦~

2.先验知识
有一些关于使用卷积神经网络分类的经验。 但这都无所谓啦~ 学习就是一个漫漫过程。

3. classfication vs one shot learning
如果是流程化的分类操作，则需要把图像经过一层层的网络最后输出。在训练的过程中我们需要给每个类别提供大量的数据，而且我们训练的类别当中不能提供其他的类别（比如你希望分类大象和马，但你不能给一个猫），那如果我们也希望对猫进行分类的话我们就需要首先提供大量猫的数据，然后再对模型重新训练。但是现实世界是复杂变换的我们无法动态的提供大量的数据集。
接下来在one -shot -learning分类中。我们提供一个真实的例子来说明吧，假设我们要为10名员工的小型组织提供人脸识别系统（数量很少），那么如果用传统的分类方法我们会得到如下的系统:

接下来我们的问题：
a): 如果训练这样的模型，我们需要10个人都提供大量的图片，这显然不太可能。
b):如果这个公司流动性很强怎么办，有人加入和退出。
那么现在我们就需要用到 one-shot-learning.

该网络没有直接把输入的图像进行分类，而是把该人的额外参考图像。然后得到一个相似度得分，通常用softmax函数将这个得分进行压缩。0表示完全不相似，1表示完全相似。

重点：该网络并没有在学习的过程中将图像输出为任何类别，而是在学习相似度函数，将两组图像作为输入，并表示他们的相似度。

这如何解决我们之前讨论的两个问题呢？

a):在非常短的时间内，我们就可以训练好网络，我们不需要过的的数据集，只需要很少的几个实例就可以构建好一个网络。

b)：现在再来考虑刚才我们说到的公司员工流动性的问题，假如有人员的加入，为了能使得网络检测到他的人脸，我们只需要将他的脸的单个图像储存在数据库里面即可，使得这张图片作为参考图像，然后通过计算相似度函数来检测。

4.应用
pass

5.Omniglot数据集
我们使用Omnilog数据集，该数据集是来自50个不同字母的1623个手绘字符的集合，每个样本有20个。每个样本都是由不同的人绘制的，每个图像的分辨率都为105*105的灰度图像。 （A-Z的集合称为字母，A,C,D等为字符，所以我们说英文字母有26个字符。）这里我将说明下1653个字符跨越50个字母的意义（也就是说拥有50个集合）

可以分析得到我们有1653个类，并且对于每个类我们有20个样本。如果我们采用CNN等传统分类方法，那么我们不可能得到很好的结果因为我们的数据集太少。很容易产生过拟合的问题。

6.加载数据集
首先，我们需要将图像加载到张量中去，然后使用这些张量将数据批量提供给模型。我们使用下面的函数将图像加载到张量中去。

def loadimgs(path,n = 0):
    '''
    path => Path of train directory or test directory
    '''
    X=[]
    y = []
    cat_dict = {}
    lang_dict = {}
    curr_y = n
    
    # we load every alphabet seperately so we can isolate them later
    for alphabet in os.listdir(path):
        print("loading alphabet: " + alphabet)
        lang_dict[alphabet] = [curr_y,None]
        alphabet_path = os.path.join(path,alphabet)
        
        # every letter/category has it's own column in the array, so  load seperately
        for letter in os.listdir(alphabet_path):
            cat_dict[curr_y] = (alphabet, letter)
            category_images=[]
            letter_path = os.path.join(alphabet_path, letter)
            
            # read all the images in the current category
            for filename in os.listdir(letter_path):
                image_path = os.path.join(letter_path, filename)
                image = imread(image_path)
                category_images.append(image)
                y.append(curr_y)
            try:
                X.append(np.stack(category_images))
            # edge case  - last one
            except ValueError as e:
                print(e)
                print("error - category_images:", category_images)
            curr_y += 1
            lang_dict[alphabet][1] = curr_y - 1
    y = np.vstack(y)
    X = np.stack(X)
    return X,y,lang_dict
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39