IAPR/IEEE Winter School on Biometrics 2021 - 笔记总目录_生物特征识别冬令营

本文是2021生物特征识别冬令营(IAPR/IEEE Winter School on Biometrics 2021 )的课程记录目录，每一个标题链接到我对课程的一些关键记录。自费交的学费，不能白交，所以把知识分享给读者大人，做一个知识的二道贩子, 不收读者1分钱，而且也欢迎读者大人能够和我联系，一起探讨。同时也需要读者大人明确，有很多地方没有记全，也有很多遗漏。信息可能有误，具体准确信息需要咨询讲解老师本人。 另外一个问题，所有文章里面的资料都是来自于老师公开的PPT，如果您要使用这类资料，请咨询相应的老师本人。这些大牛都很平易近人，只管联系他们！

Day 1 (Jan 24)[物特征识别的一些基础,掌纹识别,人脸识别，Soft Biometrics]

1. Opening + Tieniu Tan, Fundamentals and Recent Progress of Biometrics| 实际上是中科院孙老师讲解生物特征识别的一些基础和最新进展。
   【 生物特征识别学术平台公众号的总结】生活中有各种各样的应用需要个体的识别，但是传统识别方法，如ID卡，密码等过于繁琐，且安全保障低。因此，我们生物识别技术应运而生。孙教授将生物识别技术分6个大类，分别是指纹识别，虹膜识别，人脸识别，步态识别，人员重新识别和其他。一一讲解每一种识别方法的基本原理和优缺点。最后提出了生物识别技术在未来可能面临的一些挑战和该技术在未来前进的方向。

2. Ajay Kumar, Less-Constrained and Completely Contactless Palmprint Identification
   【 生物特征识别学术平台公众号的总结】首先，Ajay Kumar教授简单介绍了掌纹识别的由来和应用，并解释了掌纹识别技术中如何定位感兴趣区和掌纹识别早期工作中的一些局限性，例如无法在复杂的环境下进行手掌感兴趣区的提取和处理。随后，Ajay Kumar教授又给我们讲解了接触式和非接触式掌纹识别的差异，以及非接触式掌纹识别的优势。最后Ajay Kumar教授介绍了自己组是如何在复杂背景下是如何完成掌纹检测的，并比较了在两组数据集下，掌纹采集系统的不同表现，同时还比较了在统一数据集但不同传感器下的跨传感器匹配情况和结合了手掌血管图像的跨谱的匹配情况。

3. Jing Xiao, Biometrics for Finance

4. Massimo Tistarelli, Human Face Recognition: Learning from Biological Deep Networks
   【 生物特征识别学术平台公众号的总结】意大利萨萨里大学的Massimo Tistarelli教授指出，在过去的十年中，深度学习技术极大地影响了计算视觉的许多方面。现在，可以经过适当调整和培训深度网络来执行许多困难的视觉任务。在过去的几年中，已经提出了在大型的数据集上进行训练的几个或更复杂的深度卷积网络，仍然在颇具挑战性的公共数据库上提高了性能标准。Massimo Tistarelli教授分析了一个混合模型网络，试图更好地理解不同层地作用，包括通过对数极性图像重采样模拟地视网膜皮层映射。在参会人员的提问下，Massimo Tistarelli教授详细地回答了关于深度卷积网络中的表示空间，以及表示空间如何反映人类视觉皮层组织等专业问题。

5. Mark Nixon, Soft Biometrics for Human Identification
   【 生物特征识别学术平台公众号的总结】英国南安普顿大学的Mark Nixon教授首先讲述了传统生物识别系统的不足，比如对于一些图像分辨率低，无法获得面部和其他传统性信息的犯罪情况不能进行很好的处理（戴面罩，伪装的犯罪分子）。因此，我们需要对年龄和性别的估算来扩充数据。在南安普顿，Mark Nixon教授一直致力于使用人类衍生标签的措施来进行识别，这是一个涵盖计算机科学和心理学的全新领域，弥合了计算机和人类视觉之间的语义鸿沟。

Day 2 (Jan 25)[生物特征识别基础，虹膜识别，指纹，OpenCV,ARM开发板开发人脸识别]

6. Anil Jain, Biometrics: Past, Present and Future，MSU顶级大牛Anil Jain讲解Biometric的研究
   【 生物特征识别学术平台公众号的总结】以生物特征识别的过去、现在、未来为脉络，梳理了生物特征识别的发展历程以及各式各样的生物特征识别应用。

7. Zhenan Sun, Iris Recognition: Sensors, Algorithms and Applications，中科院自动化所孙老师讲解虹膜识别
   【 生物特征识别学术平台公众号的总结】从虹膜是什么开始说起，再到虹膜识别的流程、发展，做了详尽的基础知识解释。然后，孙哲南教授从虹膜图像的获取、预处理、识别三个方面为同学们介绍了虹膜识别的具体细节。特别地，在虹膜识别中如何提取特征这个问题上，孙教授梳理了特征提取方法的发展历史，并着重介绍了一些具有代表性的方法。最后，孙教授介绍了虹膜识别的路线图，并总结了一些待解决的问题和虹膜识别的未来发展方向。

8. Face recognition system development on ARM using OpenCV by Vadim Pisarevsky and Jia Wu, OpenCV China Team
   来自OpenCV 的Vadim老师讲述了OpenCV4.x的新特性，OpenCV5.x的未来计划。如何使用opencv在ARM开发板设计开发一个人脸识别系统。

9. Raffaele Cappelli, Hands on Fingerprint Recognition with OpenCV and Python
   第一部分
   第二部分

【 生物特征识别学术平台公众号的总结】意大利博洛尼亚大学的Raffaele Cappelli教授用实机演示的方式向同学们讲解了如何使用传统的指纹特征提取方法，进行指纹识别。从分割脊线图案、估计脊线方向和频率，再到增强脊线图案和细节检测，每一个步骤都用python+OpenCV展示了具体的例子，生动而又形象。

Day 3 (Jan 26)[保护隐私，步态识别，签名认证，怎么写paper]

10. Arun Ross, Privacy Preserving Biometrics大牛讲解保护隐私的生物特征识别，怎么去掉某一维度的隐私信息
    【 生物特征识别学术平台公众号的总结】首先介绍了隐私保护的重要性和生物特征识别的级别概念。接着以人脸和虹膜为例，介绍目前已有研究表明可以通过人脸图片自动获取到如年龄、性别、人种和体重等信息，从而侵犯用户的个人隐私，因此，有效地对用户的人脸图片进行保护尤为重要。Ross教授讨论了使用图像扰动做隐私保护的方法，具体是在用户图片数据库中使用半对抗神经网络生成新的图像，在新生成的图像中保留对认证有效的信息，去除其他信息，从而有效地保护了用户的隐私。Ross教授还向同学们展示了他们研究团队在这方面的成果包括SAN、FlowSAN、PrivacyNet等模型。
11. Chen Change Loy, Deep Generative Prior
    【 生物特征识别学术平台公众号的总结】Loy教授本次分享他们研究团队最新的研究成果，通过在大规模图像数据集上训练对抗生成网络，获取到丰富的图像先验信息。Loy教授非常详细地向同学们介绍他们团队的最新研究，从idea的构思，到网络结构、损失函数和训练步骤的设计，最后还介绍了该研究的具体应用方向。他们的方法（Deep generative prior）能有有效地恢复图像丢失的一些信息，比如颜色恢复、给受损的图像打补丁和提高图像分辨率等等。该方法不仅可以用于图像复原，也有助于图像编辑，例如处理带有随机抖动或者形变的图像。Loy教授还进一步介绍了带有图像先验信息的GAN能从二维的RGB图像中挖掘出三维几何信息。
12. Yasushi Yagi, Gait Recognition
    【 生物特征识别学术平台公众号的总结】日本大阪大学科学与工程研究所的Yasushi Yagi教授介绍了步态识别的优势，步态识别具有一些与其他生物特征不同的独特优势，比如不需要认证个体的专门配合就能够实现身份认证，一直是生物特征识别领域的研究热点之一，这也是研究生物特征识别的参会学生非常感兴趣的内容。Yagi教授接着介绍的是步态特征提取的标准方法，认证和匹配，以及步态识别的性能评价方法。Yagi教授还向同学们展示了一个能实际应用的步态认证系统和介绍了户外场景中步态识别研究面临的挑战。
13. Face recognition system development on ARM using OpenCV by Vadim Pisarevsky and Jia Wu, OpenCV China Team
14. Julian Fierrez, Part 1: Signature and Touchscreen Biometrics. Part 2: Biometrics for Forensics
    【 生物特征识别学术平台公众号的总结】Fierrez教授的研究领域是信号和图像处理、人工智能基础与应用、人机交互以及用于安全和人类行为分析的生物特征识别技术。 Fierrez教授首先对签名认证的发展背景做了简要介绍，并引入在线签名认证。Fierrez将在线签名认证分为三个大步骤，第一步是数据获取和预处理，第二步是特征提取，第三步是相似度计算，之后对这三个步骤分别做了详细的讲解，介绍过程深入浅出，连贯而自然。接着Fierrez教授还介绍了签名认证领域的性能评价，包括数据集和基准方法。Fiereez教授还跟同学们介绍了签名认证中模板老化对认证结果的影响，一个常用的解决方法是模板更新。随后Fiereez展示了签名认证的一些应用实例，让同学们更加清楚地了解签名认证在实际生活中的应用场景和优势。此外，为了开拓同学们的视野，Fiereez还向同学们介绍了一些由签名认证延申出来的研究方向，包括手写密码、触控手势、图形密码、滑屏特征、合成签名生成和健康数据监测等等。最后，Fierrez教授点出未来值得研究的方向，包括新场景的适用研究、结合上下文信息的研究以及适应用户的研究。第二部分给出了法证的应用。
15. Mark Nixon On Writing Journal Papers， Mark老师讲解怎么写期刊论文，值得一看
    【 生物特征识别学术平台公众号的总结】 Nixon教授首先介绍了自己学术生涯中，随着年龄增长对论文投稿目标期刊or会议的选择变化，分享自己的亲身经历和感受。随后Nixon教授先告诉同学们解释了为什么要写期刊论文和应该发表什么水平的期刊论文，同学们听后更加了解写期刊论文的重要性。此后，Nixon教授还进一步向同学们详细地介绍了期刊的选择、作者署名、需要注意的基本信息、常用的写作工具、审稿流程、出版系统以及一些过程中棘手问题的处理。此外，Nixon教授还提出了一些经常可能出现的错误和避免的方法。

Day 4 (Jan 27) [联邦学习,人脸识别的 Anti-spoofing,多模态融合]

16. Vishal M Patel, Federated learning for biometrics applications
    联邦学习可以让分布式的设备在不暴露数据的情况下学习到一个全局的模型。 Pate介绍了联邦学习的基础知识，以及一些基本的应用。随后讨论了现在的一些方法的不足，未来的值得关注的研究方向。
17. P C Yuen, Face Biometrics System Security
    Pong C Yuen讲解了人脸识别的 Anti-spoofing。
18. Face recognition system development on ARM using OpenCV by Vadim Pisarevsky and Jia Wu, OpenCV China Team
19. Mauro Barni, Deep learning security and biometric-based authentication: threats and defenses
    【 生物特征识别学术平台公众号的总结】
20. Josef Kittler, Fusion of Multimodal Biometrics
    【 生物特征识别学术平台公众号的总结】Prof. Barni first introduced the application of deep learning in security, which has been proved the possibility of being attacked. In the processing of application based on biometrics features in human identity. Prof. Barni took the identity system of face recognition as an example. Now biometrics researchers will face a challenge about how to change the deep weakness to reality and the countermeasure of how to avoid the attack.

Day 5 (Jan 28)[人脸攻击，监控视频中的Biometric，Presentation Attacks]

21. Xiaoming Liu, Face Presentation Attacks: Physical and Digital
    【 生物特征识别学术平台公众号的总结】首先，Xiaoming Liu教授为我们介绍了几种人脸攻击的方式，包括物理攻击（例如人脸欺骗）以及数字攻击（例如对抗攻击和数字操控攻击）。紧接着，Xiaoming Liu教授为我们介绍了人脸反欺骗技术的发展路线，从原始基于交互的方法，到基于纹理的方法，再到基于深度学习的方法。 该报告深入讲解了基于深度学习的方法，包括直接人脸反欺骗，辅助性人脸反欺骗，以及生成式人脸反欺骗。基于上述几种攻击方式，最后，Liu教授为我们介绍了未来的研究方向，例如利用对抗学习进行可解释性的人脸系统，攻防系统的二次对抗攻击，以及如何设计度量方法来评估对抗人脸的鲁棒性等。
22. Weihong Deng, Jing Dong, Feng Liu, Yong Xu and Jianguo Zhang: Women in Engineering society
23. Brian Lovell, Biometrics in Surveillance Videos
    【 生物特征识别学术平台公众号的总结】时至今日，人脸识别面临一些全新的现实问题。由于疫情影响，人们出行都带上了口罩，这给监控人脸识别带来了巨大的挑战。另外，道德问题也日益凸显。Lovell教授也给我们介绍了在口罩人脸识别问题上的最新工作进展。对于研究者来说，口罩人脸识别将是优先级别最高的任务。当然，对于人脸识别研究者来说，这也将是令人激动的时刻。Lovell教授指出，解决这个问题的第一步应当是建立一个大的数据集，以支撑研究人员进行深入的研究。澳洲在伦理问题是制定了严格的法律，因此制作一个符合要求的数据集将会有助于研究。Lovell讲解了他们的生成人脸的一些工作
24. Sébastien Marcel, Biometric Presentation Attack Detection
    【 生物特征识别学术平台公众号的总结】此次报告介绍了现实世界的Presentation Attacks，包括直接攻击和间接攻击，并给出了**Spoofing Attack，Anti-Spoofing, Presentation Attack(PA), Presentation Attack Detection(PAD)**等的定义。随后，Marcel教授介绍了Face PAs, 包括2D face PA (如printed paper, photo/video screen, morphed face，DeepFakes等) 和3D face PA (如3D silicone masks, 3D make-up等)。为了解决现有的PA问题，该报告介绍了一些Face PAD的相关工作，如眨眼，运动，纹理分析，频率分析，以及图像质量分析等。

Charles@Shenzhen,2020-02-01