【图像拼接（Image Stitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用方法、阅读顺序、创新思路、文章汇总、源码汇总、数据集汇总等。总之，【图像拼接论文相关】看这一篇就够了_图像拼接数据集

---

前言

为什么会有这篇文章？

• 因为专栏简介里写不下太多东西，只能通过这篇文章和大家交流，算是一个专栏阅读指南吧。

说点心里话

• 本来吧，我只想用CSDN来记录自己学习【图像拼接】领域论文的过程，对每篇文章有个细致的理解，方便自己反复查阅。设置为付费也是因为涉及论文和本人其他项目需要，防止查重和其他问题，所以价格最开始设置的是专栏付费价格里最高的。起初，确实没有人看，一切也都平淡地度过着。直到我毕业了走上工作岗位后，我才发现原本我以为的非常小众的研究领域竟然有这么多人在关注，私信我的朋友很多，大多是硕士博士要搞这方面的研究，而且导师可能比较放养。慢慢地订阅也开始多了起来，我发现后立马降低了专栏价格，以一个平台分成后算是比较合理的价格设置。由于【图像拼接】领域过于小众，难度大，门槛高，研究的人少，需要数学和图形学的基础支撑，做讲解、教程的人也少，我仗着自己在该领域摸爬滚打了解过几年，斗胆做了这样一个专栏，供需要该领域研究的学者们快速阅读理解图像拼接论文。

• 虽然工作了，但是该专栏永久更新，有新的图像拼接（Image Stitching）领域论文诞生，我会第一时间给大家做论文精读。

• 有源码的论文，源码解读会在另一个专栏更新，不过会慢一些因为需要花时间去研究。基于传统特征的方法大多数是matlab的，基于深度学习的方法是python的，一定会更新的。大家可以关注一下。图像拼接论文源码精读专栏：图像拼接论文源码精读

• 我认为论文不存在细读和粗读，也不以人的喜好为转移。比如某个论文是用matlab实现的算法，因为你不会或者不喜欢matlab，那这篇文章就不看了吗？即使你做深度学习算法，也要大概了解并且跑出结果，才能对比。

• 如果你有发论文的需求，那么每篇文章都要读。图像拼接领域不像其他领域文章多，是可以都读完的。不为了创新，也为了写作，多看别人怎么写的，自己才会写。（专栏目录已经列出了几乎所有的图像拼接论文，每篇文章都有翻译+解析，可以直接点进去查阅）

• 感谢大家听我说了这么多流水账，我会把该领域的论文和源码做好的，决不辜负订阅这个专栏的人。

专栏简介

图像拼接领域及方向的论文精读，包括论文各部分理解、复现以及总结延申。论文包括基于传统特征的图像拼接方法和基于深度学习的图像拼接论文。对应的源码解读请见另一个专栏，两部分同步阅读。从原理解读、算法推导，再到源码复现，带领你深入理解图像拼接在现有技术基础之上的最新研究成果。

图像拼接领域是一个大的工作流程，本专栏包括但不限于：图像拼接（Image Stitching）、视频拼接（Video Stitching）、图像翘曲（Image Warping）、图像对齐（Image Alignment）、图像匹配（Image Matching）、拼接评估（Stitching Evaluation）、单应估计（Homography Estimation）、网格变形（Mesh/Grid Warp）、图形学相关知识（集合变换、相机参数、光流、图割、径向基函数、相机参数）、数学相关知识（量化指标SSIM、PSNR、RMSE、NCC、ZNCC、SVD、最小二乘）等。只要是与【图像拼接】有关，本专栏的论文都会涉及，读者可以根据所需进行阅读和涉猎。

论文需要略读和精读，一些没有源码的文章我可能就粗略一点，可以作为增长见识和拓展思路来阅读，一些有源码的顶会/顶刊文章需要精读，我会写的比较细致，除了搞懂思路和创新点，也要在其中学到知识，如何为己所用，如何寻找创新点并实现。

该专栏并不仅仅是机械的翻译文章而已，而是在阅读的过程中体会，如何阅读文献，如何寻找创新点，如何自己写论文。毕竟，都是要发文章的，不看别人怎么写的，自己怎么会写呢。

其实最简单的也是大家最常用的办法，就是先写中文论文，再翻译成英文，最后润色。

那么中文论文是怎么来的呢？图像拼接领域的一些词汇如何表述才能翻译的更精准呢？那就是看本专栏了。

除此之外，本专栏文章的公式全部按照原文章的公式书写，有需要markdown公式的朋友可以留言或者私信我。CSDN的markdown语法有的和overleaf不太一样，写论文的时候注意一下。

常用的Markdown语法，用于使用overleaf写论文速查：Markdown编辑论文中常见公式符号(持续更新)

专栏亮点

• 省时：全网最全的【图像拼接】论文精读专栏。图像拼接领域论文全覆盖，以【年份-会议/期刊-论文题目-论文地址和源码地址】的目录形式展示。每篇论文中的图像数据也以表格的形式汇总，读者可以自行下载。此外，还有一些其他领域中零散的知识点解读。结合市面上能搜集到的资料深入浅出解读，节省搜论文的时间。
• 省力：手把手带你读论文，理解文章的算法和创新点，剖析繁杂的数学公式，避免一个人对着论文死磕但还是不理解的情况出现。同时，专栏中还包含我自己的理解以及词句积累，帮助你了解论文内容和结构，学会写论文。
• 省事：专栏永久更新，第一时间更新最新的图像拼接领域和与【图像拼接】相关的论文并私信告知，关注订阅后一劳永逸。可以随时留言交流，大家一起讨论总比一个人死磕要强。

承蒙大家厚爱，本专栏最高位于CSDN热门专栏榜第3名。

专栏文章平均质量分96：

适用人群

研究图像拼接领域的硕士、博士和其他该领域工作者。尤其是不愿意自己读论文的同学。 帮助你快速上手，入门科研，入门图像拼接。帮助你快速找到本领域相关论文、代码、数据集，节省时间。

如果你的导师不懂该领域，又放养你，你很迷茫，不知道该在哪学习，那这篇专栏就再合适不过了。看看你是对传统图像拼接感兴趣，还是对基于深度学习的图像拼接感兴趣。

如果你已经在该领域学习一段时间，有一定的基础，那么可以直接去订阅【图像拼接源码精读】专栏，毕竟发文章还是得做实验跑代码的，读懂代码，才能知道如何改进，如何创新。不建议没有任何图像拼接基础的同学直接订阅【图像拼接源码精读】专栏，因为本专栏不仅有论文精读，还又一些基础的图像拼接相关的知识，比如单应、TPS、图割等等，还涉及很多图形学的知识，比如刚性变换，三角剖分，网格变形，超像素等。图像拼接是个很庞大的工作流程，每个步骤都可以单独拿出来进行改进，所以还是尽可能多的阅读论文，了解思路。

要明确你的目标，是为了发文章毕业，还是为了搞算法研究，还是为了工程项目。

使用方法

如果电脑分屏阅读，那就原论文一个屏幕，本专栏文章一个屏幕，对照着阅读。
如果没有菊花链这样的多显示器，那就使用ipad或者手机等，尽量保证原文和精读文章同时显示。
实在没有，就同一个屏幕一边一半显示。
如果用手机或者pad阅读，则建议先大概看一下原文，有点了解之后再直接看本专栏文章。

论文本身重点关注：摘要，创新点部分（一般在介绍部分结尾，相关工作之前。作者会列出来），算法部分，实验部分。其中：

• 摘要和创新点部分主要了解作者做了什么事，解决了什么问题。如果它是基于某篇论文创新的，那么要先了解上一篇工作的大概算法；
• 算法部分重点说一下，如果你想快速理解并上手，那么就忽略繁琐的公式，尽量用纸笔简单的过一遍。因为图像拼接就是参照图和目标图，warp后一顿折腾，跟着走一遍比较顺畅。论文中的公式大多写的比较繁琐的原因是因为它是论文，不是教程，只是让你看着高端。其实有的公式，很简单就能写明。我倒不是吐槽，而是告诉你，当你发论文的时候，你也要这么写。所以，算法部分除了理解，更多的是要学习它的写法，用在你自己要发的论文里。最后，着重注意有参数的公式、用了某些函数的公式，因为那可能是你创新的依据和来源。比较简单的创新就是调参，比较高端的创新就是改公式。比如创造能量函数，给能量函数添加项等。
• 实验部分：重点看原作者是怎么做实验的，如何对比说明的自己的方法比SOTA方法更好。要随时记录，尽可能地让实验丰富。纵向对比，横向对比，消融实验等。注：不一定所有的待拼接图像在某个算法上的效果都好，那不成神仙了。论文作者只是挑了比较好的结果展示，你得自己动手跑一下，试一下，看一看，想想为啥有的图像拼接效果不好。这不就分析出特征了吗？没准科研就是思路了，研究方向就有了。

本专栏还是更多的让大家会读论文，试着写论文，至于论文的内容，如何创新，如何读代码，做实验，更多的细节和想法还是写在另一个专栏中。

本专栏的文章中，会有我自己读该论文时候的心得体会和吐槽，会用红色标注出来。另外，有的文章我会自己总结，还会展示展示不同数据集上的效果。

• 有源码的论文配合【图像拼接源码精读专栏】使用，精通原理，方便改进。
• 无源码的论文，学习写文章，讲故事思路，创新思路。

阅读顺序

专栏中的文章标题有缩写的是比较经典的，可以作为论文中实验部分的比较方法。是必看的！而且代码也要跑通，得能跑出结果才能展示实验，对比结果。

基于传统方法的图像拼接：AutoStitch、APAP、AANAP、SPW、LPC、GSP、GES-GSP

AANAP是在APAP基础上实现的，LPC是在SPW基础上实现的，代码风格类似，matlab实现的
GSP、GES-GSP是C++实现的
其他：SPHP、ELA等，代码风格差异很大，各自单独看即可。

基于学习的图像拼接：UDIS，UDIS++

基于学习的图像拼接论文包含机器学习和深度学习。
其他：有两篇R1约束的文章不错，是基于机器学习的。matlab实现。其余的基本是python实现。

20231130更新：目前基于深度学习的论文精读写的比较少，后面狂补。基于传统方法的SOTA方法基本都涉及到了，有漏的后面我再补上，正在写源码精读专栏，matlab生疏了，敬请期待。目前主要更新基于深度学习的图像拼接方法，既是主流研究方向，具有实时性，而且比较容易创新，所以暂时以其为主。

潜在的创新方向

图像拼接工作流程：

基于传统的图像拼接方法基本上是照着如上步骤进行的。在论文中可以叫pipline，overview等。两张图像经过预处理、特征匹配、图像翘曲（warp）、图像融合最后得到拼接结果。可以创新的步骤有：特征检测与匹配、图像翘曲、图像融合。

特征检测与匹配：单拿出来已经在图像配准领域发展的很好了，有很多深度学习的特征匹配算法。但是不能单拿出来用到图像拼接流程里，因为特征没有sift准，感受野也不同。如果你想特征匹配用深度学习的方法，那么就要考虑后面的流程如何改进。

图像翘曲：从全局单应到局部单应是创新，从局部单应的网格变形再到三角剖分和超像素是创新，现在的发展就是机器学习、深度学习去学习出翘曲后的图像。那么问题就是无法标注真值，所以无监督比较火，也是现在聂大佬在做的。机器学习用约束限制，23年CVPR也发过文章，不知道以后能不能发展起来。除此之外，可以考虑重叠区域和非重叠区域的平滑问题，这也有很多人做过了，但是可以试试不同的方法。

图像融合：常规的融合方法，加权平均融合，接缝线融合，接缝线融合还能玩出花来吗？换目标函数没准是个思路。有用sigmoid的。廖老师有几篇不错的基于接缝线的融合，可以多看看。单独拿出来看看图像融合领域的文章不知道能不能有思路。

除了这些，全景图后处理也是不错的研究方向。聂大佬这两年就改进了何凯明的两篇图形学文章，全景拼接图矩形化和图像内容旋转矫正的。都是用深度学习改进的，读一读看看能不能改进提升。扩散模型应用到图像拼接领域会是未来热点。

深度单应估计，单拿出来研究也比较火，不一定非要卷拼接结果。

还有一些手段可以尝试作为思路：颜色修正，直方图平滑，光照等因素。

评价指标也可以作为一个新的创新思路，除了SSIM、PSNR、RMSE等常规量化评价指标，还是否能出现更有说服力的新评价方法。

以上提到的文章都会出现在本专栏中，有源码的论文也会出现在另一个【源码精读】专栏中。

更多详细的【图像拼接】研究思路和创新见专栏中的其他文章，比较详细。这里仅作为一个概述。

订阅专栏的同学有问题随时私信我，看见了都会回复。

最后，感谢大家厚爱，共同努力。

【图像拼接论文精读】专栏文章目录

相关知识

1. 【图像拼接】论文精读：As-Rigid-As-Possible Shape Manipulation（ARAP） —— 网格变换基础
2. 【图像拼接/变换】Planar Affine Rectification from Change of Scale —— 仿射变换理论基础
3. 【图像拼接】论文精读：Seam Carving for Content-Aware Image Resizing —— seam-cutting基础
4. 【论文精读】GMS: Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence —— 新特征匹配方法，可替换SIFT+RANSAC
5. 【图像拼接】论文精读：Content-Preserving Warps for 3D Video Stabilization（CPW） —— 内容结构保持的理论基础
6. 【图像拼接】论文精读：Content-Aware Rotation —— 内容感知旋转校正
7. 【图像拼接】论文精读：Rectangling panoramic images via warping —— 全景图像矩形化
8. 【图像拼接】论文精读：Direct Photometric Alignment by Mesh Deformation (MPA)(Mesh-based PhotometricAlignment) —— 网格变形光度对齐
9. 【图像拼接/深度单应估计】论文精读：Deep Homography Estimation for Dynamic Scenes —— 深度单应估计
10. 【图像拼接/深度单应估计】论文精读：Content-Aware Unsupervised Deep Homography Estimation —— 深度单应估计，入门深度学习图像拼接先看这两篇
11. 【图像拼接】论文精读：Minimum Barrier Salient Object Detection at 80 FPS（MBS/MBD） —— 基于接缝线中6所使用的知识
12. 【图像拼接/线段匹配】论文精读：Novel Coplanar Line-points Invariants for Robust Line Matching Across Views（CN） —— LPC（基于空域变换翘曲中6所用知识）
13. 【图像拼接/线段匹配】论文精读：Line Matching in Wide-Baseline Stereo: A Top-Down Approach —— 可替换的线段匹配方法
14. 【图像拼接/深度单应】论文精读：Deep Image Homography Estimation（HomographyNet）
    —— 深度单应基础
    【图像拼接/深度单应】论文精读：Unsupervised Deep Homography: A Fast and Robust Homography Estimation Model —— 深度单应基础

经典算法

1. 【图像拼接】论文精读：Automatic Panoramic Image Stitching using Invariant Features（Autostitch）
2. 【图像拼接】论文精读：Smoothly varying affine stitching（SVA）
3. 【图像拼接】论文精读：Constructing image panoramas using dual-homography warping（DHW/DH）

基于空域变换翘曲（以APAP为代表的网格warp）

1. 【图像拼接】论文精读：As-Projective-As-Possible Image Stitching with Moving DLT（APAP）
2. 【图像拼接】论文精读：Shape-Preserving Half-Projective Warps for Image Stitching（SPHP）
3. 【图像拼接】论文精读：Adaptive As-Natural-As-Possible Image Stitching（AANAP）
4. 【图像拼接】论文精读：Quasi-Homography Warps in Image Stitching（QHW）
5. 【图像拼接】论文精读：Single-Perspective Warps in Natural Image Stitching（SPW）
6. 【图像拼接】Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching（LPC）
7. 【图像拼接】论文精读：Parallax-Tolerant Image Stitching Based on Robust Elastic Warping（ELA/REW）
8. 【图像拼接】论文精读：Local-Adaptive Image Alignment Based on Triangular Facet Approximation（TFT/TFA）
9. 【图像拼接】论文精读：Natural Image Stitching Using Depth Maps
10. 【图像拼接】论文精读：Dual-Feature Warping-based Motion Model Estimation（DFW）
11. 【图像拼接】论文精读：Natural Image Stitching with the Global Similarity Prior（NISwGSP/GSP/NIS）
12. 【图像拼接】论文精读：Geometric Structure Preserving Warp for Natural Image Stitching（GES-GSP）
13. 【图像拼接】论文精读：Object-level Geometric Structure Preserving for Natural Image Stitching（OBJ-GSP）

基于接缝线（Seam-guided、graph-cut）

1. 【图像拼接】论文精读：Seam-Driven Image Stitching
2. 【图像拼接】论文精读：Parallax-tolerant Image Stitching
3. 【图像拼接】论文精读：SEAGULL: Seam-Guided Local Alignment for Parallax-Tolerant Image Stitching（SEAGULL）
4. 【图像拼接】论文精读：Coarse-to-fine Seam Estimation for Image Stitching
5. 【图像拼接】论文精读：Perception-based energy functions in seam-cutting
6. 【图像拼接】论文精读：Perception-based seam cutting for image stitching
7. 【图像拼接】论文精读：Quality evaluation-based iterative seam estimation for image stitching
8. 【图像拼接】论文精读：Graph-based Hypothesis Generation for Parallax-tolerant Image Stitching
9. 【图像拼接】论文精读：Seam-guided local alignment and stitching for large parallax images
10. 【图像拼接】论文精读：Fast and robust seam estimation to seamless image stitching（FARSE）
11. 【图像拼接】论文精读：Optimized Seam-Driven Image Stitching Method Based on Scene Depth Information

基于深度学习（deep learning）

需要相关知识中的深度单应（deep homography）基础。

1. 【图像拼接】论文精读：A view-free image stitching network based on global homography（VFIS）
2. 【图像拼接】论文精读：Depth-Aware Multi-Grid Deep Homography Estimation with Contextual Correlation（CCL）
3. 【图像拼接】论文精读：Learning Edge-Preserved Image Stitching from Large-Baseline Deep Homography
4. 【图像拼接】论文精读：Unsupervised Deep Image Stitching: Reconstructing Stitched Features to Images（UDIS）
5. 【图像拼接】论文精读：Parallax-Tolerant Unsupervised Deep Image Stitching（UDIS++）
6. 【图像拼接】论文精读：Learning Residual Elastic Warps for Image Stitching under Dirichlet Boundary Condition（REwarp）
7. 【图像拼接】论文精读：Implicit Neural Image Stitching With Enhanced and Blended Feature Reconstruction（NIS）
8. 【图像拼接】论文精读：Deep Seam Prediction for Image Stitching Based on Selection Consistency Loss（DSeam）
9. 【图像拼接】论文精读：Pixel-wise Deep Image Stitching（PWM+SIGMo）
10. 【图像拼接】论文精读：Deep Rotation Correction without Angle Prior（DRC） —— 对应相关知识6
11. 【图像拼接】论文精读：Deep Rectangling for Image Stitching: A Learning Baseline（DIR） —— 对应相关知识7
12. 【图像拼接/旋转校正】论文精读：Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond —— 10的进一步改进
13. 【图像拼接/图像矩形化/图像矩形校正】矩形矫正网络 RecRecNet: 通过薄板样条模型和基于自由度的课程学习矩形校正广角图像
14. 【图像拼接】论文精读：Rectangular-Output Image Stitching（RDISNet）
15. 【图像拼接】论文精读Towards Robust Image Stitching: An Adaptive Resistance Learning against Compatible Attacks
16. 【图像拼接/扩散模型】论文精读：RecDiffusion: Rectangling for Image Stitching with Diffusion Models（重磅！CVPR 2024）

见多识广（others，可用作参考文献）

1. 【图像拼接】论文精读：Line meets as-projective-as-possible image stitching with moving DLT（L-mDLT） —— APAP改进：加上line约束
2. 【图像拼接】论文精读：Correspondence Insertion for As-Projective-As-Possible Image Stitching（CI+APAP） —— APAP改进：加CI
3. 【图像拼接】论文精读：Warping Residual Based Image Stitching for Large Parallax —— 超像素
4. 【图像拼接】论文精读：Robust Alignment for Panoramic Stitching Via an Exact Rank Constraint（BRAS) —— rank-1机器学习思想
5. 【图像拼接】论文精读：Automatic Color Image Stitching Using Quaternion Rank-1 Alignment（QR1A+PSQ=ACIS-QR1A） —— 4的改进
6. 【图像拼接】论文精读：Automatic Quaternion-Domain Color Image Stitching（AQCIS） —— 5的改进，4和5同一作者
7. 【图像拼接】论文精读：Image stitching method by multi-feature constrained alignment and colour adjustment —— 颜色
8. 【图像拼接】论文精读：Stable Linear Structures and Seam Measurements for Parallax Image Stitching —— 结构
9. 【图像拼接】论文精读：Shape-optimizing hybrid warping for image stitching —— 单应变换和相似变换混合
10. 【图像拼接】论文精读：Shape-Optimizing and Illumination-Smoothing Image Stitching —— 光照
11. 【图像拼接】论文精读：Locally Warping-based Image Stitching by Imposing Line Constraints —— 结构
12. 【图像拼接】论文精读：A Novel Projective-Consistent Plane Based Image Stitching Method —— 投影面一致
13. 【图像拼接】Misalignment-eliminated warp image stitching method with grid-based motion statistics matching —— GMS代替SIFT+RANSAC
14. 【图像拼接】论文精读：Parallax-Tolerant Image Stitching with Epipolar Displacement Field（EDF） —— 极线几何
15. 【图像拼接】论文精读：Natural Image Stitching With Layered Warping Constraint —— 分层约束
16. 【图像拼接】论文精读：Content-Preserving Image Stitching With Piecewise Rectangular Boundary Constraints —— 矩形约束
17. 【图像拼接】论文精读：Vanishing Point Guided Natural Image Stitching（VPG） —— 消隐点引导
18. 【图像拼接】论文精读：Image Stitching Based on Semantic Planar Region Consensus（PRCS） —— 图像分割思想
19. 【图像拼接】论文精读：Image Stitching by Line-guided Local Warping with Global Similarity Constraint —— 局部线+全局相似
20. 【图像拼接】论文精读：Object-centered image stitching —— 以目标为中心
21. 【图像拼接】论文精读：Robust image stitching with multiple registrations（RISwMR） —— MRF多配准
22. 【图像拼接】论文精读：Image stitching with perspective-preserving warping —— 保持透视关系
23. 【图像拼接】论文精读：Multi-Viewpoint Panorama Construction With Wide-Baseline Images —— 很多张图拼成全景
24. 【图像拼接】论文精读：Image Stitching and Rectification for Hand-Held Cameras（RS-aware） —— RS感知
25. 【图像拼接】论文精读：Ratio-Preserving Half-Cylindrical Warps for Natural Image Stitching —— 圆柱面翘曲
26. 【图像拼接】论文精读：Superpixel-based foreground-preserving image stitching —— 超像素
27. 【图像拼接】论文精读：Image stitching using double features-based global similarity constraint and improved seam-cutting —— 点线双特征+全局相似
28. 【图像拼接】论文精读：Research on Image Stitching Based on Invariant Features of Reconstructed Plane —— 重构平面不变性
29. 【图像拼接】论文精读：Seamless Image Stitching in the Gradient Domain（GIST） —— 梯度域
30. 【图像拼接】论文精读：Eliminating Ghosting and Exposure Artifacts in Image Mosaics —— 专门研究消除伪影的办法
31. 【图像拼接】论文精读：Eliminating Structure and Intensity Misalignment in Image Stitching —— 专门研究消除错位的办法
32. 【图像拼接】论文精读：Image stitching by feature positioning and seam elimination —— 特征定位
33. 【图像拼接】论文精读：A Seamless Image-Stitching Method Based on Human Visual Discrimination and Attention —— 人类视觉辨别和注意

视频拼接

1. 【图像拼接/视频拼接】论文精读：Bundled Camera Paths for Video Stabilization
2. 【图像拼接/视频拼接】论文精读：Dynamic Video Stitching via Shakiness Removing
3. 【图像拼接/视频拼接】论文精读：Video Stitching with Spatial-Temporal Content-Preserving Warping（STCPW）
4. 【图像拼接/视频拼接】论文精读：Parallax-Robust Surveillance Video Stitching
5. 【图像拼接/视频拼接】论文精读：Video Stitching for Linear Camera Arrays
6. 【图像拼接/视频拼接】论文精读：Video Stitching for Handheld Inputs via Combined Video Stabilization
7. 【图像拼接/视频拼接】论文精读：Joint Video Stitching and Stabilization from Moving Cameras
8. 【图像拼接/视频拼接】论文精读：Seamless Video Stitching from Hand-held Camera Inputs（LPVW）
9. 【图像拼接/视频拼接】论文精读：Efficient Video Stitching Based on Fast Structure Deformation
10. 【图像拼接/视频拼接】论文精读：Eliminating Warping Shakes for Unsupervised Online Video Stitching（StabStitch）

其他领域

1. 【图像拼接】论文精读：Weakly-Supervised Stitching Network for Real-World Panoramic Image Generation —— 鱼眼图像，360°全景
2. 【图像拼接】论文精读：Subjective and Objective Quality Assessment of Stitched Images for Virtual Reality（SIQE） —— 评价指标
3. 【图像拼接】论文精读：Fast Color Blending for Seamless Image Stitching —— UAV无人机图像拼接
4. 【图像拼接】论文精读：Superpixel-Based Seamless Image Stitching for UAV Images —— UAV图像用超像素
5. 【图像拼接】论文精读：UAV Image Stitching Based on Optimal Seam and Half-Projective Warp —— UAV图像用半投影翘曲
6. 【图像拼接】论文精读：UAV Image Stitching With Transformer and Small Grid Reformation —— UAV图像拼接，特征匹配LoFTR

【图像拼接论文源码精读】专栏文章目录

1. 【图像拼接】源码精读：As-Projective-As-Possible Image Stitching with Moving DLT（APAP）第一部分：全局单应Global homography
2. 【图像拼接】源码精读：As-Projective-As-Possible Image Stitching with Moving DLT（APAP）第二部分：mdlt
3. 【图像拼接】源码精读：Adaptive As-Natural-As-Possible Image Stitching（AANAP/ANAP）
4. 【图像拼接】源码精读：Single-Perspective Warps in Natural Image Stitching（SPW）
5. 【图像拼接】源码精读：Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching（LPC）
6. 【图像拼接】源码精读：Parallax-Tolerant Image Stitching Based on Robust Elastic Warping（ELA/REW）
7. 【图像拼接】源码精读：Perception-based seam cutting for image stitching
8. 【图像拼接】源码精读：Quality evaluation-based iterative seam estimation for image stitching
9. 【图像拼接】源码精读：Seam-guided local alignment and stitching for large parallax images

---

图像拼接论文与源码汇总（持续更新）:

• 包含论文地址，源代码地址。
• 有的论文的项目地址打不开，可能是因为网站已经失效，也可能是需要科学上网。
• 部分源码通过资源的方式上传。

图像拼接论文matlab源码资源整合，包含全部matlab实现的论文源码，一劳永逸：matlab图像拼接源码汇总资源，传统图像拼接方法包括APAP、AANAP、SPHP、SPW、LPC、REW、TFA等，一劳永逸

资料整合项目：https://github.com/tzxiang/awesome-image-alignment-and-stitching

• Stitching
  • Image Stitching
  • Video Stitching
  • Stereo Stitching
  • Aerial Stitching
  • Stitching Evaluation

---

Image Stitching

2023

2022

2021

2020

2019

2018

2017

2016

2015 & before

Video Stitching

Stereo Stitching

Aerial Stitching

Stitching Evaluation

---

图像拼接数据集汇总（持续更新）:

• 帮助研究者快速找到实验数据；
• 方便研究者在论文中引用，即知道哪个数据对应的是哪篇文章；
• 部分链接打不开需要科学上网，有的也是源码中自带数据集；
• 由于资源太大，部分数据集会通过资源的方式分批上传。

• Traditional Image Stitching
  • SVA Dataset (2011)
  • APAP Dataset (2013)
  • Parallax-tolerant Stitching Dataset (2014)
  • SPHP Dataset (2014)
  • Stereostitch Dataset (2015)
  • NISwGSP Dataset (2016)
  • SEAGULL Dataset (2016)
  • REW Dataset (2018)
  • Dataset - Multiple Registrations (2018)
  • Object-Centered Stitching Dataset (2018)
  • BRAS Dataset (2019)
  • SPW Dataset (2020)
  • VPG Dataset (2020)
  • LPC Dataset (2021)
  • GES-50 (2022)
  • Color Consistency Dataset (2019)
  • OpenPano Dataset (2016)
  • Aerial Image Stitching Dataset
• Deep Learning Image Stitching
  • Hmg-dynamics (2020)
  • Content-Aware-DeepH-Data (2020)
  • UDIS-D (2021)
  • DIR-D (2022)
  • WSSN Dataset (2022)

Traditional Image Stitching

SVA Dataset (2011)

• Paper: Smoothly varying affine stitching, CVPR2011
• Project: No
• Download: dataset
• Details: The dataset contains 5 sets of images for image stitching, ranging from 2 to 3 images.

APAP Dataset (2013)

• Paper: As-Projective-As-Possible Image Stitching with Moving DLT, CVPR2013, TPAMI2014
• Project: Official, Python Code, C++
• Download: dataset
• Details: 8 sets of images, including railtracks, temple, carpark, apartment, chess/girl, construction site, and garden.
• Reference:
  
  [18] Smoothly varying affine stitching, CVPR2011.
  
  [22] Constructing image panoramas using dual-homography warping, CVPR2011.

Parallax-tolerant Stitching Dataset (2014)

• Paper: Parallax-tolerant Image Stitching, CVPR2014
• Project: https://pages.cs.wisc.edu/~fliu/project/stitch/index.htm
• Download: Zip, Imgs
• Details: The dataset contains 36 sets of images for two-view image stitching.

SPHP Dataset (2014)

• Paper: Shape-Preserving Half-Projective Warps for Image Stitching, CVPR2014
• Related Paper: Spatially-Varying Image Warps for Scene Alignment, ICPR2014
• Project: [Code]
• Download: dataset
• Details: Add another 7 sets of images for image stitching based on the APAP dataset.

Stereostitch Dataset (2015)

• Paper: Casual Stereoscopic Panorama Stitching, CVPR2015
• Project: https://pages.cs.wisc.edu/~fliu/project/stereostitch/
• Download: dataset
• Details: The dataset contains 22 sets of images (incl. one group of images for 360 stitching), taken by stereo cameras Fujifilm FinePix 3D W3 and Panasonic HDC-Z10000. Each set of images includes both the left images and right images exhibiting large parallax.

NISwGSP Dataset (2016)

• Paper: Natural Image Stitching with the Global Similarity Prior, ECCV2016
• Project: https://github.com/nothinglo/NISwGSP
• Download: dataset
• Details: it contains 42 sets of images for image stitching. Many sets of images contain multiple images (> 2) for stitching.

SEAGULL Dataset (2016)

• Paper: SEAGULL: Seam-Guided Local Alignment for Parallax-Tolerant Image Stitching, ECCV2016
• Project: No
• Download: dataset
• Details: it contains 24 pairs of images taken by the author using mobile phones with challenging parallax variation.

REW/ELA Dataset (2018)

• Paper: Parallax-Tolerant Image Stitching Based on Robust Elastic Warping, TMM2018
• Project: Official Code, Python
• Download: dataset
• Dataset: it contains two-view and multi-view image groups for image stitching.

Dataset for Stitching with Multiple Registrations (2018)

• Paper: Robust Image Stitching with Multiple Registrations, ECCV2018
• Project: https://sites.google.com/view/oois-eccv18/home?authuser=0
• Download: dataset
• Details: It contains 14 sets of images.

Object-Centered Stitching Dataset (2018)

• Paper: Object-centered image stitching, ECCV2018
• Project: https://sites.google.com/view/oois-eccv18/home?authuser=0
• Download: dataset
• Details: It contains 26 sets of images.

BRAS Dataset (2019)

• Paper: Robust Alignment for Panoramic Stitching Via an Exact Rank Constraint, TIP2019
• Project: http://signal.ee.psu.edu/research/BRAS.html
• Download: dataset
• Details: One group of catabus images

SPW Dataset (2020)

• Paper: Single-Perspective Warps in Natural Image Stitching, TIP2020
• Project: https://github.com/tlliao/Single-perspective-warps
• Download: dataset
• Details: contains 42 sets of image pairs for stitching.

VPG Dataset (2020)

• Paper: Vanishing Point Guided Natural Image Stitching, arXiv2020
• Project: http://cvrs.whu.edu.cn/projects/VPGStitching/
• Download: dataset
• Details: The dataset contains 36 sets of images, of which 12 sets of synthetic images and 24 sets of real images. All synthetic images were generated through 3Ds Max rendering hence the associated parameters are known. All real images were captured by a mobile phone. The VPG dataset contains both indoor scenes and outdoor street-view scenes. All images were carefully collected to ensure the Manhattan assumption. The number of images involved in stitching in each set ranges from 5 to 72.

LPC Dataset (2021)

• Paper: Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching, CVPR2021
• Project: https://github.com/dut-media-lab/Image-Stitching
• Download: dataset
• Details: Add about 13 image pairs for image stitching.

GES-50 (2022)

• Paper: Geometric Structure Preserving Warp for Natural Image Stitching, CVPR2022
• Project: https://github.com/flowerDuo/GES-GSP-Stitching
• Download: dataset
• Details: There are 50 diversified and challenging image groups (26 from the previous dataset and 24 collected by this work). The number of images ranges from 2 to 35.

Color Consistency Dataset (2019)

• Paper: A Closed-Form Solution for Multi-view Color Correction with Gradient Preservation, ISPRSJ2019
• Project: https://github.com/MenghanXia/ColorConsistency
• Download: dataset, dataset
• Details: It contains 3 sets of images for color correction in image stitching, including campus, lunchroom, and school building.

OpenPano Dataset (2016)

• Paper: Open-source panorama stitching program written in C++ from scratch.
• Project: https://github.com/ppwwyyxx/OpenPano
• Download: dataset
• Details: It contains 8 sets of images for panorama stitching, and the number of images for each set ranges from 4 to 38.

Aerial Image Stitching (AIS) Dataset

• Aerial Images of Virginia Beach: Open Data Portal
• OpenDroneMap Data: ODMData
• PlanarMosaicking Data: Paper-PR2017, Code, Dataset
• UAVMosaicking Data: Paper-RS2016, Dataset

Deep Learning Image Stitching

Hmg-dynamics (2020)

• Paper: Deep Homography Estimation for Dynamic Scenes, CVPR2020
• Project: https://github.com/lcmhoang/hmg-dynamics
• Download: https://github.com/lcmhoang/hmg-dynamics
• Details: Authors downloaded 877 videos with a Creative Commons License from YouTube. From these videos, they extracted 32,385 static video clips and then applied a known homography sequence to each of them to generate image/video pairs.

Content-Aware-DeepH-Data (2020)

• Paper: Content-Aware Unsupervised Deep Homography Estimation, ECCV2020
• Project: https://github.com/JirongZhang/DeepHomography
• Download: dataset
• Related Paper: Semi-supervised Deep Large-baseline Homography Estimation with Progressive Equivalence Constraint, AAAI 2023
• Details: The dataset contains 5 categories of a total of 80k image pairs, including regular (RE), low-texture (LT), low-light (LL), small-foregrounds (SF), and large-foregrounds (LF) scenes, with each category ≈16k image pairs. For the test data, 4.2k image pairs are randomly chosen from all categories.

UDIS-D (2021)

• Paper: Unsupervised Deep Image Stitching: Reconstructing Stitched Features to Images, TIP2021
• Project: https://github.com/nie-lang/UnsupervisedDeepImageStitching
• Download: dataset
• Related Paper: Parallax-Tolerant Unsupervised Deep Image Stitching, ICCV2023, [Proj]
• Details: It is an unsupervised deep image stitching dataset, including 10,440 cases for training and 1,106 for testing.

DIR-D (2022)

• Paper: Deep Rectangling for Image Stitching: A Learning Baseline, CVPR2022
• Project: https://github.com/nie-lang/DeepRectangling
• Download: dataset
• Details: DIR-D dataset with a wide range of irregular boundaries and scenes, which includes 5,839 samples for training and 519 samples for testing. Every image in the dataset has a resolution of 512×384. The DIR-D dataset is a synthesized dataset from the UDIS-D and MS-COCO datasets, in which each sample is a triplet consisting of a stitched image (I), a mask (M), and a rectangling label ®.

WSSN Dataset (2022)

• Paper: Weakly-Supervised Stitching Network for Real-World Panoramic Image Generation, ECCV2022
• Project: https://eadcat.github.io/WSSN/
• Download: dataset, code
• Details: The dataset is a fisheye image dataset collected by a commercial VR camera called Kandao Obsidian R for image stitching. It can capture six fisheye images simultaneously using six lenses rotated at 60° intervals. Three fisheye images rotated by 0°, 120°, and 240° as inputs to the stitching model while the remaining three images rotated by 60°, 180°, and 300° are utilized as weak supervisions. In this dataset, 47,063 sets of images are used for the training and 1,400 for the test. Each training set includes three input fisheye images, three ERP images for weak supervision, and three masks.

没有硬件条件，需要云服务的同学可以扫码看看：