MapTRv2/GeMap环境安装与运行_maptr环境配置

按照MapTR官方的安装指引出现了一些库版本不一致问题，按照如下方式配置环境可以避免无法运行的情况。

GeMap是在MapTRv2的基础上进行了一些改进，所以环境配置和运行基本相同。

1. 环境配置

Ubuntu 18.04.6 LTS，python 3.8， torch 1.10.0， cuda 11.2

1.1 环境安装步骤如下

# 1 创建虚拟环境 
conda create -n maptr python=3.8
 
# 2 激活虚拟环境
conda activate maptr
 
# 3 下载torch
pip install torch==1.10.0+cu111 torchvision==0.11.0+cu111 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html
 
 
pip install mmcv-full==1.3.18 mmdet==2.14.0 mmsegmentation==0.14.1 timm==0.9.5
 
# 4 下载代码
#如果要运行v2版本，需要切换到 maptrv2 分支。
git clone https://github.com/hustvl/MapTR.git
 
 
# 5 安装mmdetection3d
cd MapTR/mmdetection3d
pip install -v e .
 
# 6 安装maptr相关的插件
cd ../projects/mmdet3d_plugin/maptr/modules/ops/geometric_kernel_attn
python setup.py build install
 
# 7 其他功能包
cd path_to_MapTR/
pip install -r requirement.txt 
 
# 8 更新networkx,numpy,setuptools版本，2.2在maptr-v2运行时会报错
pip install networkx==2.3 numpy==1.22.2 setuptools==58.2.0 yapf==0.40.1

注意mmcv-full==1.3.18而不是官方的1.14.0，因为1.14.0运行时会出现如下报错。1.3.18这个版本是根据cuda版本、torch版本查询得到的一个版本。 解决方法参考了The qusetion of /mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol: _ZTIN3c1021AutogradMetaInterfaceE · Issue #4291 · open-mmlab/mmdetection · GitHubdownload.openmmlab.com/mmcv/dist/cu111/torch1.10/index.html

Traceback (most recent call last):
  File "tools/create_data.py", line 6, in <module>
    from data_converter.create_gt_database import create_groundtruth_database
  File "/home/ubuntu/DISK/x/MapTR/tools/data_converter/create_gt_database.py", line 6, in <module>
    from mmcv.ops import roi_align
  File "/home/ubuntu/miniconda3/envs/maptr/lib/python3.8/site-packages/mmcv/ops/__init__.py", line 2, in <module>
    from .assign_score_withk import assign_score_withk
  File "/home/ubuntu/miniconda3/envs/maptr/lib/python3.8/site-packages/mmcv/ops/assign_score_withk.py", line 5, in <module>
    ext_module = ext_loader.load_ext(
  File "/home/ubuntu/miniconda3/envs/maptr/lib/python3.8/site-packages/mmcv/utils/ext_loader.py", line 13, in load_ext
    ext = importlib.import_module('mmcv.' + name)
  File "/home/ubuntu/miniconda3/envs/maptr/lib/python3.8/importlib/__init__.py", line 127, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
ImportError: /home/ubuntu/miniconda3/envs/maptr/lib/python3.8/site-packages/mmcv/_ext.cpython-38-x86_64-linux-gnu.so: undefined symbol: _ZN2at5sliceERKNS_6TensorElN3c108optionalIlEES5_l

安装mmcv-full>1.14.0版本后，会报如下错误，所以根据cuda版本、torch版本查询到的兼容版本，使用了比1.14.0低的一个版本。

AssertionError: MMCV==1.5.0 is used but incompatible. Please install mmcv>=1.3.8, <=1.4.0.

1.2 通过如下命令检查版本

# 1. mmlab相关
pip list | grep mm
# 显示如下：
comm                      0.1.4
mmcv-full                 1.3.18
mmdet                     2.14.0
mmdet3d                   0.17.2
mmsegmentation            0.14.1
timm                      0.9.5
 
 
# 2. torch相关
pip list | grep torch
# 显示如下：
torch                     1.10.0+cu111
torchaudio                0.10.0+rocm4.1
torchvision               0.11.0+cu111

1.3 运行脚本可能会出现报错，需要更新一下PYTHONPATH这个环境变量

# 错误4
# 情况1：No module named 'projects.mmdet3d_plugin'
# 情况2：ModuleNotFoundError: No module named 'tools'
# 情况3: ModuleNotFoundError: No module named 'tools.data_converter'
# 情况4：ModuleNotFoundError: No module named 'projects'`
# 因为tools、projects、projects.mmdet3d_plugin都是从本地导入模块, 
# 导入失败要么是python环境变量没生效, 要么是模块的路径不对
# 修改办法: 更新python-path环境即可, 当前python虚拟环境的终端执行下面语句
 
export PYTHONPATH=$PYTHONPATH:"./"

2. 制作数据集

以nuscenes-mini为例子

2.1 下载Can bus

Can bus

• 找到 CAN bus expansionexpand 点击US即可下载
• 解压到/data文件夹下即可

2.2 下载nuscenes-mini

nuscenes下载地址

nuScenes-map-expansion-v1.3.zip 解压后的文件夹放入 data/nuscenes/maps文件夹下

v1.0-mini.tgz 直接在 data/nuscenes 文件夹下解压即可。

data
├── can_bus
└── nuscenes
    ├── maps
    │   ├── basemap
    │   ├── expansion
    │   └── prediction
    ├── samples
    │   ├── CAM_BACK
    │   ├── CAM_BACK_LEFT
    │   ├── CAM_BACK_RIGHT
    │   ├── CAM_FRONT
    │   ├── CAM_FRONT_LEFT
    │   ├── CAM_FRONT_RIGHT
    │   ├── LIDAR_TOP
    │   ├── RADAR_BACK_LEFT
    │   ├── RADAR_BACK_RIGHT
    │   ├── RADAR_FRONT
    │   ├── RADAR_FRONT_LEFT
    │   └── RADAR_FRONT_RIGHT
    ├── sweeps
    │   ├── CAM_BACK
    │   ├── CAM_BACK_LEFT
    │   ├── CAM_BACK_RIGHT
    │   ├── CAM_FRONT
    │   ├── CAM_FRONT_LEFT
    │   ├── CAM_FRONT_RIGHT
    │   ├── LIDAR_TOP
    │   ├── RADAR_BACK_LEFT
    │   ├── RADAR_BACK_RIGHT
    │   ├── RADAR_FRONT
    │   ├── RADAR_FRONT_LEFT
    │   └── RADAR_FRONT_RIGHT
    └── v1.0-mini

2.3 生成训练数据集

# full
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0 --canbus ./data
 
# mini 
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0-mini --canbus ./data

3 运行 预测

3.1 预处理数据

# 生成v2数据集
python tools/maptrv2/custom_nusc_map_converter.py --root-path ./data/nuscenes/ --canbus ./data/ --out-dir ./data/nuscenes/ --version v1.0-mini

custom_nusc_map_converter.py 中 main需要屏蔽掉 train和 test的处理，直接生成，代码如下。此步骤会生成data/nuscenes/nuscenes_map_infos_temporal_val.pkl文件，运行预测的时候需要。

if __name__ == '__main__':
    # train_version = f'{args.version}-trainval'
    # nuscenes_data_prep(
    #     root_path=args.root_path,
    #     can_bus_root_path=args.canbus,
    #     info_prefix=args.extra_tag,
    #     version=train_version,
    #     dataset_name='NuScenesDataset',
    #     out_dir=args.out_dir,
    #     max_sweeps=args.max_sweeps)
    # test_version = f'{args.version}-test'
    # nuscenes_data_prep(
    #     root_path=args.root_path,
    #     can_bus_root_path=args.canbus,
    #     info_prefix=args.extra_tag,
    #     version=test_version,
    #     dataset_name='NuScenesDataset',
    #     out_dir=args.out_dir,
    #     max_sweeps=args.max_sweeps)
    
    nuscenes_data_prep(
        root_path=args.root_path,
        can_bus_root_path=args.canbus,
        info_prefix=args.extra_tag,
        version=args.version,
        dataset_name='NuScenesDataset',
        out_dir=args.out_dir,
        max_sweeps=args.max_sweeps)

3.2 下载模型文件，同时确认config文件

GitHub - hustvl/MapTR: [ICLR'23 Spotlight] MapTR: Structured Modeling and Learning for Online Vectorized HD Map Construction

3.3 运行

python tools/maptrv2/nusc_vis_pred.py projects/configs/maptrv2/maptrv2_nusc_r50_24ep.py ckpts/maptrv2_nusc_r50_24e.pth  --show-dir ./vis_dirs_v2

结果保存在 vis_dirs_v2。

生成可视化视频命令：

python tools/maptr/generate_video.py ./vis_dirs_v2 --video-name demo_v2

视频demo_v2.mp4在vis_dirs_v2同一级目录下。下图为MapTRv2（上）与MapTR（下）的一个对比，MapTRv2的效果确实要比MapTR好一些。

参考

MapTR代码复现实践 - 知乎 (zhihu.com)

MapTR环境部署 - 知乎 (zhihu.com)