四、PaddleRS_paddlers安装

1.环境配置

快速上手PaddleRS

1.1 Linux 服务器

# 创建环境
conda create -n pdrs python=3.8

# 安装paddlepaddle-gpu
conda activate pdrs
# pip install paddlepaddle-gpu==2.3.2.post101 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html  # 10.1版本报错。
pip install paddlepaddle-gpu==2.3.2.post111 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html

# 验证
python
>>> import paddle
>>> paddle.utils.run_check()

python -c "import paddle; paddle.utils.run_check()
1
2
3
4
5
6
7
8
9
10
11
12
13
14

下载安装PaddleRS:

下载到本地后，复制到 服务器的 指定文件夹。解压 unzip mydata.zip -d myfloder

# cd到paddlers目录：
pip install -r requirements.txt
# pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
# pip install .   # 将当前目录下的Python包安装到系统中。(envs/环境名/lib/python3.8/site-packages 里面？)  执行setup.py 。
1
2
3
4

补充包安装

gdal ，rasterio

gdal

gdal-wheels-for-linux
http://download.osgeo.org/gdal/

安装 .whl 文件
cd到whl所在目录
pip install ***.whl

导入要使用 from osgeo import gdal

rasterio

要先安装gdal在安装rasterio
pip install rasterio

不建议conda安装。
conda install gdal
conda install rasterio

1.2 win10

先参考文档安装paddlepaddle-gpu。（可能需要先安装cuda、cudnn）

# cd到paddlers目录：
pip install -r requirements.txt
# pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
1
2
3

有2个包未安装成功：

可以在requirements.txt中注销掉这两个再安装。

补充包安装

gdal ，rasterio

Python Windows扩展包.whl下载

安装 .whl 文件
cd到whl所在目录
pip install ***.whl

导入要使用 from osgeo import gdal

要先安装gdal在安装rasterio

2.常见报错

1.Segmentation fault` is detected by the operating system.

W0407 09:28:58.870352 29077 gpu_resources.cc:61] Please NOTE: device: 1, GPU Compute Capability: 7.5, Driver API Version: 11.6, Runtime API Version: 11.1
W0407 09:28:58.874192 29077 gpu_resources.cc:91] device: 1, cuDNN Version: 8.1.

W0407 09:20:36.034915 114661 gpu_resources.cc:61] Please NOTE: device: 0, GPU Compute Capability: 7.5, Driver API Version: 11.6, Runtime API Version: 10.1
W0407 09:20:36.095801 114661 gpu_resources.cc:91] device: 0, cuDNN Version: 8.1.

--------------------------------------
C++ Traceback (most recent call last):
--------------------------------------
No stack trace in paddle, may be caused by external reasons.

----------------------
Error Message Summary:
----------------------
FatalError: `Segmentation fault` is detected by the operating system.
  [TimeInfo: *** Aborted at 1680830439 (unix time) try "date -d @1680830439" if you are using GNU date ***]
  [SignalInfo: *** SIGSEGV (@0x0) received by PID 114661 (TID 0x7f4054532700) from PID 0 ***]


进程已结束,退出代码139
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

解决方案：
网上说法是降低cuDNN版本。https://blog.csdn.net/sinat_24899403/article/details/119574039

也可以重装paddlepaddle。（测试10.1报错，11.1可行。）

2.ERROR 1: PROJ: proj_create_from_database

ERROR 1: PROJ: proj_create_from_database: Open of /home/yanqiuyu/anaconda3/envs/pdrs2/share/proj failed
ERROR 1: PROJ: proj_create_from_database: Open of /home/yanqiuyu/anaconda3/envs/pdrs2/share/proj failed
ERROR 1: PROJ: createGeodeticReferenceFrame: Open of /home/yanqiuyu/anaconda3/envs/pdrs2/share/proj failed
ERROR 1: PROJ: proj_as_wkt: Open of /home/yanqiuyu/anaconda3/envs/pdrs2/share/proj failed
ERROR 1: PROJ: proj_create_from_wkt: Open of /home/yanqiuyu/anaconda3/envs/pdrs2/share/proj failed
ERROR 1: PROJ: proj_create_from_wkt: Open of /home/yanqiuyu/anaconda3/envs/pdrs2/share/proj failed
ERROR 1: PROJ: proj_as_wkt: Open of /home/yanqiuyu/anaconda3/envs/pdrs2/share/proj failed
ERROR 1: PROJ: proj_create_from_wkt: Open of /home/yanqiuyu/anaconda3/envs/pdrs2/share/proj failed
ERROR 1: PROJ: proj_as_wkt: Open of /home/yanqiuyu/anaconda3/envs/pdrs2/share/proj failed
1
2
3
4
5
6
7
8
9

可能是conda安装gdal的原因。
重新pip安装.whl的gdal即可。

3 Cannot load cudnn shared library.(cudnn问题）

locate libcudnn.so  # 定位libcudnn.so所在路径
# 如: /usr/local/cuda-10.2/targets/x86_64-linux/lib

#  临时解决：每次在程序运行前设置环境变量
export LD_LIBRARY_PATH=/usr/local/cuda-11.2/targets/x86_64-linux/lib:$LD_LIBRARY_PATH

# 永久解决：将环境变量添加到~/.bashrc文件
echo "export LD_LIBRARY_PATH=/usr/local/cuda-11.2/targets/x86_64-linux/lib">>~/.bashrc
1
2
3
4
5
6
7
8

4 Could not locate zlibwapi.dll. Please make sure it is in your library path!

去nvidia官网下载 zlibwapi.dll即可。然后分别将.dll .lin复制到cuda文件夹中的bin,lib

——————————old————————————

要注意命名的问题
conda安装 paddlers 和 下载 PaddleRS 存在文件名冲突。（PaddleRS中有一个 paddlers文件）
pycharm debug 时候 import paddlers 报错
run 可以正常运行。

猜测： import paddlers 导入的是环境中的 包。 why？

可以将 PaddleRS文件夹下 paddlers 文件 改名？

Linux服务器 配置：

1.创建环境

conda create -n pdrs python=3.8
1

(为什么服务器安装python这么快？ 不需要下载？）

2.安装 paddlepaddle-gpu ；要注意版本对应

python -m pip install paddlepaddle-gpu==2.3.2.post111 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
1

https://www.paddlepaddle.org.cn/install/quick

3.安装 paddleRS

git clone https://github.com/PaddlePaddle/PaddleRS
cd PaddleRS
git checkout develop
pip install -r requirements.txt
python setup.py install
1
2
3
4
5

4.补充包
gdal
conda install gdal

5.报错
version GLIBCXX_3.4.22‘ not found`
降低scipy版本 正确解决libstdc++.so.6: version GLIBCXX_3.4.22

5.安装失败的 （暂时没影响）
geopandas 0.10.2 requires pandas>=0.25.0, which is not installed.
geopandas 0.10.2 requires shapely>=1.6, which is not installed.

Windows 配置：

1.创建环境

conda create -n pdrs python=3.8
1

2.安装 paddlepaddle-gpu

python -m pip install paddlepaddle-gpu==2.3.2.post111 -f https://www.paddlepaddle.org.cn/whl/windows/mkl/avx/stable.html
1

https://www.paddlepaddle.org.cn/install/quick

3.安装 paddleRS

git clone https://github.com/PaddlePaddle/PaddleRS
cd PaddleRS
git checkout develop
pip install -r requirements.txt
python setup.py install
1
2
3
4
5

可能会遇到 pycocotools 安装失败的问题?
好像是 pycocotools官方没有支持windows？

方法1：
conda install -c conda-forge pycocotools 太慢了
conda install pycocotools -c Esri 待测试
.whl方法 待测试

方法2： 成功√

pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI  
1

可能需要运行
pip3 install --upgrade setuptools

可能需要补充一些包
pip install cython

可能需要安装 Microsoft C++ Build Tools
百度云： https://pan.baidu.com/s/1BDaJSoaPZKlNe69mCJ44sQ?pwd=cfsp 提取码: cfsp

可能需要重新进行 步骤3

4.补充包
gdal
conda install gdal

运行代码 还是报错，可能是只支持 linux？

方法3 待测试

直接下载PadddleRS文件
然后安装 paddlepaddle-gpu
pip requirement.txt 中的包

——————————old————————————

2.变化检测

GeoView 静态模型 直接推理

https://github.com/PaddleCV-SIG/GeoView/blob/develop/docs/dev.md

模型推理代码：https://aistudio.baidu.com/aistudio/projectdetail/4184759
2.1整图推理

预测GF：大运河 效果很差（全是0）
预测LEVIR（train) 效果很差
原因：整图预测 输入大小要与 模型的输入大小一致，如256*256。 无法预测任意大小图像。

训练 →动态模型转静态模型 →整图推理

1.官方自带Bit （airchange数据集 ）

（1）训练https://github.com/PaddlePaddle/PaddleRS/blob/b75e0d19d5e7812e31a3343e786464c9b281a7cc/tutorials/train/change_detection/bit.py
代码包括 自动下载数据集及处理，自动训练

（2）转静态模型
\deploy\export\export_model.py
（3）整图推理

epoch10: iou 0.226
epoch2000: iou 0.272 效果很差
原因：整图预测 输入大小要与 模型的输入大小一致，如256*256。 无法预任意大小图像。

2.官方自带Bit （LEVIR数据集 ） 待测试

已经下载好LEVIR

需要用到 分割LEVIR工具：
\tools\prepare_dataset\prepare_levircd.py

3.rs_research-custom_model（LEVIR数据集 ）

需要用到 分割LEVIR工具：
\tools\prepare_dataset\prepare_levircd.py

训练 F1=0.904

滑窗推理
预测训练集测试集很好。
预测大运河效果一般。

vdl可视化

https://github.com/PaddlePaddle/PaddleRS/blob/release/1.0/tutorials/train/README.md
visualdl --logdir output/deeplabv3p/vdl_log --port 8001
服务启动后，使用浏览器打开 https://0.0.0.0:8001 或 https://localhost:8001 即可进入可视化页面。

Linux服务器运行，打开浏览器显示 无法访问此网站；
尝试将 vdl_log文件夹从服务器复制到本地（windows）。
然后本地下载 visualdl 后重新访问。
pip install visualdl==2.4.1
(在paddle_3.6环境安装)

变化检测项目

PaddleRS实践案例

官方

PaddleRS科研实战：设计深度学习变化检测模型

LEVIR-CD

mkdir data
python tools/prepare_dataset/prepare_levircd.py --in_dataset_dir 00sddo/LEVIR --out_dataset_dir data/levircd --crop_size 256 --crop_stride 256
1
2

AI Studio

1115会议

AI Earth 与 Learth

htht复赛： 天枢效果还可以；阿里
HLJ： 天枢不行；阿里只能识别一点点
DYH: 天枢无法导入影像； 阿里还不错