高效配置Python应用：使用Hydra探索新视野_python hydra

简介：Python开发中经常面临如何管理大量配置参数的困扰Python库 - Hydra，它由Facebook研究团队开发，并旨在帮助开发者简化应用配置的复杂性。作为一个开源Python库，设计用来帮助开发者更高效地创建、组织和管理复杂的应用程序配置。无论是需要处理大量配置参数的大型项目，还是需要快速改变配置用于多个环境和实验的小型项目，Hydra都能够胜任。

历史攻略：

任务编排和调度神器：Apache Airflow

主要特点：

易于使用：Hydra的使用方法非常直观，并且易于理解和实现。
强大的覆盖能力：Hydra允许开发者在运行时改变配置，这在多环境开发和实验性任务中非常有用。
层级配置：Hydra支持以层级的方式组织配置，使得配置更加清晰，便于管理。
插件系统：Hydra提供一个插件系统，使得开发者可以根据需要扩展Hydra的功能。
1
2
3
4

安装：

pip install hydra-core --upgrade
1

案例源码：

# -*- coding: utf-8 -*-
# time: 2023/06/16 18:36
# file: hy_demo.py
# 公众号: 玩转测试开发
from omegaconf import DictConfig, OmegaConf
import hydra


@hydra.main(config_path="conf", config_name="config")
def my_app(cfg: DictConfig) -> None:
    print(OmegaConf.to_yaml(cfg))
    print(cfg.db.driver)  # 输出: mysql
    print(cfg.db.user)  # 输出: test
    print(cfg.db.password)  # 输出: secret


if __name__ == "__main__":
    my_app()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

python源码同级目录下：新建conf目录，新建文件 config.yaml

db:
  driver: mysql
  user: test
  password: secret
1
2
3
4

运行结果：

(base) [root@ci4vyvxi572ysx2s hy]# python3 hy_demo.py 
/home/tom/work/hy/hy_demo.py:9: UserWarning: 
The version_base parameter is not specified.
Please specify a compatability version level, or None.
Will assume defaults for version 1.1
  @hydra.main(config_path="conf", config_name="config")
/root/miniconda3/lib/python3.9/site-packages/hydra/_internal/hydra.py:119: UserWarning: Future Hydra versions will no longer change working directory at job runtime by default.
See https://hydra.cc/docs/1.2/upgrades/1.1_to_1.2/changes_to_job_working_dir/ for more information.
  ret = run_job(
db:
  driver: mysql
  user: test
  password: secret

mysql
test
secret
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

Hydra的运行时参数覆盖功能允许我们在运行程序时直接更改配置参数，而无需更改配置文件。

案例2：命令将更改db.driver的值为postgres，db.user的值为admin，db.password的值为pass。

python hy_demo.py db.driver=postgres db.user=admin db.password=pass
1

运行结果：

(base) [root@ci4vyvxi572ysx2s hy]# python3 hy_demo.py db.driver=postgres db.user=admin db.password=pass
/home/tom/work/hy/hy_demo.py:9: UserWarning: 
The version_base parameter is not specified.
Please specify a compatability version level, or None.
Will assume defaults for version 1.1
  @hydra.main(config_path="conf", config_name="config")
/root/miniconda3/lib/python3.9/site-packages/hydra/_internal/hydra.py:119: UserWarning: Future Hydra versions will no longer change working directory at job runtime by default.
See https://hydra.cc/docs/1.2/upgrades/1.1_to_1.2/changes_to_job_working_dir/ for more information.
  ret = run_job(
db:
  driver: postgres
  user: admin
  password: pass

postgres
admin
pass
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

总结：Hydra是一个非常强大的配置管理工具，它可以帮助我们更高效地管理复杂的Python应用配置。不管是在开发大型项目，还是在进行小规模实验，Hydra都能成为得力助手。如果对Hydra有任何问题或者想要了解更多的信息，欢迎在评论区留言讨论。