使用python的dask搭建分布式集群_dask分布式

python的dask搭建分布式集群

一、dask介绍

dask官网地址：https://dask.org/

优势：dask内部自动实现了分布式调度、无需用户自行编写复杂的调度逻辑和程序；通过调用简单的方法就可以进行分布式计算、并支持部分模型的并行化处理；内部实现的分布式算法：xgboost、LR、sklearn的部分方法等

用一句话说：dask就是python版本的spark,是一个用Python 语言实现的分布式计算框架

二、dask安装

1.环境

建议使用：Anaconda3工具包

系统：windows、linux

2.安装

1.conda安装：

conda install dask
1

2.pip 安装：

pip install dask
1

3.source安装：

git clone dask/dask
cd dask 
python setup.py install
1
2
3

3.分布式版安装

1.conda安装：

conda install dask distributed-cconda-forge
1

2.pip 安装：

pip install dask distributed --upgrade
1

3.source安装：