jupyterHub安装，docker安装JupyterHub，JupyterLub，配置JupyterHub使用JupyterLab_jupyterhub docker

参考官方配置：
https://jupyterhub.readthedocs.io/en/stable/index.html

docker下安装jupyterHub

jupyterhub简介
部署步骤
1）拉取相关镜像，并设置和本地映射：
2）进入docker
3）增加用户用于登录jupyterhub的账户密码
4）安装jupyterhub和notebook
5）配置jupyterhub在启动后在哪个目录存储文件，并添加权限
6）启动jupyterhub
7）设置admin

配置JupyterHub使用JupyterLab
JupyterLab简介
JupyterLab安装
配置JupyterHub使用JupyterLab
多用户JupyterHub登录
登录认证方式
登录用户控制
jupyterHub支持GPU
安装docker
什么是docker
docker是一个开源的应用容器引擎，开发者可以打包自己的应用到容器里面，然后迁移到其他机器的docker应用中，可以实现快速部署。如果出现的故障，可以通过镜像，快速恢复服务。
Docker 包括三个基本概念:
镜像（Image）：Docker 镜像就相当于是一个 root 文件系统，类似于面向对象编程中的类。
容器（Container）：容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等，类似于面向对象编程中的对象。
仓库（Repository）：仓库可看成一个代码控制中心，用来保存镜像。
Docker与传统虚拟机性能对比：

安装docker
1）centOs
安装docker运行所需要的依赖，执行命令：

yum install -y yum-utils device-mapper-persistent-data lvm2
1

为了加快下载速度，将yum源设为国内的阿里云镜像，执行命令：

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo


1
2
3

安装docker-ce，执行命令：

yum clean all yum makecache fastyum -y install docker-ce


1
2
3

通过systemctl启动服务，执行命令：

systemctl start docker
1

查看docker版本，执行命令：

docker -v
1

2）Windows
Docker 并非是一个通用的容器工具，它依赖于已存在并运行的 Linux 内核环境。 Docker 实质上是在已经运行的 Linux
下制造了一个隔离的文件环境，因此它执行的效率几乎等同于所部署的 Linux 主机。因此，Docker 必须部署在 Linux
内核的系统上，如果其他系统想部署 Docker 就必须安装一个虚拟 Linux 环境。
win7、win8 等需要利用 docker toolbox 来安装，国内可以使用阿里云的镜像来下载，下载地址：http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/，docker toolbox 是一个工具集合，包括了所需的虚拟机，通过点击 Docker QuickStart 图标来启动 Docker Toolbox 终端。
3）Mac
Homebrew 的 Cask 已经支持 Docker for Mac，因此可以很方便的使用 Homebrew Cask 来进行安装：

 brew install --cask --appdir=/Applications docker
1

部署jupyterhub
jupyterhub简介
JupyterHub是由Jupyter团队推出的一个支持多用户notebook的服务器。JupyterHub本身具有权限管理、配置管理、启动Notebook、反向代理等功能。官网的示意图很好地阐述了JupyterHub的功能：

其中需要特别注意的是图中的spawners，它所表达的意思是，Hub会为每一个登录的用户Spawn(直译为繁衍，实际上是启动一个新的实例)一个notebook，而后对于访用户的所有操作，Hub都会把它路由到这个notebook实例。这就是JupyterHub实现用户工作区虚拟化的方式。
JupyterHub 架构的介绍和原理详见官方文档，这里不再赘述，简单说就是 JupyterHub 把多用户认证和单用户（JupyterNotebook/JupyterLab） 的管理拆成了 Authenticator 和 Spawner 模块，可以根据不同的需要配置不同的认证方式或管理方式。

部署步骤
1）拉取相关镜像，并设置和本地映射：
不要拉取latest版本，latest版本存在Bug

docker run -p 8000:8000 -d --name jupyterhub -v /opt/jupyterhub/jupyterhub:/srv/jupyterhub -v /opt/jupyterhub/home:/home --restart=always jupyterhub/jupyterhub:1.0.0 jupyterhub

1
2

2）进入docker

docker exec -it jupyterhub bash
1

3）增加用户用于登录jupyterhub的账户密码

useradd jupyterhub
passwd jupyterhub
1
2

此时打开http://localhost:8000(http://127.0.0.1:8000/hub/login) 显示如下界面：
4）安装jupyterhub和notebook

pip install jupyterhub --upgrade
pip install notebook --upgrade
1
2

5）配置jupyterhub在启动后在哪个目录存储文件，并添加权限

chmod -R 777 home
cd /home
mkdir jupyterhub
chown jupyterhub:jupyterhub jupyterhub -R
1
2
3
4

6）启动jupyterhub
刷新http://localhost:8000 界面，可以正常创建文件
文件保存在设置的相应路径

7）设置admin
当前点击control Panel显示

设置当前账户为admin
创建config文件
设置当前账户为admin后

再次登录，点击control Panel显示如下，可以管理Users：

配置JupyterHub使用JupyterLab
JupyterHub默认是使用Jupyter Notebook，如果想使用Jupyter
Notebook的升级版本JupyterLab，还需要额外配置。
JupyterLab简介
JupyterLab是Jupyter主打的最新数据科学生产工具，某种意义上，它的出现是为了取代Jupyter Notebook，JupyterLab包含了Jupyter Notebook所有功能。

JupyterLab作为一种基于web的集成开发环境，可以使用它编写notebook、操作终端、编辑markdown文本、打开交互模式、查看csv文件及图片等功能。

upyterLab有以下特点：

交互模式：Python交互式模式可以直接输入代码，然后执行，并立刻得到结果，因此Python交互模式主要是为了调试Python代码用的
内核支持的文档：可以在Jupyter内核中运行的任何文本文件（Markdown，Python，R等）中启用代码
模块化界面：可以在同一个窗口同时打开好几个notebook或文件（HTML, TXT, Markdown等等），都以标签的形式展示，更像是一个IDE
镜像notebook输出：轻易地创建仪表板
同一文档多视图：实时同步编辑文档并查看结果
支持多种数据格式：既可以查看并处理多种数据格式，也能进行丰富的可视化输出或者Markdown形式输出
云服务：使用Jupyter Lab连接Google Drive等服务，极大得提升生产力
JupyterLab安装
首先进入docker相应的container，执行：

$ docker exec -it jupyterhub bash
1

然后安装JupyterLab，执行：

pip install jupyterlab
1

要想在JupyterHub使用JupyterLab还需要安装个插件，执行下面的命令进行安装：

jupyter labextension install @jupyterlab/hub-extension
1

这里可能会提示ValueError: Please install nodejs >=12.0.0 before continuing. 此时依次执行如下步骤再安装插件即可：
node --version # 查看当前版本
npm cache clean -f # 清楚缓存
npm install -g n # 获取版本管理工具
n stable # 获取最新稳定版本

1
2
3
4
5
6

配置JupyterHub使用JupyterLab
修改jupyterhub_config.py文件中的

c.Spawner.cmd = ['jupyterhub-singleuser']
1

为

c.Spawner.cmd = ['jupyter-labhub']
1

然后重启服务即可。

多用户JupyterHub登录
登录认证方式
当我们需要考虑JupyterHub为多用户服务时，首先考虑用户的认证问题。
JupyterHub默认采用PAMAuthenticator认真授权：

c.JupyterHub.authenticator_class = 'jupyterhub.auth.PAMAuthenticator'
1

PAM这个授权方式是服务器用户的登录认证方式，比如当我们在服务器追加一个用户user，就可以配置允许这个用户登录。
当然JupyterHub也支持别授权方式，比如接入GitHub、Google的OAuth、LDAP、RemoteUser等认证。
登录用户控制
JupyterHub支持多用户登录，对于用户登录的控制也提供多种方式：

用户黑名单控制 – c.Authenticator.blacklist
写在黑名单的用户会被限制登录。如配置：c.Authenticator.whitelist = { ‘user1’ }，则user1就不能登录了。
用户白名单控制 – c.Authenticator.whitelist
写在白名单的用户才能登录。如配置：c.Authenticator.whitelist = { ‘user1’ }，则只有user1能登录。该项优先级高于黑名单。
管理员用户 – c.Authenticator.admin_users
管理员用户可以查看登录的用户，某些授权方式下可以添加/删除用户，可以重启或停止Hub，可以停止其他用户的服务，如果有配置的话还可以访问其用户的内容。
用户组白名单 – c.LocalAuthenticator.group_whitelist
如果是采用默认的基于本地用户的授权方式，还能够通过用户组白名单来进行授权。如果配置了这项，用户白名单会失效。

c.Authenticator.whitelist是配置控制用户登录的配置项，默认不限制任何用户登录。如果有配置内容，则限制只有配置的这些用户可以登录。如：c.Authenticator.whitelist = { ‘user1’ }，则只有user1能登录。
1

现在我们在之前的基础上追加用户user1 和 user2

c.Authenticator.whitelist = set(['user1' , 'user2'])
1

设置user1和user2用户的账户密码，此时刷新admin账户jupyterhub，我们可以看到多用户已经更新为：

此时登录user1用户并点击user1的access server

提示Authorize access授权访问：

点击Token可以进行配置

如果配置可访问则我们在jupyterhub用户中可以直接读写user1的文件，否则提示没有权限：

jupyterHub支持GPU
Docker内无法使用GPU，也就是说docker下的 jupyterHub无法支持tensor flow GPU，如果想在docker下的jupyterHub中使用GPU需要安装nvidia docker

# 如果安装 nvidia-docker 1.0，需要先删除它以及所有存在的GPU containers
docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f
sudo apt-get purge -y nvidia-docker

# 添加相关包存储库
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
  sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \
  sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update

# 安装nvidia-docker2 ，重新加载Docker daemon配置
sudo apt-get install -y nvidia-docker2
sudo pkill -SIGHUP dockerd

# 拉取最新的官方CUDA镜像检测nvidia-smi
docker run --runtime=nvidia --rm nvidia/cuda:9.0-base nvidia-smi

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

完~
本文转载自 https://blog.csdn.net/weixin_39860046/article/details/112000403