docker安装部署Apache Griffin_griffin快速安装部署

1）下载docker镜像

docker pull apachegriffin/griffin_spark2:0.3.0
docker pull apachegriffin/elasticsearch
docker pull apachegriffin/kafka
docker pull zookeeper:3.5
1
2
3
4

2）创建配置文件griffin-compose-batch.yml

griffin:
  image: apachegriffin/griffin_spark2:0.3.0 # 下载的镜像名称
  hostname: griffin # 设置的docker主机名
  links:
    - es # 关联的其他docker的主机名
  environment:  # 配置环境变量
    ES_HOSTNAME: es
  volumes:
    - /var/lib/mysql
  ports:  #映射到docker外的端口号: docker内组件的端口号
    - 32122:2122
    - 38088:8088  # yarn rm web ui
    - 33306:3306  # mysql
    - 35432:5432  # postgres
    - 38042:8042  # yarn nm web ui
    - 39083:9083  # hive-metastore
    - 38998:8998  # livy
    - 38080:8080  # griffin ui
  tty: true
  container_name: griffin # docker名称
es:
  image: apachegriffin/elasticsearch
  hostname: es
  ports:
    - 39200:9200
    - 39300:9300
  container_name: es
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

3）启动docker

在创建griffin-compose-batch.yml的文件目录下执行

docker-compose -f griffin-compose-batch.yml up -d
docker-compose -f docker-compose-streaming.yml up -d
1
2

执行成功，如下：

4）浏览器访问griffin的ui界面

访问地址：http://localhost:38080/

注：第一次登陆页面，需要自定义用户名，密码。

改进：在之前的基础上新增kafka和zookeeper

1）下载docker镜像

docker pull apachegriffin/kafka
docker pull zookeeper:3.5
1
2

2）创建配置文件docker-compose-streaming.yml

griffin:
  image: apachegriffin/griffin_spark2:0.3.0
  hostname: griffin
  links:
    - es
    - zk
    - kafka
  environment:
    ES_HOSTNAME: es
    ZK_HOSTNAME: zk
    KAFKA_HOSTNAME: kafka
  volumes:
    - /var/lib/mysql
  ports:
    - 32122:2122
    - 38088:8088
    - 33306:3306
    - 35432:5432
    - 38042:8042
    - 39083:9083
    - 38998:8998
    - 38080:8080
  tty: true
  container_name: griffin

es:
  image: apachegriffin/elasticsearch
  hostname: es
  ports:
    - 39200:9200
    - 39300:9300
  container_name: es

zk:
  image: zookeeper:3.5
  hostname: zk
  ports:
    - 32181:2181
  container_name: zk
  restart: always

kafka:
  image: apachegriffin/kafka
  hostname: kafka
  ports:
    - 39092:9092
  container_name: kafka
  tty: true
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

3）启动docker

在创建docker-compose-streaming.yml的文件目录下执行

docker-compose -f docker-compose-streaming.yml up -d
1

执行成功，如下：

4）浏览器访问griffin的ui界面

访问地址：http://localhost:38080/
页面没啥变化，用户名密码还是第一次设置的。

注 ：docker 镜像是 Apache Griffin 环境镜像。

• apachegriffin/griffin_spark2：此镜像包含mysql、hadoop、hive、spark、livy、Apache Griffin服务、Apache Griffin measure，以及一些准备好的demo数据，作为单节点spark集群工作，提供spark引擎和Apache Griffin服务。
• apachegriffin/elasticsearch：本图基于官方elasticsearch，添加了一些配置开启cors请求，为metricspersist提供elasticsearch服务。
• apachegriffin/kafka：本图包含kafka 0.8，以及一些demo流数据，提供流模式下的流数据源。
• zookeeper:3.5：此图片为官方zookeeper，以流式方式提供zookeeper服务。