Streampark使用体验与建议

01 引言

本文为Streampark的阅读笔记，旨在快速了解该项目的功能、用法等。

Streapark是 流处理极速开发框架，支持流批一体 & 湖仓一体的云原生平台，一站式流处理计算平台。

相关资料如下：

• 文档地址：https://streampark.apache.org/
• Github：https://github.com/apache/incubator-streampark

02 功能界面

安装教程可以参考：

• https://streampark.apache.org/zh-CN/docs/user-guide/deployment

如果是docker下安装，可以参考博主之前写的博客：

• 《docker下安装与配置streampark》

2.1 系统管理页面

系统管理页面似乎和我们普通的管理系统没什么区别，，主要就是做隔离和权限控制。这里不再细讲，直接贴图：

2.2 设置中心

2.2.1 界面

设置中心主要分为了如下几类：

2.2.2 功能描述

功能描述：

2.3 Streampark（核心）

Streampark模块是最核心的部分，前面的配置都为它做基础，我们来看看其界面。

2.3.1 界面

2.3.2 功能描述

03 环境

使用docker安装，一键式部署，很容易忽略了其环境，我们看看项目里面的 DockerFile 的内容，便知道整个镜像用到了什么环境了，里面已添加注释。

# Step1. 把当前项目生成的安装包复制到基础镜像的当前目录
FROM alpine:3.16 as deps-stage
COPY . /
WORKDIR /
RUN tar zxvf dist/apache-streampark*-*-bin.tar.gz \
&& mv apache-streampark*-*-bin streampark

FROM docker:dind
WORKDIR /streampark
COPY --from=deps-stage /streampark /streampark

ENV NODE_VERSION=16.1.0
ENV NPM_VERSION=7.11.2

# Step2. 镜像安装jdk、maven、以及插件（wget、vim、bash、curl）
RUN apk add openjdk8 \
    && apk add maven \
    && apk add wget \
    && apk add vim \
    && apk add bash \
    && apk add curl

# Step3. Export环境变量（JAVA_HOME、MAVEN_HOME）
ENV JAVA_HOME=/usr/lib/jvm/java-1.8-openjdk
ENV MAVEN_HOME=/usr/share/java/maven-3
ENV PATH $JAVA_HOME/bin:$PATH
ENV PATH $MAVEN_HOME/bin:$PATH

# Step4. 下载前端环境（nodejs）、kubectl命令工具并把它们复制到bin目录，直接就能使用
RUN wget "https://nodejs.org/dist/v$NODE_VERSION/node-v$NODE_VERSION-linux-x64.tar.gz" \
    && tar zxvf "node-v$NODE_VERSION-linux-x64.tar.gz" -C /usr/local --strip-components=1 \
    && rm "node-v$NODE_VERSION-linux-x64.tar.gz" \
    && ln -s /usr/local/bin/node /usr/local/bin/nodejs \
    && curl -LO https://dl.k8s.io/release/v1.23.0/bin/linux/amd64/kubectl \
    && install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl

# Step5. 创建kube目录，主要用于存放认证config
RUN mkdir -p ~/.kube

EXPOSE 10000
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

也就是streampark的镜像，里面已经包含了jdk、nodejs、maven等环境了，就是官网的截图：

04 评价与建议

总体来说，Streampark功能是挺全的，也使用了不少的技术，它拆分之后的自我描述如下：

• 让流处理更简单, 使用StreamPark开发;
• 可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务;
• StreamPark 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式;
• 提供了一系列开箱即用的Connectors;
• 标准化了配置、开发、测试、部署、监控、运维的整个过程;
• 提供了scala和java两套api；
• 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案。

---

个人使用之后，如果能在以下方面能做得更好，就很nice了：

• hadoop集群可支持多个，不要写死，指的是界面可以上传，做集群测试，但是可能要安装多一个oss服务；
• flink版本也支持多个，指的是界面可以上传sdk，当然也可以指定链接下载解压；
• 监控这块不是很明确，目前是通过外链的形式，如果能再集成多一个Prometheus这套就更完美了，因为这已经是监控标准了；
• 作业管理，Custom Code模式似乎不支持依赖jar的添加，一般打的包都是源码的，如果是shade打包方式，类容易出现无法加载的问题；
• jar没有做统一管理（如：connector、format、catalog等），即使flnk sql模式依赖了jar，写代码时也没有自动补全；
• 提交作业到yarn，kerberos认证不知道怎么处理，需要配置哪些参数（如：krb5.conf、keytab、principal等要放到哪）；
• k8s部署方式，多实例处理；
• 。。。。。。。

05 文末

以上是博主对Streampark使用的初体验，难免会有一些纰漏错误之处，欢迎大家的评论与留言，谢谢大家的阅读，本文完！