- 1JMeter--逻辑控制器--IF 控制器
- 2企业如何进行等保自测和自评定级？_等保测评 自评
- 3Android自学，android面试八股文_android 八股文
- 4一键生成视频！用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流_svd视频生成 部署
- 5阿里云Nodejs SDK——子设备接入物联网平台_const iot = require('./utils/aliyun-iot-sdk.js');
- 6Django注册rest_framework报错(已安装但是只要一注册就报错NO Model ‘rest_framework’)_no module named 'rest_framework
- 7Mac 下安装flutter图解_mac 安装flutter
- 8银行API安全解决方案_引入银行的api
- 9创建自己数据集全套流程_如何制作自己的数据集
- 10蓝桥杯python组算法模板与习题_蓝桥杯python题库
sparkctl x86/arm不同平台编译使用
赞
踩
目录
1.sparkctl简介
sparkctl是 Spark Operator 的一个命令行工具，用于创建、列出、检查状态、获取日志和删除SparkApplication。它还可以进行从本地端口到 Spark Web UI 端口的端口转发，以访问驱动程序上的 Spark Web UI。每个功能都是作为子命令实现的sparkctl。
以下全局标志可用于所有子命令：
--namespace：(s) 的 Kubernetes 命名空间SparkApplication。默认为default.--kubeconfig：访问 Kubernetes API 服务器的配置文件的路径。默认为$HOME/.kube/config
createsparkctl是用于创建对象的子命令SparkApplication。创建对象有两种方法SparkApplication。一种是在给定 YAML 文件SparkApplication指定的命名空间中解析并创建对象。--namespace这样就create解析了YAML文件，并将解析后的SparkApplication对象发送到Kubernetes API服务器。这种方式的用法如下所示：
用法：
$ sparkctl create <path to YAML file>另一种方法是SparkApplication从命名创建对象ScheduledSparkApplication以手动强制运行ScheduledSparkApplication.这种方式的用法如下所示：
用法：
$ sparkctl create <name of the SparkApplication> --from <name of the ScheduledSparkApplication>该create命令还支持将本地 Hadoop 配置文件传送到驱动程序和执行程序 Pod 中。具体来说，它会检测位于环境变量指定的路径中的本地 Hadoop 配置文件HADOOP_CONF_DIR，从这些文件创建 Kubernetes ConfigMap，并将其添加到ConfigMap对象中SparkApplication，以便操作员将其安装到驱动程序和执行程序 Pod 中。环境变量HADOOP_CONF_DIR也在驱动程序和执行程序容器中设置。
暂存本地依赖项
该create命令还支持暂存本地应用程序依赖项，但目前仅支持上传到 Google Cloud Storage (GCS) 存储桶。其工作方式如下。它检查解析对象中的spec.mainApplicationFile、spec.deps.jars、spec.deps.files等是否存在任何本地依赖关系SparkApplication。如果是这样，它会尝试将本地依赖项上传到 指定的远程位置--upload-to。如果使用本地依赖项但未--upload-to指定，该命令将失败。默认情况下
