miner大后端配置步骤_file miner

一． 环境介绍

部门有5台服务器分别为192.168.2.(201~204,207)，分别运行HDFS（201），YARN（202），HIVE（203）。SPARK集群运行在201~204这4台服务器上。具体信息可登陆Ambari查看，地址为192.168.2.201，账号密码。

二．常用软件及源码下载、更新、上传

2.1常用软件

Foxmail：管理办公邮箱，一般每天早上收取邮件

XShell：访问服务器，上传代码，个人测试代码用

IntelliJ IDEA：编写代码用的IDE，可去jetbrains.com下载

JDK：1.7以上

Git：配合IDEA管理代码版本

2.2源码下载

安装好JDK并配置好环境变量。

安装好Git，打开IDEA，选择File-->Setting-->Version Control-->Git，选择安装路径并Test，出现如下信息及Git配置成功

选择File àClose Project 然后点击Check out from Version Control—>Git

 

选择右上角HTTP，并复制链接

将链接复制到IDEA窗口的URL框，并Test，输入你的公司邮箱账号密码，Test成功后即可下载项目源码（注意设置本地的项目路径）

 

2.3源码更新

在Project窗口右键单击项目，选择Git -> Repository -> Fetch 

第一个要求输Master Password界面点击右上角X

第二个要求输账号密码界面输入gitlab的账号（公司邮箱）

第三个要求输Mster Password界面点击右上角X

 

此时左下角会出现如下提示

表示Fetch成功，即已将gitlab上各版本源码拉取过来

点击右下角Git:XXX 可以看到目前gitlab上各个icloudunion的版本

 

单击某版本（如current）点击Merge可与本地版本合并，点击Compare可对比该版本与本地版本的区别。

关于Git版本控制的具体原理可参考：

http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000

 

2.4源码上传

在项目或所修改文件上右键，选择Git -> Commit File 选择已修改文件并填写Commit Message，点击Commit

 

Commit后再右键选择Git -> Push 选择项目并Push到gitlab上自己的分支

 

最后登录gitlab申请将自己的分支合并到current分支。

 

三．

三．代码测试

3.1测试代码

测试每个小模块时最好写一个TestXXX类，用于向所测试模块传入参数（包括源文件和输出文件的路径等），并向Spark提交Job。样例测试文件如下：

public class TestReadCSV {
    public static void main(String args[])
    {
        OperatorService operatorService =   MinerRpcClient.getService(OperatorService.class);
        String operator = "com.szl.miner.operator.load.ReadCSV";

        Map<String, Object> param;
        param = new HashMap<String, Object>();
        param.put("include_column_name", "false");
        param.put("hdfs_file", "miner://hdfs?path=/home/xxc/pca.csv");
        param.put("hive_out", "miner://hive?schema=miner_db;type=table;name=z_xxc_dt_input");

        try {
            operatorService.executeOperator(operator, param);
        } catch (Throwable throwable) {
            throwable.printStackTrace();
        }
    }
}

3.2项目上传

在Maven Project下选择funsion-miner下的Lifecycle，先clean,再package打包

打包后在\miner-server\miner-server-core\target下找到miner-server-core-0.1-SNAPSHOT.tar.gz复制到某目录（如D盘下）

用XShell连接192.168.2.201:22 账号XXXX密码XXXXX用SSH和SFTP协议分别建立一个链接，如图所示

在/home下建立一个自己的文件夹，在SFTP协议下将刚才打完的包传到自己的文件夹下。

3.3项目测试

在SSH协议连接下进入自己的目录，并用如下命令启动服务，然后运行本地的TestXXX测试文件

Java -cp miner-server-core-0.1-SNAPSHOT/lib/miner-server-core-0.1-SNAPSHOT.jar:miner-server-core-0.1-SNAPSHOT/lib/* com.szl.miner.server.MinerServer /home/yourname/miner-server-core-0.1-SNAPSHOT &