MR程序运行的三种方式：window本地运行、windwo推送程序到linux集群运行、linux集群运行_运行mr

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

大数据组件使用 总文章

MR程序运行的三种方式：

1.window本地运行MR程序：
 
                1.IDEA 本地执行，只需要maven配置大数据组件的相关jar包即可。
                2.需要：
                        // 指定使用 本地执行
                        conf.set("mapreduce.framework.name", "local")
                        //指定本次 MapReduce程序中 所运行主类
                        job.setJarByClass(xxx.class);
                3.不需要 job.setJar 和 System.setProperty("HADOOP_USER_NAME", "root")
                4.resources目录中 不需要 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

2.windwo推送MR程序到linux集群运行
 
                1.IDEA 首先需要maven配置大数据组件的相关jar包。
                2.需要：
                        // 指定使用 远程yarn框架执行
                        conf.set("mapreduce.framework.name", "yarn")
                        // 如果搭建了 hadoop HA 的话，需要指定 活动状态下的 namenode
                        conf.set("fs.defaultFS", "hdfs://node1:8020");
                        // 如果要从windows系统中运行这个job提交客户端的程序，则需要加这个跨平台提交的参数
                        // 配置使用跨平台提交任务，Windows开发者需要设置跨平台
                        conf.setBoolean("mapreduce.app-submission.cross-platform", true);
                        //通过这种方式设置java客户端访问hdfs的身份
                        System.setProperty("HADOOP_USER_NAME", "root");
                        // 指定jar文件，该jar文件为mapreduce程序打包后的jar文件，需要是可执行jar包，文件路径可以是本地文件路径或hdfs路径
                        job.setJar("D:\\daima\\项目名\\target\\项目名-1.0-SNAPSHOT.jar");
                        //指定本次 MapReduce程序中 所运行主类
                        job.setJarByClass(xxx.class);
                3.resources目录中 需要 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
                  可在CDH的页面中点击下载hdfs、yarn的配置文件

3.linux集群运行MR程序
 
                1.需要：
                        // 指定使用 远程yarn框架执行
                        conf.set("mapreduce.framework.name", "yarn")
                        // 如果搭建了 hadoop HA 的话，需要指定 活动状态下的 namenode
                        conf.set("fs.defaultFS", "hdfs://node1:8020");
                        // 如果要从windows系统中运行这个job提交客户端的程序，则需要加这个跨平台提交的参数
                        //通过这种方式设置java客户端访问hdfs的身份
                        System.setProperty("HADOOP_USER_NAME", "root");
                        //指定本次 MapReduce程序中 所运行主类
                        job.setJarByClass(xxx.class);
                2.resources目录中 需要 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
                  可在CDH的页面中点击下载hdfs、yarn的配置文件