windows上搭建hadoop2开发环境_头歌hadoop开发环境搭建第二关

搭建前的准备：

1》安装ant-->配置ant环境变量和java的环境变量

2》配置jdk环境变量---》这里的jdk版本要求和build.xml 编译的版本一致否则不通过

正式搭建：

1.使用eclipse创建java project-->bigdata （这里也需要配置一下eclipse中运行的ant路径 由于该路径下有eclipse默认的ant没有的jar包---jscn-0.1.15.jar  该jar包作用就是运行window下hadoop程序用的）

2.创建lib包---》和src同级（这里必须创建lib文件夹否则后期用ant 运行build.xml 无法找到对应的hadoop的jar包）

3.创建类hdfs.App1

package hdfs;
 
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.concurrent.atomic.AtomicInteger;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.Trash;
import org.apache.hadoop.fs.permission.FsPermission;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
 
public class App1 {
	public static void main(String[] args) throws Exception {
		final FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop1:9000"), new Configuration());
		System.out.println("************************"+fileSystem);
		System.out.println("************************"+fileSystem.getClass());//DistributedFileSystem
		//创建文件夹 mkdir /-->表示根目录  dir1-->表示目录名称 (目录结构比较单一可用使用)
//		createDir(fileSystem);
		
		//上传文件create 参数1--》hdfs路径  参数2---》覆盖 参数3--》缓冲大小 参数4--》副本数  参数5-->块默认128m
//		upload(fileSystem);
		
		//读取hdfs文件
//		read(fileSystem);
		
		//遍历 listStatus 首字母就是ls 遍历的意思
//		FileStatus[] listStatus = fileSystem.listStatus(new Path("/dir1"));
//		for(FileStatus fileStatus : listStatus) {
//			System.out.println(fileStatus);
//			if(!fileStatus.isDirectory()) {
//				BlockLocation[] fileBlockLocations = fileSystem.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
//				for (BlockLocation blockLocation : fileBlockLocations) {
//					 String[] names = blockLocation.getNames();
//					 for (String name : names) {
//						System.out.println("name:"+name);//HOST NAME:192.168.0.2:50010
//					}
//					 String[] hosts = blockLocation.getHosts();
//					 for (String hostname : hosts) {
//						System.out.println("HOST NAME:"+hostname);
//					}
//				}
//			}
//		}
		
		//获取工作目录  hdfs://hadoop1:9000/user/root
		System.out.println(fileSystem.getWorkingDirectory().toString());
		
		//删除
//		Trash trash = new Trash(fileSystem, fileSystem.getConf());
//		trash.moveToTrash(new Path("/dir1/file1"));
//		fileSystem.delete(new Path("/dir1/file1"),true);
		
		
	}
 
	private static void read(final FileSystem fileSystem) throws IOException {
		FSDataInputStream in = fileSystem.open(new Path("/dir1/file1"));
		IOUtils.copyBytes(in, System.out, 1024,true); //把结果输出到控制台
	}
 
	private static void upload(final FileSystem fileSystem) throws IOException, FileNotFoundException {
		//		FSDataOutputStream out = fileSystem.create(new Path("/dir1/file1"),true,1024000,(short)2,1048576);// 65535 < 1048576
		//		FileInputStream in = new FileInputStream("/usr/hadoop1/hadoop.txt");
				
				//参数1--》linux本地文件io流，参数2--》hdfs输出文件流 参数3--》缓冲大小 参数4 ---》操作完是否关闭流
		//		IOUtils.copyBytes(in, out, 1024,true);
				//progressable--->表达数据上传的进程
				final AtomicInteger writeBytes = new AtomicInteger(0); //计数器
				FSDataOutputStream out = fileSystem.create(new Path("/dir1/file2"), new Progressable() {
					@Override
					public void progress() {
						System.out.println("writeBytes:"+writeBytes.get());
						
					}
				});
				FileInputStream in = new FileInputStream("/usr/hadoop1/hadoop.txt");
				byte[] buffer = new byte[1024];
				int readBytes = 0;
				while((readBytes=in.read(buffer))!=-1) {
					out.write(buffer);
					out.flush();
					out.hsync();//保证当前实际写入hdfs是成功的
					writeBytes.addAndGet(readBytes);
				}
	}
 
	private static void createDir(final FileSystem fileSystem) throws IOException {
		fileSystem.mkdirs(new Path("/dir1"));
//		fileSystem.mkdirs(new Path("/dir1/dir11/dir111"));//递归创建的
		//mydir位于working home--->推荐使用
		//fileSystem.mkdirs(new Path("mydir"));//没有根目录   /user/root--->hdfs存放所有用户的根目录
		//第二个参数是权限 ---drwxr-xr-x 
//		fileSystem.mkdirs(new Path("/dir2"),new FsPermission("111"));
	}
 
}

4.创建build.xml-->并运行

<?xml version="1.0" encoding="utf-8"?>
<project name="项目名称" basedir="." default="sshexec">
	<description>本配置文件共ANT编辑项目、自动化进行单元测试、打包并部署使用</description>
	<description>默认操作 (输入命令：ant) 为编译源程序并发布运行</description>
	
	<!-- 属性设置 -->
	<!-- property environment="env"/ -->
	<!--property file="build.properties"/ -->
	<!--property name="java.lib.dir" value="${env.JAVA_HOME}/lib"/ -->
	<property name="project" location="bigdata"/> 
	<property name="src.dir" value="${basedir}/src"/><!-- 设置变量，指向被编译的java代码的位置 --> 
	<property name="classes.dir" value="${basedir}/classes"/><!-- 设置变量，指向编译后的class文件的位置 -->
	<property name="dist.dir" value="${basedir}/dist"/> <!-- 设置变量，指向编译后生成jar包的位置 -->  
	<property name="project.lib.dir" value="${basedir}/lib"/><!-- 设置变量，指向所依赖的jar包所在的位置 --> 
	<property name="localpath.dir" value="${basedir}"/>
	<property name="remote.home" value="~"/>
	<!-- 可以修改 -->
	<property name="remote.hostname" value="hadoop1"/>
	<!-- 可以修改 -->
	<property name="remote.username" value="root"/>
	<!-- 可以修改 -->
	<property name="remote.password" value="root"/>
	<!-- 可以修改:每次需要知道的main类，写到这里 -->
	<property name="main.class" value="hdfs.App1"/>
	
	<!-- 基本编译路径设置 -->
	<path id="compile.classes">
		 <pathelement path="${dist.dir}" />       
		<fileset dir="${project.lib.dir}">
			<include name="**/*.jar"/>
		</fileset>
	</path>
	
	<!-- 清理删除临时目录-->
	<target name="clean" description="清理删除临时文件">
		<!-- delete dir="${build.dir}"-->	
		<delete dir="${dist.dir}" />
		<delete dir="${classes.dir}" />
	</target>
	<!-- 初始化，建立目录，复制文件-->
	<target name="init" depends="clean" description="初始化，建立目录，复制文件">
		<mkdir dir="${classes.dir}"/>
		<mkdir dir="${dist.dir}"/>
	</target>
	<!-- 编译源文件-->
	<target name="compile" depends="init" description="编译源文件">
		<!-- 编译的版本不能比运行的版本高 -->
		<javac srcdir="${src.dir}" destdir="${classes.dir}" fork="true" 
			executable="E:\Java\jdk1.7.0_80\bin\javac"
			includeantruntime="on" 
			classpath="${project.lib.dir}">
			<classpath refid="compile.classes"/>
		</javac>
	</target>
	<!-- 打包类文件-->
	<target name="jar" depends="compile" description="打包类文件">
		<jar jarfile="${dist.dir}/jar.jar" basedir="${classes.dir}">
			<!--fileset dir="${classes.dir}" includes="**/*.*"/-->
		</jar>
	</target>
	<!-- 上传到服务器 
	**需要把lib目录下jsch-0.1.15拷贝到$ANT_HOME/lib下，如果Eclipse下的ant环境必须在Windows->preference->ANT->RUNIIME->CLASSPATH中加入jscn-0.1.15.
	-->
	<target name="ssh" depends="jar">
		<scp file="${dist.dir}/jar.jar" todir="${remote.username}@${remote.hostname}:${remote.home}" password="${remote.password}" trust="true"/>
	</target>
	<target name="sshexec" depends="ssh">
		<sshexec command="/usr/hadoop1/hadoop-2.7.5/bin/hadoop jar ${remote.home}/jar.jar ${main.class}" host="${remote.hostname}" username="${remote.username}" password="${remote.password}" trust="true"  />
	</target>
</project>

最终运行效果：