devbox
不正经
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

大数据学习笔记_create table if not exists tablea ( deptno int, dn

作者：不正经 | 2024-04-09 03:13:12

赞

踩

create table if not exists tablea ( deptno int, dname string ) partitioned b
  1. ---------------------------------CentOS安装JDK与MySQL---------------------------------------
  2.  
  3. rpm -qa | grep java  --查看系统中是否安装jdk
  4.  
  5. rpm -e --nodeps java包 --强制卸载系统中的jdk
  6. tar -zxf jdk-7u79-linux-x64.tar.gz -C /opt/modules/   --解压jdk包
  7. vi ../etc/profile --编辑profile文件
  8.  
  9.  
  10. export JAVA_HOME=/opt/modules/jdk1.7.0_79         -- 在profile 文件结尾加上这两句话
  11. export PATH=$PATH:$JAVA_HOME/bin
  12.  
  13. source /etc/profile  重启profile配置文件
  14.  
  15.  
  16.  
  17. create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
  18. load data local inpath '/opt/datas/student.txt' into table student ;
  19.  
  20.  
  21.  
  22. rpm -qa | grep mysql
  23.  
  24.  
  25. rpm -e --nodeps mysql包 --强制卸载系统中的mysql
  26.  
  27.  
  28. rpm -ivh  MySQL-server-5.6.24-1.el6.x86_64.rpm
  29.  
  30. ---------------------------------CentOS安装JDK与MySQL---------------------------------------
  31.  
  32.  
  33.  
  34.  
  35.  
  36.  
  37.  
  38. ---------------------------------Hive创建表---------------------------------------
  39.  
  40.  
  41. create table if not exists default.log_1017
  42. (
  43. ip string comment 'remote ip address',
  44. user string,
  45. req_url string comment 'user request url'
  46. )
  47. comment 'Web Acsess Logs'
  48. row format delimited fields terminated by ' '
  49. stored as textfile ;
  50.  
  51.  
  52.  
  53. create table if not exists default.log_1017_2
  54. as select * from default.log_1017
  55.  
  56. create table if not exists default.log_1017_2
  57. like default.log_1017
  58.  
  59.  
  60. create table if not exists student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
  61. load data local inpath '/opt/datas/log-1017.txt' into table default.log_1017 ;
  62.  
  63.  
  64.  
  65.  
  66. create table if not exists default.emp
  67. (
  68. empno int ,
  69. ename string,
  70. job string,
  71. mgr int,
  72. hiredate string,
  73. sal double,
  74. comm double,
  75. deptno int 
  76. )
  77. row format delimited fields terminated by '\t';
  78.  
  79.  
  80.  
  81.  
  82. create table if not exists default.dept
  83. (
  84. deptno int ,
  85. dname string,
  86. loc string 
  87. )
  88. row format delimited fields terminated by '\t';
  89.  
  90.  
  91.  
  92. load data local inpath '/opt/datas/emp.txt' overwrite into table default.emp ;
  93. load data local inpath '/opt/datas/dept.txt' into table default.dept ;
  94.  
  95.  
  96.  
  97. ----创建外部表
  98. create external table if not exists default.emp_ext
  99. (
  100. empno int ,
  101. ename string,
  102. job string,
  103. mgr int,
  104. hiredate string,
  105. sal double,
  106. comm double,
  107. deptno int 
  108. )
  109. row format delimited fields terminated by '\t';
  110.  
  111.  
  112. ----创建分区表
  113. create table if not exists default.dept_part
  114. (
  115. deptno int ,
  116. dname string,
  117. loc string 
  118. )
  119. partitioned by (month string,day string)
  120. row format delimited fields terminated by '\t';
  121.  
  122.  
  123. load data local inpath '/opt/datas/dept.txt' overwrite into table default.dept_part partition (month='201810');
  124.  
  125. ----第一种方式
  126. dfs -mkdir -p /user/hive/warehouse/dept_part/day=20181020;
  127. dfs -put /opt/datas/dept.txt /user/hive/warehouse/dept_part/day=20181020;
  128.  
  129. msck repair table dept_part
  130.  
  131. ----第二种方式
  132. dfs -mkdir -p /user/hive/warehouse/dept_part/day=20181021;
  133. dfs -put /opt/datas/dept.txt /user/hive/warehouse/dept_part/day=20181021;
  134.  
  135. alert table dept_part add partition (day='20181021')
  136.  
  137.  
  138. insert overwrite local directory '/opt/datas/hive_exp_emp' 
  139. row format delimited fields terminated by '\t' collection items terminated by '\n'
  140. select * from default.emp;
  141.  
  142. insert overwrite directory '/user/root//hive_exp_emp' 
  143. select * from default.emp;
  144.  
  145.  
  146.  
  147. insert overwrite local directory '/opt/datas/hive_emp_res' 
  148. select * from emp order by empno asc;
  149.  
  150.  
  151.  
  152. set hive.exec.reducers.max=3
  153. insert overwrite local directory '/opt/datas/hive_emp_res' 
  154. select * from emp sort by empno asc;
  155.  
  156.  
  157. insert overwrite local directory '/opt/datas/hive_emp_res' 
  158. select * from emp distribute by deptno sort by empno asc;
  159.  
  160.  
  161.  
  162. ---------------------------UDF编程---------------------------
  163.  
  164.  
  165. <!-- Hive Client-->
  166. 		<dependency>
  167. 			<groupId>org.apache.hive</groupId>
  168. 			<artifactId>hive-jdbc</artifactId>
  169. 			<version>${hive.version}</version>
  170. 		</dependency>
  171. 		
  172. 		<dependency>
  173. 			<groupId>org.apache.hive</groupId>
  174. 			<artifactId>hive-exec</artifactId>
  175. 			<version>${hive.version}</version>
  176. 		</dependency>
  177.  
  178. 		
  179. UDF编程步骤：		
  180. 1-->Create UDF Java
  181. 2-->打包成Jar包，并上传。
  182. 3-->Use UDF Class
  183. 	2-1--> add jar /opt/datas/hive-udf.jar
  184. 	2-2--> create temporary function my_lower as  "com.root.senior.hive.udf.LowerUDF"
  185. 	2-3--> select ename ,my_lower(ename) lowername from emp limit 5 ;
  186. 	
  187. 	CREATE FUNCTION self_lower AS 'com.root.senior.hive.udf.LowerUDF' USING JAR 'hdfs://hadoop.zxk.com:8020/user/root/hive/jars/hiveudf.jar';
  188. 	select ename, self_lower(ename) lowername from emp limit 5 ;
  189. 	
  190. 	
  191.  
  192. ------------------------------------测试Snappy-----------------------------------	
  193. 	
  194. bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount  /user/root/mapreduce/wordcount/input  /user/root/mapreduce/wordcount/output4
  195.  
  196.  
  197.  
  198. bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount
  199.  -Dmapreduce.map.output.compress=true 
  200.  -Dmapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec 
  201.  /user/root/mapreduce/wordcount/input 
  202.  /user/root/mapreduce/wordcount/output2
  203.  
  204. -------------------------------------测试ORC与PARQUET数据格式-------------------------------------------
  205.  
  206. create table page_views(
  207. track_time string,
  208. url string,
  209. session_id string,
  210. referer string,
  211. ip string,
  212. end_user_id string,
  213. city_id string
  214. )
  215. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
  216. STORED AS TEXTFILE ;
  217.  
  218.  
  219. load data local inpath '/opt/datas/page_views.data' into table page_views;
  220. select session_id,count(*) cnt from page_views group by session_id order by cnt desc limit 30 ;
  221. dfs -du -h /user/hive/warehouse/page_views
  222.  
  223.  
  224.  
  225. create table page_views_orc(
  226. track_time string,
  227. url string,
  228. session_id string,
  229. referer string,
  230. ip string,
  231. end_user_id string,
  232. city_id string
  233. )
  234. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
  235. STORED AS ORC ;
  236.  
  237. insert into table page_views_orc select * from page_views ;
  238. select session_id,count(*) cnt from page_views_orc group by session_id order by cnt desc limit 30 ;
  239. dfs -du -h /user/hive/warehouse/page_views_orc
  240.  
  241.  
  242. create table page_views_parquet(
  243. track_time string,
  244. url string,
  245. session_id string,
  246. referer string,
  247. ip string,
  248. end_user_id string,
  249. city_id string
  250. )
  251. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
  252. STORED AS PARQUET ;
  253.  
  254. insert into table page_views_parquet select * from page_views ;
  255. select session_id,count(*) cnt from page_views_parquet group by session_id order by cnt desc limit 30 ;
  256.  
  257. dfs -du -h /user/hive/warehouse/page_views_parquet
  258.  
  259. -------------------------------------测试ORC与PARQUET数据格式-------------------------------------------
  260.  
  261.  
  262.  
  263. -------------------------------------测试ORC与Snappy压缩结合使用----------------------------------------
  264.  
  265. create table page_views_orc_snappy(
  266. track_time string,
  267. url string,
  268. session_id string,
  269. referer string,
  270. ip string,
  271. end_user_id string,
  272. city_id string
  273. )
  274. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
  275. STORED AS orc tblproperties ("orc.compress"="SNAPPY");
  276.  
  277. insert into table page_views_orc_snappy select * from page_views ;
  278. dfs -du -h /user/hive/warehouse/page_views_orc_snappy/ ;
  279.  
  280.  
  281. create table page_views_orc_none(
  282. track_time string,
  283. url string,
  284. session_id string,
  285. referer string,
  286. ip string,
  287. end_user_id string,
  288. city_id string
  289. )
  290. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
  291. STORED AS orc tblproperties ("orc.compress"="NONE");
  292.  
  293. insert into table page_views_orc_none select * from page_views ;
  294. dfs -du -h /user/hive/warehouse/page_views_orc_none/ ;
  295.  
  296.  
  297. set parquet.compression=SNAPPY ;
  298. create table page_views_parquet_snappy(
  299. track_time string,
  300. url string,
  301. session_id string,
  302. referer string,
  303. ip string,
  304. end_user_id string,
  305. city_id string
  306. )
  307. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
  308. STORED AS parquet;
  309. insert into table page_views_parquet_snappy select * from page_views ;
  310. dfs -du -h /user/hive/warehouse/page_views_parquet_snappy/ ;
  311.  
  312. 总结：
  313. 	在实际的项目开发当中，hive表的数据
  314. 		* 存储格式
  315. 			orcfile / parquet
  316. 		* 数据压缩
  317. 			snappy
  318. 			
  319. -------------------------------------测试ORC与Snappy压缩结合使用----------------------------------------
  320.  
  321.  
  322.  
  323. -------------------------------------使用正则表达式创建表----------------------------------------
  324. drop table if exists default.bf_log_src ;
  325. create table IF NOT EXISTS default.bf_log_src (
  326. remote_addr string,
  327. remote_user string,
  328. time_local string,
  329. request string,
  330. status string,
  331. body_bytes_sent string,
  332. request_body string,
  333. http_referer string,
  334. http_user_agent string,
  335. http_x_forwarded_for string,
  336. host string
  337. )
  338. ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
  339. WITH SERDEPROPERTIES (
  340.   "input.regex" = "(\"[^ ]*\") (\"-|[^ ]*\") (\"[^\]]*\") (\"[^\"]*\") (\"[0-9]*\") (\"[0-9]*\") (-|[^ ]*) (\"[^ ]*\") (\"[^\"]*\") (-|[^ ]*) (\"[^ ]*\")"
  341. )
  342. STORED AS TEXTFILE;
  343.  
  344. load data local inpath '/opt/datas/moodle.iroot.access.log' into table default.bf_log_src ;
  345.  
  346.  
  347. ---------------------------------------创建orc格式并且使用Snappy压缩的表格----------------------------------------
  348. drop table if exists default.bf_log_comm ;
  349. create table IF NOT EXISTS default.bf_log_comm (
  350. remote_addr string,
  351. time_local string,
  352. request string,
  353. http_referer string
  354. )
  355. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
  356. STORED AS orc tblproperties ("orc.compress"="SNAPPY");
  357.  
  358. insert into table default.bf_log_comm select remote_addr, time_local, request,http_referer from  default.bf_log_src ;
  359.  
  360. select * from bf_log_comm limit 5 ;
  361.  
  362.  
  363.  
  364.  
  365.  
  366. ---------------------------------------定义UDF，对原表数据进行清洗----------------------------------------
  367.  
  368.  
  369. 第一个udf
  370. 	去除引号
  371. add jar /opt/datas/hiveudf2.jar ;
  372. create temporary function my_removequotes as "com.root.senior.hive.udf.RemoveQuotesUDF" ;
  373.  
  374. insert overwrite table default.bf_log_comm select my_removequotes(remote_addr), my_removequotes(time_local), my_removequotes(request), my_removequotes(http_referer) from  default.bf_log_src ;
  375.  
  376. select * from bf_log_comm limit 5 ;
  377.  
  378.  
  379. -----------------------------------------------Sqoop-----------------------------------------
  380.  
  381.  
  382. RDBMS以Mysql数据库为例讲解，拷贝jdbc驱动包到$SQOOP_HOME/lib目录下
  383.  
  384. cp /opt/softwares/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar  
  385. /opt/modules/sqoop-1.4.5-cdh5.3.6/lib/
  386.  
  387. bin/sqoop list-databases \
  388. --connect jdbc:mysql://hadoop.zxk.com:3306 \
  389. --username root \
  390. --password 123456 
  391.  
  392.  
  393. -----------------------------------------------Sqoop Import使用-----------------------------------------
  394.  
  395. bin/sqoop import \
  396. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  397. --username root \
  398. --password 123456 \
  399. --table my_user
  400.  
  401. ------------------------------------------Sqoop Import使用设置路径与mappers-----------------------------
  402. bin/sqoop import \
  403. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  404. --username root \
  405. --password 123456 \
  406. --table my_user \
  407. --target-dir /user/root/sqoop/imp_my_user \
  408. --num-mappers 1
  409.  
  410. -----------------------------------Import Hdfs文件系统 Sqoop设置文件存储格式为parquetfile-------------------
  411. sqoop 底层的实现就是MapReduce,import来说，仅仅运行Map Task
  412.  
  413. bin/sqoop import \
  414. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  415. --username root \
  416. --password 123456 \
  417. --table my_user \
  418. --target-dir /user/root/sqoop/imp_my_user_parquet \
  419. --fields-terminated-by ',' \
  420. --num-mappers 1 \
  421. --as-parquetfile
  422.  
  423.  
  424. ------------------------------------Import Hdfs文件系统 Sqoop设置数据的一部分列----------------------------
  425.  
  426. bin/sqoop import \
  427. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  428. --username root \
  429. --password 123456 \
  430. --table my_user \
  431. --target-dir /user/root/sqoop/imp_my_user_column \
  432. --num-mappers 1 \
  433. --columns id,account
  434.  
  435.  
  436. ----------------------------------Import Hdfs文件系统 -Sqoop设置数据的一部分列--------------------------------
  437.  
  438. bin/sqoop import \
  439. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  440. --username root \
  441. --password 123456 \
  442. --table my_user \
  443. --target-dir /user/root/sqoop/imp_my_user_column \
  444. --num-mappers 1 \
  445. --columns id,account
  446.  
  447. -----------------------------------Import Hdfs文件系统 Sqoop使用查询语句Query----------------------------------
  448. bin/sqoop import \
  449. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  450. --username root \
  451. --password 123456 \
  452. --query 'select id, account from my_user where $CONDITIONS' \
  453. --target-dir /user/root/sqoop/imp_my_user_query \
  454. --num-mappers 1
  455.  
  456. -----------------------------------Import Hdfs文件系统 Sqoop使用Snappy压缩-------------------------------------
  457.  
  458. bin/sqoop import \
  459. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  460. --username root \
  461. --password 123456 \
  462. --table my_user \
  463. --target-dir /user/root/sqoop/imp_my_sannpy \
  464. --delete-target-dir \
  465. --num-mappers 1 \
  466. --compress \
  467. --compression-codec org.apache.hadoop.io.compress.SnappyCodec \
  468. --fields-terminated-by ','
  469.  
  470.  
  471.  
  472. drop table if exists default.hive_user_snappy ;
  473. create table default.hive_user_snappy(
  474. id int,
  475. username string,
  476. password string
  477. )
  478. ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
  479.  
  480. load data inpath '/user/root/sqoop/imp_my_sannpy' overwrite into table default.hive_user_snappy ;
  481.  
  482.  
  483.  
  484.  
  485. ----------------------------Import Hdfs文件系统 增量数据的导入(incremental)--------------------------
  486.  
  487. 	有一个唯一标识符，通常这个表都有一个字段，类似于插入时间createtime
  488. 	* query
  489. 		where createtime => 20150924000000000 and createtime < 20150925000000000
  490. 	* sqoop
  491. Incremental import arguments:
  492.    --check-column <column>        Source column to check for incremental
  493.                                   change
  494.    --incremental <import-type>    Define an incremental import of type
  495.                                   'append' or 'lastmodified'
  496.    --last-value <value>           Last imported value in the incremental
  497.                                   check column	
  498. bin/sqoop import \
  499. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  500. --username root \
  501. --password 123456 \
  502. --table my_user \
  503. --target-dir /user/root/sqoop/imp_my_incr \
  504. --num-mappers 1 \
  505. --incremental append \
  506. --check-column id \
  507. --last-value 4
  508.  
  509. ----------------------------Import Hdfs文件系统 增量数据的导入(direct)--------------------------
  510. bin/sqoop import \
  511. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  512. --username root \
  513. --password 123456 \
  514. --table my_user \
  515. --target-dir /user/root/sqoop/imp_my_incr \
  516. --num-mappers 1 \
  517. --delete-target-dir \
  518. --direct
  519.  
  520.  
  521.  
  522. ----------------------------将Hdfs文件系统文件数据导入MySQL的表中--------------------------
  523. touch /opt/datas/user.txt
  524. vi /opt/datas/user.txt
  525. 12,root,root
  526. 13,xuanyun,xuanyu
  527.  
  528. bin/hdfs dfs -mkdir -p /user/root/sqoop/exp/user/ 
  529. bin/hdfs dfs -put /opt/datas/user.txt /user/root/sqoop/exp/user/
  530.  
  531.  
  532. bin/sqoop export \
  533. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  534. --username root \
  535. --password 123456 \
  536. --table my_user \
  537. --export-dir /user/root/sqoop/exp/user/ \
  538. --num-mappers 1
  539.  
  540.  
  541.  
  542. ----------------------------使用Sqoop将MySQL表中的数据导入Hive中---------------------------
  543.  
  544. use default ;
  545. drop table if exists user_hive ;
  546. create table user_hive(
  547. id int,
  548. account string,
  549. password string
  550. )
  551. ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
  552.  
  553. bin/sqoop import \
  554. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  555. --username root \
  556. --password 123456 \
  557. --table my_user \
  558. --fields-terminated-by ',' \
  559. --delete-target-dir \
  560. --num-mappers 1 \
  561. --hive-import \
  562. --hive-database default \
  563. --hive-table user_hive
  564.  
  565.  
  566. ----------------------------使用Sqoop将Hive表中数据（HDFS文件系统）中的数据导入MySQL中---------------------------
  567. CREATE TABLE `my_usert` (
  568.   `id` tinyint(4) NOT NULL AUTO_INCREMENT,
  569.   `account` varchar(255) DEFAULT NULL,
  570.   `passwd` varchar(255) DEFAULT NULL,
  571.   PRIMARY KEY (`id`)
  572. );
  573.  
  574.  
  575. bin/sqoop export \
  576. --connect jdbc:mysql://hadoop.zxk.com:3306/test \
  577. --username root \
  578. --password 123456 \
  579. --table my_usert \
  580. --export-dir /user/hive/warehouse/user_hive \
  581. --num-mappers 1 \
  582. --input-fields-terminated-by ','
  583.  
  584.  
  585.  
  586.  
  587. ---------------------------------------------Flume的基本配置--------------------------------------------
  588.  
  589. bin/flume-ng 
  590. Usage: bin/flume-ng <command> [options]...
  591.  
  592. commands:
  593.   agent                     run a Flume agent
  594.  
  595. global options:
  596.   --conf,-c <conf>          use configs in <conf> directory
  597.   -Dproperty=value          sets a Java system property value
  598.  
  599. agent options:
  600.   --name,-n <name>          the name of this agent (required)
  601.   --conf-file,-f <file>     specify a config file (required if -z missing)
  602.  
  603.   
  604. bin/flume-ng agent --conf conf --name agent-test --conf-file test.conf -Dflume.root.logger=DEBUG,console  
  605. bin/flume-ng agent -c conf -n agent-test -f test.conf
  606.  
  607. bin/flume-ng agent --conf conf --name a1 --conf-file conf/a1.conf -Dflume.root.logger=DEBUG,console 
  608.  
  609. bin/flume-ng agent --conf conf --name a2 --conf-file conf/flume-tail.conf -Dflume.root.logger=DEBUG,console  
  610.  
  611.  
  612.  
  613. ---------------------------------------------Oozie的基本命令--------------------------------------------
  614.  
  615.  
  616.  
  617. oozie job -oozie http://hadoop.zxk.com:11000/oozie -config examples/apps/map-reduce/job.properties -run
  618.  
  619. export OOZIE_URL=http://hadoop.zxk.com:11000/oozie
  620. oozie job -config oozie-apps/mr-wordcount-wf/job.properties -run
  621.  
  622.  
  623. ---------------------------------------------Oozie  WorkFlow的基本使用-------------------------------------
  624.  
  625.  
  626. ---------------------------------------------Oozie  WorkFlow的MapReduce基本使用----------------------------
  627.  
  628. 如何定义一个WorkFlow
  629. 第一步：
  630. 		* 生成job.properties文件  -->指向 workflow.xml文件所在的HDFS位置。
  631. 第二步：
  632. 		* 编写 workflow.xml文件
  633. 		* 编写步骤：
  634. 				* 编写流程控制节点
  635. 						* 第一步：定义XML文件
  636. 						* 第二步：编写节点
  637. 								* start  节点
  638. 								* action 节点（包含 MapReduce Hive Sqoop Shell）
  639. 										* 当action节点执行成功时跳转
  640. 												（1）：--->>>  action 节点
  641. 												（2）：--->>>  end    节点 
  642. 										* 当action节点执行失败时跳转
  643. 												（1）：--->>>  fail 节点    
  644. 												（2）：--->>>  kill 节点（杀死线程）
  645. 												（3）：--->>>  end  节点
  646. 								* end    节点
  647. 				* 编写Action节点
  648. 						* 关键点: 如何使用Oozie调用MapReduce程序 
  649. 								* 将以前Java MapReduce 程序中的【Driver】部分的配置 转换为 workflow.xml 文件中的 configuration 部分配置
  650. 						【注意】 目前的Workflow.XML文件支持的是旧MapReduce API 需要加上配置
  651. 										
  652. 										<property>
  653. 											<name>mapred.mapper.new-api</name>
  654. 											<value>true</value>
  655. 										</property>
  656. 										<property>
  657. 											<name>mapred.reducer.new-api</name>
  658. 											<value>true</value>
  659. 										</property>
  660. 										
  661. 第三步：
  662. 		* 将生成的jar包上传到lib目录下
  663.  
  664. 第四步：
  665. 		* 使用Hadoop将文件夹上传到HDFS文件系统中
  666. 			bin/hdfs dfs -put /opt/modules/oozie-4.0.0-cdh5.3.6/oozie-apps/*文件夹名称/ oozie-apps/
  667. 第五步：
  668. 		* 在Ooize安装目录下运行命令
  669. 				export OOZIE_URL=http://hadoop.zxk.com:11000/oozie
  670. 				oozie job -config oozie-apps/*文件夹名称/job.properties -run
  671. 		
  672. ---------------------------------------------Oozie  workflow.xml 样例与job.properties 样例-------------------------------------------
  673.  
  674. job.properties
  675.  
  676. nameNode=hdfs://hadoop.zxk.com:8020
  677. jobTracker=hadoop.zxk.com:8032
  678. queueName=default
  679. oozieAppsRoot=user/root/oozie-apps
  680. oozieDataRoot=user/root/oozie/datas
  681.  
  682. oozie.wf.application.path=${nameNode}/${oozieAppsRoot}/mr-wordcount-wf/workflow.xml
  683. inputDir=mr-wordcount-wf/input
  684. outputDir=mr-wordcount-wf/output
  685.  
  686.  
  687. workflow.xml
  688.  
  689. <workflow-app xmlns="uri:oozie:workflow:0.5" name="mr-wordcount-wf">
  690.     <start to="mr-node-wordcount"/>
  691.     <action name="mr-node-wordcount">
  692.         <map-reduce>
  693.             <job-tracker>${jobTracker}</job-tracker>
  694.             <name-node>${nameNode}</name-node>
  695.             <prepare>
  696.                 <delete path="${nameNode}/${oozieDataRoot}/${outputDir}"/>
  697.             </prepare>
  698.             <configuration>
  699. 			    <property>
  700.                     <name>mapred.mapper.new-api</name>
  701.                     <value>true</value>
  702.                 </property>
  703.                 <property>
  704.                     <name>mapred.reducer.new-api</name>
  705.                     <value>true</value>
  706.                 </property>
  707.                 <property>
  708.                     <name>mapreduce.job.queuename</name>
  709.                     <value>${queueName}</value>
  710.                 </property>
  711.                 <property>
  712.                     <name>mapreduce.job.map.class</name>
  713.                     <value>com.iroot.hadoop.senior.mapreduce.WordCount$WordCountMapper</value>
  714.                 </property>
  715.                 <property>
  716.                     <name>mapreduce.job.reduce.class</name>
  717.                     <value>com.iroot.hadoop.senior.mapreduce.WordCount$WordCountReducer</value>
  718.                 </property>
  719. 				
  720.                 <property>
  721.                     <name>mapreduce.map.output.key.class</name>
  722.                     <value>org.apache.hadoop.io.Text</value>
  723.                 </property>	
  724. 				<property>
  725.                     <name>mapreduce.map.output.value.class</name>
  726.                     <value>org.apache.hadoop.io.IntWritable</value>
  727.                 </property>	
  728. 				<property>
  729.                     <name>mapreduce.job.output.key.class</name>
  730.                     <value>org.apache.hadoop.io.Text</value>
  731.                 </property>
  732.                 <property>
  733.                     <name>mapreduce.job.output.value.class</name>
  734.                     <value>org.apache.hadoop.io.IntWritable</value>
  735.                 </property>
  736.                 <property>
  737.                     <name>mapreduce.input.fileinputformat.inputdir</name>
  738.                     <value>${nameNode}/${oozieDataRoot}/${inputDir}</value>
  739.                 </property>
  740.                 <property>
  741.                     <name>mapreduce.output.fileoutputformat.outputdir</name>
  742.                     <value>${nameNode}/${oozieDataRoot}/${outputDir}</value>
  743.                 </property>
  744.             </configuration>
  745.         </map-reduce>
  746.         <ok to="end"/>
  747.         <error to="fail"/>
  748.     </action>
  749.     <kill name="fail">
  750.         <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
  751.     </kill>
  752.     <end name="end"/>
  753. </workflow-app>
  754.  
  755.  
  756.  
  757. ---------------------------------------------Oozie  WorkFlow的Hive基本使用----------------------------
  758.  
  759.  
  760. 如何定义一个WorkFlow
  761. 第一步：
  762. 		* 生成job.properties文件  -->指向 workflow.xml文件所在的HDFS位置。
  763. 第二步：
  764. 		* 编写 workflow.xml文件
  765. 		* 编写步骤：
  766. 				* 编写流程控制节点
  767. 						* 第一步：定义XML文件
  768. 						* 第二步：编写节点
  769. 								* start  节点
  770. 								* action 节点（包含 MapReduce Hive Sqoop Shell）
  771. 										* 当action节点执行成功时跳转
  772. 												（1）：--->>>  action 节点
  773. 												（2）：--->>>  end    节点 
  774. 										* 当action节点执行失败时跳转
  775. 												（1）：--->>>  fail 节点    
  776. 												（2）：--->>>  kill 节点（杀死线程）
  777. 												（3）：--->>>  end  节点
  778. 								* end    节点
  779. 				* 编写Action节点
  780. 						【注意】 目前的Workflow.XML文件支持旧MapReduce API 不需要配置
  781. 										
  782. 第三步：
  783. 		* 将生成的mysql的jar包上传到lib目录下
  784. 第四步：
  785. 		* 将Hive的配置文件hive.site.xml 上传到目录下
  786. 第五步：
  787. 		* 使用Hadoop将文件夹上传到HDFS文件系统中
  788. 			bin/hdfs dfs -put /opt/modules/oozie-4.0.0-cdh5.3.6/oozie-apps/*文件夹名称/ oozie-apps/
  789. 第六步：
  790. 		* 在Ooize安装目录下运行命令
  791. 				export OOZIE_URL=http://hadoop.zxk.com:11000/oozie
  792. 				oozie job -config oozie-apps/*文件夹名称/job.properties -run
  793. 		
  794. job.properties样例
  795.  
  796. nameNode=hdfs://hadoop.zxk.com:8020
  797. jobTracker=hadoop.zxk.com:8032
  798. queueName=default
  799. oozieAppsRoot=user/root/oozie-apps
  800. oozieDataRoot=user/root/oozie/datas
  801. oozie.use.system.libpath=true
  802. oozie.wf.application.path=${nameNode}/${oozieAppsRoot}/hive-select/
  803. outputDir=hive-select/output
  804.  
  805. 		
  806.  
  807. workflow.xml样例
  808.  
  809. <workflow-app xmlns="uri:oozie:workflow:0.5" name="wf-hive-select">
  810.     <start to="hive-node"/>
  811.  
  812.     <action name="hive-node">
  813.         <hive xmlns="uri:oozie:hive-action:0.2">
  814.             <job-tracker>${jobTracker}</job-tracker>
  815.             <name-node>${nameNode}</name-node>
  816.             <prepare>
  817.                 <delete path="${nameNode}/${oozieDataRoot}/${outputDir}"/>
  818.             </prepare>
  819. 			<job-xml>${nameNode}/${oozieAppsRoot}/hive-select/hive-site.xml</job-xml>
  820.             <configuration>
  821.                 <property>
  822.                     <name>mapred.job.queue.name</name>
  823.                     <value>${queueName}</value>
  824.                 </property>
  825.             </configuration>
  826.              <script>select-dept.sql</script>
  827.             <param>OUTPUT=${nameNode}/${oozieDataRoot}/${outputDir}</param>
  828.         </hive>
  829.         <ok to="end"/>
  830.         <error to="fail"/>
  831.     </action>
  832.  
  833.     <kill name="fail">
  834.         <message>Hive failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
  835.     </kill>
  836.     <end name="end"/>
  837. </workflow-app>
  838.  
  839.  
  840.  
  841.  
  842.  
  843. ---------------------------------------------Oozie  WorkFlow的Sqoop基本使用----------------------------
  844.  
  845. 如何定义一个WorkFlow
  846. 第一步：
  847. 		* 生成job.properties文件  -->指向 workflow.xml文件所在的HDFS位置。
  848. 第二步：
  849. 		* 编写 workflow.xml文件
  850. 		* 编写步骤：
  851. 				* 编写流程控制节点
  852. 						* 第一步：定义XML文件
  853. 						* 第二步：编写节点
  854. 								* start  节点
  855. 								* action 节点（包含 MapReduce Hive Sqoop Shell）
  856. 										* 当action节点执行成功时跳转
  857. 												（1）：--->>>  action 节点
  858. 												（2）：--->>>  end    节点 
  859. 										* 当action节点执行失败时跳转
  860. 												（1）：--->>>  fail 节点    
  861. 												（2）：--->>>  kill 节点（杀死线程）
  862. 												（3）：--->>>  end  节点
  863. 								* end    节点
  864. 				* 编写Action节点
  865. 						【注意】 目前的Workflow.XML文件支持旧MapReduce API 不需要配置
  866. 						【注意】 <command></command>中的语句的编写依据Sqoopde 规则			
  867. 第三步：
  868. 		* 将生成的mysql的jar包上传到lib目录下
  869. 第四步：
  870. 		* 使用Hadoop将文件夹上传到HDFS文件系统中
  871. 			bin/hdfs dfs -put /opt/modules/oozie-4.0.0-cdh5.3.6/oozie-apps/*文件夹名称/ oozie-apps/
  872. 第五步：
  873. 		* 在Ooize安装目录下运行命令
  874. 				export OOZIE_URL=http://hadoop.zxk.com:11000/oozie
  875. 				oozie job -config oozie-apps/*文件夹名称/job.properties -run
  876.  
  877. job.properties样例
  878.  
  879. nameNode=hdfs://hadoop.zxk.com:8020
  880. jobTracker=hadoop.zxk.com:8032
  881. queueName=default
  882. oozieAppsRoot=user/root/oozie-apps
  883. oozieDataRoot=user/root/oozie/datas
  884. oozie.use.system.libpath=true
  885. oozie.wf.application.path=${nameNode}/${oozieAppsRoot}/sqoop-import-user
  886. outputDir=sqoop-import-user/output
  887.  
  888. 		
  889.  
  890. workflow.xml样例
  891.  
  892. <workflow-app xmlns="uri:oozie:workflow:0.5" name="sqoop-wf">
  893.     <start to="sqoop-node"/>
  894.  
  895.     <action name="sqoop-node">
  896.         <sqoop xmlns="uri:oozie:sqoop-action:0.3">
  897.             <job-tracker>${jobTracker}</job-tracker>
  898.             <name-node>${nameNode}</name-node>
  899.             <prepare>
  900.                 <delete path="${nameNode}/${oozieDataRoot}/${outputDir}"/>
  901.             </prepare>
  902.             <configuration>
  903.                 <property>
  904.                     <name>mapred.job.queue.name</name>
  905.                     <value>${queueName}</value>
  906.                 </property>
  907.             </configuration>
  908.             <command>import --connect jdbc:mysql://hadoop.zxk.com:3306/test --username root --password 123456 --table my_user --target-dir /user/root/oozie/datas/sqoop-import-user/output --fields-terminated-by "," --num-mappers 1</command>
  909.         </sqoop>
  910.         <ok to="end"/>
  911.         <error to="fail"/>
  912.     </action>
  913.  
  914.     <kill name="fail">
  915.         <message>Sqoop failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
  916.     </kill>
  917.     <end name="end"/>
  918. </workflow-app>
  919.  
  920.  
  921.  
  922.  
  923.  
  924. ---------------------------------------------Oozie  WorkFlow的Shell脚本基本使用----------------------------
  925.  
  926. 如何定义一个WorkFlow
  927. 第一步：
  928. 		* 生成job.properties文件  -->指向 workflow.xml文件所在的HDFS位置。
  929. 				
  930. 				* exec=dept-select.sh		(定义脚本的位置与名称)
  931. 				* script=dept-select.sql	(定义SQL语句的位置与名称)
  932. 第二步：
  933. 		* 编写 workflow.xml文件
  934. 		* 编写步骤：
  935. 				* 编写流程控制节点
  936. 						* 第一步：定义XML文件
  937. 						* 第二步：编写节点
  938. 								* start  节点
  939. 								* action 节点（包含 MapReduce Hive Sqoop Shell）
  940. 										* 当action节点执行成功时跳转
  941. 												（1）：--->>>  action 节点
  942. 												（2）：--->>>  end    节点 
  943. 										* 当action节点执行失败时跳转
  944. 												（1）：--->>>  fail 节点    
  945. 												（2）：--->>>  kill 节点（杀死线程）
  946. 												（3）：--->>>  end  节点
  947. 								* end    节点
  948. 				* 编写Action节点
  949. 						【注意】 目前的Workflow.XML文件支持旧MapReduce API 不需要配置
  950. 						【注意】 <file></file>中的路径是指HDFS文件系统中的目录
  951. 								 <exec>${exec}</exec>
  952. 								 <file>${nameNode}/${oozieAppsRoot}/shell-hive-select/${exec}#${exec}</file>
  953. 								 <file>${nameNode}/${oozieAppsRoot}/shell-hive-select/${script}#${script}</file>			
  954. 第三步：
  955. 		* 编写脚本文件
  956. 		
  957. 				#!/usr/bin/env bash
  958.  
  959. 				/opt/modules/hive-0.13.1/bin/hive -f dept-select.sql
  960. 第四步（可选）：
  961. 		* 编写SQL语句
  962. 				insert overwrite directory '/user/root/oozie/datas/shell-hive-select/output'
  963. 					select
  964. 						deptno, dname
  965. 					from default.dept ;
  966. 第五步：
  967. 		* 使用Hadoop将文件夹上传到HDFS文件系统中
  968. 			bin/hdfs dfs -put /opt/modules/oozie-4.0.0-cdh5.3.6/oozie-apps/*文件夹名称/ oozie-apps/
  969. 第六步：
  970. 		* 在Ooize安装目录下运行命令
  971. 				export OOZIE_URL=http://hadoop.zxk.com:11000/oozie
  972. 				oozie job -config oozie-apps/*文件夹名称/job.properties -run
  973.  
  974. job.properties样例
  975.  
  976. nameNode=hdfs://hadoop.zxk.com:8020
  977. jobTracker=hadoop.zxk.com:8032
  978. queueName=default
  979. oozieAppsRoot=user/root/oozie-apps
  980. oozieDataRoot=user/root/oozie/datas
  981. oozie.wf.application.path=${nameNode}/${oozieAppsRoot}/shell-hive-select
  982. exec=dept-select.sh
  983. script=dept-select.sql
  984.  
  985. 		
  986.  
  987. workflow.xml样例
  988.  
  989. <workflow-app xmlns="uri:oozie:workflow:0.5" name="shell-wf">
  990.     <start to="shell-node"/>
  991.     <action name="shell-node">
  992.         <shell xmlns="uri:oozie:shell-action:0.2">
  993.             <job-tracker>${jobTracker}</job-tracker>
  994.             <name-node>${nameNode}</name-node>
  995.             <configuration>
  996.                 <property>
  997.                     <name>mapred.job.queue.name</name>
  998.                     <value>${queueName}</value>
  999.                 </property>
  1000.             </configuration>
  1001.             <exec>${exec}</exec>
  1002. 			<file>${nameNode}/${oozieAppsRoot}/shell-hive-select/${exec}#${exec}</file>
  1003.             <file>${nameNode}/${oozieAppsRoot}/shell-hive-select/${script}#${script}</file>
  1004. 			<capture-output/>
  1005.         </shell>
  1006.         <ok to="end"/>
  1007.         <error to="fail"/>
  1008.     </action>
  1009.     <kill name="fail">
  1010.         <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
  1011.     </kill>
  1012.     <end name="end"/>
  1013. </workflow-app>
  1014.  
  1015.  
  1016.  
  1017.  
  1018.  
  1019.  
  1020. ----------------------------Oozie  WorkFlow的两个及以上Action编写以及运行----------------------------
  1021.  
  1022.  
  1023. 依据不同的情况：组合Hadoop，Hive，Sqoop，Shell以及coordinator文件看是否上传hive-site.xml文件以及lib目录
  1024.  
  1025.  
  1026. job.properties文件
  1027.  
  1028.  
  1029. nameNode=hdfs://hadoop.zxk.com:8020
  1030. jobTracker=hadoop.zxk.com:8032
  1031. queueName=default
  1032. oozieAppsRoot=user/root/oozie-apps
  1033. oozieDataRoot=user/root/oozie/datas
  1034. oozie.use.system.libpath=true
  1035. oozie.wf.application.path=${nameNode}/${oozieAppsRoot}/wf-user-select/
  1036. #oozie.coord.application.path=${nameNode}/${oozieAppsRoot}/wf-user-select
  1037. #start=2015-10-15T00:00+0800
  1038. #end=2015-10-26T00:00+0800
  1039. #workflowAppUri=${nameNode}/${oozieAppsRoot}/wf-user-select
  1040. outputDir=wf-user-select/output
  1041.  
  1042.  
  1043. Workflow文件
  1044.  
  1045. workflow-app xmlns="uri:oozie:workflow:0.5" name="wf-user-select">
  1046.     <start to="hive-node"/>
  1047.  
  1048.     <action name="hive-node">
  1049.         <hive xmlns="uri:oozie:hive-action:0.5">
  1050.             <job-tracker>${jobTracker}</job-tracker>
  1051.             <name-node>${nameNode}</name-node>
  1052.             <prepare>
  1053.                 <delete path="${nameNode}/${oozieDataRoot}/${outputDir}"/>
  1054.             </prepare>
  1055. 			<job-xml>${nameNode}/${oozieAppsRoot}/hive-select/hive-site.xml</job-xml>
  1056.             <configuration>
  1057.                 <property>
  1058.                     <name>mapred.job.queue.name</name>
  1059.                     <value>${queueName}</value>
  1060.                 </property>
  1061.             </configuration>
  1062.             <script>select-user.sql</script>
  1063.             <param>OUTPUT=${nameNode}/${oozieDataRoot}/${outputDir}</param>
  1064.         </hive>
  1065.         <ok to="sqoop-node"/>
  1066.         <error to="fail"/>
  1067.     </action>
  1068. 	
  1069.     <action name="sqoop-node">
  1070.         <sqoop xmlns="uri:oozie:sqoop-action:0.3">
  1071.             <job-tracker>${jobTracker}</job-tracker>
  1072.             <name-node>${nameNode}</name-node>
  1073.             <configuration>
  1074.                 <property>
  1075.                     <name>mapred.job.queue.name</name>
  1076.                     <value>${queueName}</value>
  1077.                 </property>
  1078.             </configuration>
  1079.             <command>export --connect jdbc:mysql://hadoop.zxk.com:3306/test --username root --password 123456 --table my_user --num-mappers 1 --fields-terminated-by "," --export-dir /user/root/oozie/datas/wf-user-select/output</command>
  1080.         </sqoop>
  1081.         <ok to="end"/>
  1082.         <error to="fail"/>
  1083.     </action>	
  1084.  
  1085.     <kill name="fail">
  1086.         <message>Hive failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
  1087.     </kill>
  1088.     <end name="end"/>
  1089. </workflow-app>
  1090.  
  1091.  
  1092.  
  1093. ------------------------------------------Hue 集成时HDFS与YARN的配置---------------------------------------------------
  1094. core-site.xml配置
  1095.  
  1096. 	<property>
  1097. 		<name>hadoop.proxyuser.hue.hosts</name>
  1098. 		<value>*</value>
  1099. 	</property>
  1100. 	<property>
  1101. 		<name>hadoop.proxyuser.hue.groups</name>
  1102. 		<value>*</value>
  1103. 	</property>
  1104.  
  1105. 	
  1106. hue.ini
  1107.  
  1108. 	secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
  1109. 	http_host=hadoop.zxk.com
  1110. 	http_port=8888
  1111. 	time_zone=Asia/Shanghai
  1112. 	django_debug_mode=false
  1113. 	http_500_debug_mode=false
  1115. [[hdfs_clusters]]
  1116.     # HA support by using HttpFs
  1118.     [[[default]]]
  1119. 		fs_defaultfs=hdfs://hadoop.zxk.com:8020
  1120. 		webhdfs_url=http://hadoop.zxk.com:50070/webhdfs/v1
  1121. 		hadoop_conf_dir=/opt/modules/hadoop-2.5.0/etc/hadoop
  1123. 	# Configuration for YARN (MR2)
  1124. 	[[yarn_clusters]]
  1126.     [[[default]]]
  1127. 		resourcemanager_host=hadoop.zxk.com
  1128. 		resourcemanager_port=8032
  1129. 		submit_to=True
  1130. 		resourcemanager_api_url=http://hadoop.zxk.com:8088
  1131. 		proxy_api_url=http://hadoop.zxk.com:8088
  1132. 		history_server_api_url=http://hadoop.zxk.com:19888
  1134. [filebrowser]
  1135.   archive_upload_tempdir=/tmp
  1137. ------------------------------------------Hue 集成时Hive的配置------------------------------------------------
  1138. 启动 HiveServer2   bin/bin/hiveserver2
  1139. 启动 Metastore     bin/hive --service metastore
  1140. hive-site.xml
  1142. 	<!--HiveServer2 -->
  1143. 	<property>
  1144. 		<name>hive.server2.thrift.port</name>
  1145. 		<value>10000</value>
  1146. 	</property>
  1148. 	<property>
  1149. 		<name>hive.server2.thrift.bind.host</name>
  1150. 		<value>hadoop.zxk.com</value>
  1151. 	</property>
  1152. 	
  1153. 	<!--Remote Metastore -->
  1154. 	
  1155. 	<property>
  1156. 		<name>hive.metastore.uris</name>
  1157. 		<value>thrift://hadoop.zxk.com:9083</value>
  1158. 	</property>
  1160. 	
  1161. 	
  1162. hue.ini
  1164. [beeswax]
  1165. 	hive_server_host=hadoop.zxk.com
  1166. 	hive_server_port=10000
  1167. 	hive_conf_dir=/opt/modules/hive-0.13.1/conf
  1168. 	server_conn_timeout=120
  1169. 	
  1170. [librdbms]
  1171. 	[[databases]]
  1172. 		[[[sqlite]]]
  1173. 			nice_name=SQLite
  1174. 			name=/opt/app/hue-3.7.0-cdh5.3.6/desktop/desktop.db
  1175. 			engine=sqlite
  1176. 		[[[mysql]]]
  1177. 			nice_name="My SQL DB"
  1178. 			name=test
  1179. 			engine=mysql
  1180. 			host=hadoop.zxk.com
  1181. 			port=3306
  1182. 			user=root
  1183. 			password=123456
  1184. 			
  1185. 			
  1186. ------------------------------------------Hue 集成时Oozie的配置------------------------------------------------
  1188. 启动Oozie   bin/oozied.sh start 
  1190. -----------------------------------------Hue 集成 Oozie时的share目录-----------------------------------------
  1191. bin/oozie-setup.sh sharelib create \
  1192. -fs hdfs://hadoop.zxk.com:8020 \
  1193. -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
  1195. ----------------------------------------HBase Shell 的使用----------------------------------------------------
  1197. 在 Xshell 中 使用 hbase shell 进入后 无法删除 问题：
  1199. 	在hbase shell下，误输入的指令不能使用backspace和delete删除
  1200. 	进入到XShell   文件 --> 属性   -->  终端  -->  键盘 
  1201. 	在 DELETE键序列  和 BACKSPACE键序列 中都选择  ASCII 127
  1204. 表的管理
  1205. 	1）查看有哪些表
  1206. 		hbase(main):002:0> list
  1207. 	2）创建表
  1209. 		# 语法：create <table>, {NAME => <family>, VERSIONS => <VERSIONS>}
  1210. 		# 例如：创建表t1，有两个family name：f1，f2，且版本数均为2
  1211. 			hbase(main):002:0> create 't1',{NAME => 'f1', VERSIONS => 2},{NAME => 'f2', VERSIONS => 2}
  1212. 			hbase(main):002:0> create 'user','info'
  1213. 		2-1）查看表的结构
  1214. 			
  1215. 			hbase(main):002:0> describe 表名
  1216. 		2-2）插入数据
  1217. 			
  1218. 			put 'user','10001','info:name','zx'
  1219. 			put 'user','10001','info:age','22'
  1220. 			put 'user','10001','info:sex','female'
  1221. 			put 'user','10001','info:address','henan'
  1222. 			
  1223. 			put 'user','10002','info:name','cl'
  1224. 			put 'user','10002','info:age','22'
  1225. 			put 'user','10002','info:address','henan'
  1226. 			
  1227. 			put 'user','10003','info:name','zxk'
  1228. 			put 'user','10003','info:age','22'
  1230. 		2-3）查询数据
  1231. 		
  1232. 			get 'user','10001'
  1233. 			get 'user','10001','info:address'
  1234. 			scan 'user'
  1235. 			scan 'user', {COLUMNS => ['info:name', 'info:age'],  STARTROW => '10002'}
  1236. 	3）删除表
  1237. 	
  1238. 		分两步：首先disable，然后drop
  1239. 		例如：删除表t1
  1241. 			hbase(main):002:0> disable 't1'
  1242. 			hbase(main):002:0> drop 't1'
  1243. 	4）查看表的结构
  1245. 		# 语法：describe <table>
  1246. 		# 例如：查看表t1的结构
  1247. 	hbase(main):002:0> describe 't1'
  1248. 	5）修改表结构
  1249. 		修改表结构必须先disable
  1251. 		# 语法：alter 't1', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}
  1252. 		# 例如：修改表test1的cf的TTL为180天
  1253. 			hbase(main):002:0> disable 'test1'
  1254. 			hbase(main):002:0> alter 'test1',{NAME=>'body',TTL=>'15552000'},{NAME=>'meta', TTL=>'15552000'}
  1255. 			hbase(main):002:0> enable 'test1'
  1257. 			
  1258. 			
  1259. 			
  1260. ------------------------------------------HBase 数据存储----------------------------------------------------------
  1262. 一、HBase数据检索流程
  1264.     （1）客户端读或写一个表的数据，首先链接Zookeeper，因为需要到Zookeeper中找读的数据，表是
  1265. 通过Region来管理，每个Region由RegionServer管理，每个Region都有startkey及endkey。
  1266. 	（2）HBase的表格分为User Tables（用户表）和Catalog Tables（系统自带表）。 
  1267. 	（3）User Tables（用户表）包含user信息、region信息（startkey和endkey）。例：user表的
  1268. region-01存在regionserver-03中。该信息是保存在meta-table中。
  1269. 	（4）在HBase新版本中，有类似于RDBMS（关系数据库管理系统）中DataBase的命名空间的概念。
  1270. HBase的所有表都在data目录下，data下包含default目录和hbase目录，这里的目录就是命名空间的概念。
  1271. 	（5）用户自定义的表默认情况下命名空间为default，而系统自带的元数据表的命名空间为hbase。
  1272. 	（6）meta表只有一个Region，它的Region也需要RegionServer管理，即为meta-region-server的功能。
  1273. 用户首先找到meta-region-server，然后找到meta表，scan命令可以看到表格中column被什么server管理。
  1274. 	（7）综上所述，用户表由很多region组成，region信息存储在hbase：meta中。用户表的每一个region
  1275. 都有key。Client需要先读zookeeper，其实通过meta-region-server找到的是meta表的region，找到后扫描
  1276. meta表的数据，然后再找到数据再操作。
  1278. 二、HBase数据存储
  1280. 	2.1 HBase结构详解
  1281. 		HBase能高速实现数据存储和访问源于HBase数据存储。
  1282. 		1. 连接Zookeeper，从Zookeeper中找到要读的数据。我们需要知道表中RowKey在region的位置。
  1283. 		2. 客户端查找HRegionServer，HRegionServer管理众多Region。
  1284. 		3. HMaster也需要连接Zookeeper，连接的作用是：HMaster需要知道哪些HRegionServer是活动
  1285. 	的及HRegionServer所在的位置，然后管理HRegionServer。
  1286. 		4. HBase内部是把数据写到HDFS上的，DFS有客户端。
  1287. 		5. Region中包含HLog、Store。一张表有几个列簇，就有几个Store。Store中有很多memStore
  1288. 	及StoreFile。StoreFile是对HFile的封装。StoreFile真正存储在HDFS上。
  1289. 		6. 写数据时，先往HLog上写一份，再往memStore上写一份。当memStore达到一定大小则往StoreFile上写。
  1290. 	若memStore数据有丢失，则从HLog上恢复。
  1291. 		7. 读数据先到memStore上读，再到StoreFile上读，之后合并。
  1293. 	2.2 HBase数据存储详解
  1294.         1. HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括两种文件类型：
  1295.         	1）HFile：HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，
  1296. 				实际上StoreFIle就是对HFile做了轻量级的包装，进行数据的存储。
  1297.        		2）HLog File：HBase中WAL（Write Ahead Log）的存储格式，物理上是Hadoop的Sequence File。
  1298.        	2. HRegionServer内部管理了一系列HRegion对象，每个HRegion对应了table中的一个region，
  1299. 			HRegion中由多个HStore组成。每个HStore对应了Table中的一个column family的存储，可以看出
  1300. 			每个columnfamily其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在一个column family中，
  1301. 			这样最高效。
  1302.        	3. HStore存储是HBase存储的核心，由两部分组成，一部分是MemStore，一部分是StoreFile。
  1303.        	4. MemStore是 Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后
  1304. 			会Flush成一个StoreFile（底层实现是HFile）。
  1305.       	5. HLog 文件结构：WAL意为Write ahead log，类似Mysql中的binlog，用来做灾难恢复。
  1306. 			Hlog记录数据的所有变更，一旦数据修改，就可以从log中进行恢复。 
  1307.        	6. 每个HRegionServer维护一个HLog,而不是每个HRegion一个。这样不同region（来自不同table）
  1308. 			的日志会混在一起，这样做的目的是不断追加单个文件，相对于同时写多个文件而言，可以减少
  1309. 			磁盘寻址次数，因此可以提高对table的写性能。带来的麻烦是，如果一台HRegionServer下线，
  1310. 			为了恢复其上的region，需要将HRegionServer上的log进行拆分，然后分发到其它HRegionServer
  1311. 			上进行恢复。
  1312. 2.3 用户写入数据流程
  1314.     1. Client客户端写入数据后 -> 数据存入MemStore，一直到MemStore满之后 Flush成一个StoreFile，
  1315. 		直至增长到一定阈值 -> 触发Compact合并操作 -> 多个StoreFile合并成一个StoreFile。
  1317.     2. 同时进行版本合并和数据删除 -> 当StoreFiles Compact后，
  1318. 		逐步形成越来越大的StoreFile ->单个StoreFile大小超过一定阈值后，
  1319. 		触发Split操作，把当前Region分成2个Region，Region会下线，新分出的2个孩子Region会被HMaster分配到
  1320. 		相应的HRegionServer上，使得原先1个Region的压力得以分流到2个Region上。
  1321. 		
  1322. 		
  1323. 		
  1325. export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  1326. export HADOOP_HOME=/opt/modules/hadoop-2.5.0
  1327. HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp` $HADOOP_HOME/bin/yarn jar $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar
  1329. 	CellCounter: Count cells in HBase table
  1330. 	completebulkload: Complete a bulk data load.
  1331. 	copytable: Export a table from local cluster to peer cluster
  1332. 	export: Write table data to HDFS.
  1333. 	import: Import data written by Export.
  1334. 	importtsv: Import data in TSV format.
  1335. 	rowcounter: Count rows in HBase table
  1336. 	verifyrep: Compare the data from tables in two different clusters. WARNING: It doesn't work for incrementColumnValues'd cells since the timestamp is changed after being appended to the log.
  1338. 	
  1339. 	
  1340. ------------------------------------------HBase 与MapReduce集成------------------------------------------
  1341. （1）上传Jar包
  1342. （2）export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  1343. （3）export HADOOP_HOME=/opt/modules/hadoop-2.5.0
  1344. （4）HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp` $HADOOP_HOME/bin/yarn jar $HADOOP_HOME/jars/hbase-mr-user2basic.jar
  1348. ------------------------------------------HBase Importtsv的使用----------------------------------------
  1350. 10001	21	male	henan	13243169133
  1351. 10002	22	male	yunnan	13243169133
  1352. 10003	23	male	dali	13243169133
  1353. 10004	24	male	henan	13243169133
  1354. 10005	25	male	henan	13243169133
  1357. export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  1358. export HADOOP_HOME=/opt/modules/hadoop-2.5.0
  1359. HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp` $HADOOP_HOME/bin/yarn jar \
  1360. $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar importtsv \
  1361. -Dimporttsv.columns=HBASE_ROW_KEY,\
  1362. info:name,info:age,info:sex,info:address,info:phone \
  1363. student \
  1364. hdfs://hadoop.zxk.com:8020/user/root/hbase/importtsv 
  1369. export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  1370. export HADOOP_HOME=/opt/modules/hadoop-2.5.0
  1371. HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp` $HADOOP_HOME/bin/yarn jar \
  1372. $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar importtsv \
  1373. -Dimporttsv.columns=HBASE_ROW_KEY,\
  1374. info:name,info:age,info:sex,info:address,info:phone \
  1375. -Dimporttsv.bulk.output=hdfs://hadoop.zxk.com:8020/user/root/hbase/hfileoutput \
  1376. student \
  1377. hdfs://hadoop.zxk.com:8020/user/root/hbase/importtsv 
  1380. export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  1381. export HADOOP_HOME=/opt/modules/hadoop-2.5.0
  1382. HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp` $HADOOP_HOME/bin/yarn jar \
  1383. $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar \
  1384. completebulkload \
  1385. hdfs://hadoop.zxk.com:8020/user/root/hbase/hfileoutput \
  1386. student
  1390. ------------------------------------------HBase 表与命名空间NameSpace的使用----------------------------------------
  1392. 在HBase中，默认情况创建的表，都在【default】命名空间下，在Hbase中
  1393. 	系统的命名空间
  1394. 	meta
  1395. 	namespace
  1397. 命名空间NameSpace中的命令
  1398. 	Group name: namespace
  1399. 	Commands: alter_namespace, create_namespace, describe_namespace, drop_namespace, list_namespace, list_namespace_tables
  1401. 	create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}
  1402. 	create 'ns1:t1', 'cf' 等同于 create 'ns1:t1', {NAME => 'f1'}
  1403. 	create 'ns1:t2', {NAME => 'f1'}, {NAME => 'f2'}, {NAME => 'f3'}等同于create 'ns1:t3', 'f1', 'f2', 'f3'
  1405. 	
  1406. 	
  1407. ------------------------------------------HBase 表的预分区的创建----------------------------------------
  1410. 	每一个Region会自动创建rowkeyd的范围[startkey,endkey)：包括数值为startkey-->endkey-1
  1411. 默认情况的情况下，创建一个HBase表，自动为表分配一个Region。
  1413. 	结合实际使用来看，无论是在测试环境还生产环境，我们创建好HBase一张表以后，需要往表中导入大量的数据。
  1414. 我们会将【文件中的数据】数据转化为 【hfile文件】，通过【bulk load】 加载到hbase 的表中去。每一个【Region】
  1415. 会被一个【RegionServer】管理。当数据过大，此时的Region分割为两个【Region】时，【RegionServer】会出问题
  1417. 	解决方案：
  1418. 		创建表时，多创建一些Region（依据表的数据rowkey进行设计，结合业务）
  1419. 	例如：五个Region
  1420. 		被多个RegionServer进行管理
  1421. 		要点：
  1422. 			在插入数据时，会向五个Region中分别插入对应的数据，均衡数据的插入
  1424. 	HBase 表的预分区创建
  1425. 	
  1426. 	Region划分，依赖于rowkey，我们需要预先预估一些rowkey
  1428. 案例：
  1429. 	hbase> create 'ns1:t1', 'f1', SPLITS => ['10', '20', '30', '40']
  1430. 	hbase> create 't1', 'f1', SPLITS => ['10', '20', '30', '40']
  1431. 	hbase> create 't1', 'f1', SPLITS_FILE => 'splits.txt', OWNER => 'johndoe'
  1432. 	hbase> create 't1', {NAME => 'f1', VERSIONS => 5}, METADATA => { 'mykey' => 'myvalue' }
  1433. 	hbase> # Optionally pre-split the table into NUMREGIONS, using
  1434. 	hbase> # SPLITALGO ("HexStringSplit", "UniformSplit" or classname)
  1435. 	hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}
  1436. 	hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit', CONFIGURATION => {'hbase.hregion.scan.loadColumnFamiliesOnDemand' => 'true'}}
  1438. 案例：
  1439. 	create 'bflogs', 'info', SPLITS => ['20151001000000000', '20151011000000000', '20151021000000000']
  1440. 	指定预估rowkey
  1441. 	年月日时分秒毫秒
  1442. 	'20151001000000000' 
  1443. 	'20151011000000000'
  1444. 	'20151021000000000'
  1446. 	create 'bflogs2', 'info', SPLITS_FILE => '/opt/datas/bflogs-split.txt'
  1448. 第三方式(很少使用)
  1449. 	create 't11', 'f11', {NUMREGIONS => 2, SPLITALGO => 'HexStringSplit'}
  1450. 	create 't12', 'f12', {NUMREGIONS => 4, SPLITALGO => 'UniformSplit'}
  1452. -----------------------------------------HBase 表的的创建思路----------------------------------------
  1453. 	
  1454. 如何在海量数据中，获取需要的数据（查询的数据）。
  1456. 表的rowkey设计中：
  1457. 	核心思想：
  1458. 		依据rowkey查询最快
  1459. 		对rowkey进行范围查询range
  1460. 		前缀匹配
  1461. 		
  1462. 		
  1463. 索引表/辅助表（主表） 创建与设计
  1464. 列簇：info
  1465. 列：rowkey    
  1467. 主表和索引表的数据 如何同步
  1468. 	>>> 程序，事务
  1469. 	>>> phoenix
  1470. 		>>> 只能使用JDBC方式，主表与索引表的数据才能同步
  1471. 创建索引表	
  1472. 	>>> solr
  1473. 		lily
  1474. 		cloudera search
  1475. 		
  1476. 		
  1477. 		
  1478. 		
  1479. -----------------------------------------HBase 创建表时Sanppy压缩-----------------------------------------
  1480. 1）配置Haodop压缩
  1481. 	>>> bin/hadoop checknative
  1482. 2）配置HBase
  1483. 	>>> hadoop-snappy jar  -> 放入到HBase的lib目录下
  1484. 	>>> 在HBase的lib目录下，创建native ,需要将本地库native  ln -s 到 Hadoop 的lib目录的native下
  1485. 	>>> 配置HBase-site.xml 
  1486. 		<property>
  1487. 			<name>hbase.regionserver.codecs</name>
  1488. 			<value>snappy</value>
  1489. 		</property>
  1490. 		
  1491. 		
  1492. -----------------------------------------HBase Memstore-----------------------------------------
  1494. 	当RegionServer(RS)收到写请求的时候(write request)，RS会将请求转至相应的Region。
  1495. 每一个Region都存储着一些列(a set of rows)。根据其列族的不同，将这些列数据存储在相应的列族中
  1496. (Column Family，简写CF)。不同的CFs中的数据存储在各自的HStore中，HStore由一个Memstore及一系列
  1497. HFile组成。
  1499. 	Memstore位于RS的主内存中，而HFiles被写入到HDFS中。当RS处理写请求的时候，数据首先写入到
  1500. Memstore，然后当到达一定的阀值的时候，Memstore中的数据会被刷到HFile中。
  1502. 	用到Memstore最主要的原因是：存储在HDFS上的数据需要按照row key 排序。而HDFS本身被设计为
  1503. 顺序读写(sequential reads/writes)，不允许修改。这样的话，HBase就不能够高效的写数据，因为要
  1504. 写入到HBase的数据不会被排序，这也就意味着没有为将来的检索优化。为了解决这个问题，HBase将最
  1505. 近接收到的数据缓存在内存中(in Memstore)，在持久化到HDFS之前完成排序，然后再快速的顺序写入HDFS。
  1506. 需要注意的一点是实际的HFile中，不仅仅只是简单地排序的列数据的列表，详见Apache HBase I/O – HFile。
  1508. 	除了解决“无序”问题外，Memstore还有一些其他的好处，例如：
  1510. 	作为一个内存级缓存，缓存最近增加数据。一种显而易见的场合是，新插入数据总是比老数据频繁使用。
  1511. 在持久化写入之前，在内存中对Rows/Cells可以做某些优化。比如，当数据的version被设为1的时候，对于
  1512. 某些CF的一些数据，Memstore缓存了数个对该Cell的更新，在写入HFile的时候，仅需要保存一个最新的版本就好了，
  1513. 其他的都可以直接抛弃。
  1514. 	有一点需要特别注意：每一次Memstore的flush，会为每一个CF创建一个新的HFile。在读方面相对来说就会
  1515. 简单一些：HBase首先检查请求的数据是否在Memstore，不在的话就到HFile中查找，最终返回merged的一个结果
  1516. 给用户。
  1518. HBase Memstore关注要点
  1519. 	迫于以下几个原因，HBase用户或者管理员需要关注Memstore并且要熟悉它是如何被使用的：
  1521. 	Memstore有许多配置可以调整以取得好的性能和避免一些问题。HBase不会根据用户自己的使用模式来调整这些
  1522. 	配置，你需要自己来调整。频繁的Memstore flush会严重影响HBase集群读性能，并有可能带来一些额外的负载。
  1523. 	
  1524. 	Memstore flush的方式有可能影响你的HBase schema设计
  1525. 	接下来详细讨论一下这些要点：
  1527. 	Configuring Memstore Flushes
  1528. 	对Memstore Flush来说，主要有两组配置项：
  1530. 	决定Flush触发时机
  1531. 	决定Flush何时触发并且在Flush时候更新被阻断(block)
  1532. 	第一组是关于触发“普通”flush，这类flush发生时，并不影响并行的写请求。该类型flush的配置项有：
  1534. 	hbase.hregion.memstore.flush.size
  1536. 	<property>
  1537. 		<name>hbase.hregion.memstore.flush.size</name>
  1538. 		<value>134217728</value>
  1539. 	</property>
  1540. 	
  1541. 	base.regionserver.global.memstore.lowerLimit
  1543. 	<property>
  1544. 		<name>hbase.regionserver.global.memstore.lowerLimit</name>
  1545. 		<value>0.35</value>
  1546. 	</property>
  1547. 	
  1548. 	需要注意的是第一个设置是每个Memstore的大小，当你设置该配置项时，你需要考虑一下每台RS承载的
  1549. region总量。可能一开始你设置的该值比较小，后来随着region增多，那么就有可能因为第二个设置原因Memstore
  1550. 的flush触发会变早许多。
  1552. 	第二组设置主要是出于安全考虑：有时候集群的“写负载”非常高，写入量一直超过flush的量，这时，
  1553. 我们就希望memstore不要超过一定的安全设置。在这种情况下，写操作就要被阻止(blocked)一直到memstore
  1554. 恢复到一个“可管理”(manageable)的大小。该类型flush配置项有：
  1556. 	hbase.regionserver.global.memstore.upperLimit
  1557. 	<property>
  1558. 		<name>hbase.regionserver.global.memstore.upperLimit</name>
  1559. 		<value>0.4</value>
  1560. 	</property>
  1562. 	hbase.hregion.memstore.block.multiplier
  1563. 	<property>
  1564. 		<name>hbase.hregion.memstore.block.multiplier</name>
  1565. 		<value>2</value>
  1566. 	</property>
  1567. 	某个节点“写阻塞”对该节点来说影响很大，但是对于整个集群的影响更大。HBase设计为：
  1568. 每个Region仅属于一个RS但是“写负载”是均匀分布于整个集群(所有Region上)。
  1569. 有一个如此“慢”的节点，将会使得整个集群都会变慢(最明显的是反映在速度上)。
  1571. 提示：
  1572. 	严重关切Memstore的大小和Memstore Flush Queue的大小。理想情况下，
  1573. Memstore的大小不应该达到hbase.regionserver.global.memstore.upperLimit的设置，
  1574. Memstore Flush Queue 的size不能持续增长。
  1576. 频繁的Memstore Flushes
  1577. 	要避免“写阻塞”，貌似让Flush操作尽量的早于达到触发“写操作”的阈值为宜。
  1578. 但是，这将导致频繁的Flush操作，而由此带来的后果便是读性能下降以及额外的负载。
  1580. 	每次的Memstore Flush都会为每个CF创建一个HFile。频繁的Flush就会创建大量的HFile。
  1581. 这样HBase在检索的时候，就不得不读取大量的HFile，读性能会受很大影响。
  1583. 	为预防打开过多HFile及避免读性能恶化，HBase有专门的HFile合并处理(HFile Compaction Process)。
  1584. HBase会周期性的合并数个小HFile为一个大的HFile。明显的，有Memstore Flush产生的HFile越多，
  1585. 集群系统就要做更多的合并操作(额外负载)。更糟糕的是：Compaction处理是跟集群上的其他请求并行进行的。
  1586. 当HBase不能够跟上Compaction的时候(同样有阈值设置项)，会在RS上出现“写阻塞”。像上面说到的，这是最最不希望的。
  1588. 提示：
  1589. 	严重关切RS上Compaction Queue 的size。要在其引起问题前，阻止其持续增大。
  1592. 	理想情况下，在不超过hbase.regionserver.global.memstore.upperLimit的情况下，Memstore应该尽可能多
  1593. 的使用内存(配置给Memstore部分的，而不是真个Heap的)。
  1598. ----------------------------------------------HBsse与Hive的集成----------------------------------------------
  1600. >> 数据存储在HBase中
  1601. >> hive 表的描述信息存储在hive中
  1602. 	hive-table <--映射--> hbase-table
  1603. 	hive-column<--映射-->hbase-rowkey,hbase-cf-column
  1604. 	handler
  1608. HBsse与Hive的集成两种方式
  1609. >> 管理表
  1610. 	创建hive表的时候，指定数据存储在hbase表中。
  1611. 	
  1612. 	例如：
  1613. CREATE TABLE hbase_hive_table(key int, value string) 
  1614. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
  1615. WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
  1616. TBLPROPERTIES ("hbase.table.name" = "xyz");
  1620. >> 外部表
  1621. 	现在已经存在一个HBase表，需要对表中数据进行分析。
  1622. 	
  1623. 	例如：	
  1624. CREATE EXTERNAL TABLE hbase_user(id int, name string,age int) 
  1625. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
  1626. WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age")
  1627. TBLPROPERTIES ("hbase.table.name" = "user");
  1629. 本质：
  1630. 	Hive就是HBase客户端。
  1631. 	需要一些配置，jar包
  1634. export HBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2
  1635. export HIVE_HOME=/opt/modules/hive-0.13.1/lib
  1636. ln -s $HBASE_HOME/lib/hbase-common-0.98.6-hadoop2.jar $HIVE_HOME/hbase-common-0.98.6-hadoop2.jar
  1637. ln -s $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar $HIVE_HOME/hbase-server-0.98.6-hadoop2.jar
  1638. ln -s $HBASE_HOME/lib/hbase-client-0.98.6-hadoop2.jar $HIVE_HOME/hbase-client-0.98.6-hadoop2.jar
  1639. ln -s $HBASE_HOME/lib/hbase-protocol-0.98.6-hadoop2.jar $HIVE_HOME/hbase-protocol-0.98.6-hadoop2.jar
  1640. ln -s $HBASE_HOME/lib/hbase-it-0.98.6-hadoop2.jar $HIVE_HOME/hbase-it-0.98.6-hadoop2.jar 
  1641. ln -s $HBASE_HOME/lib/htrace-core-2.04.jar $HIVE_HOME/htrace-core-2.04.jar
  1642. ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-0.98.6-hadoop2.jar $HIVE_HOME/hbase-hadoop2-compat-0.98.6-hadoop2.jar
  1643. ln -s $HBASE_HOME/lib/hbase-hadoop-compat-0.98.6-hadoop2.jar $HIVE_HOME/hbase-hadoop-compat-0.98.6-hadoop2.jar
  1644. ln -s $HBASE_HOME/lib/high-scale-lib-1.1.1.jar  $HBASE_HOME/high-scale-lib-1.1.1.jar
  1650. ----------------------------------------------HBase与Hue的集成----------------------------------------------
  1653. 配置hue.ini 
  1655. [hbase]
  1656.   hbase_clusters=(Cluster|hadoop.zxk.com:9090)
  1657.   hbase_conf_dir=/opt/modules/hbase-0.98.6-hadoop2/conf
  1659. 启动ThriftServer     bin/hbase-daemon.sh start thrift
  1663. -----------------------------------------Scala运行MapReduce----------------------------------------
  1666. val lineadd = sc.textFile("hdfs://hadoop.zxk.com:8020/user/root/mapreduce/wordcount/input/wc.input")
  1667. val wordsAdd=lineadd.map(line =>line.split(" "))
  1668. val wordsAdd=lineadd.flatMap(line =>line.split(" "))
  1669. val keyvalRdds =wordsAdd.map(word=>(word,1))
  1670. val count= keyvalRdds.reduceByKey((a,b)=>(a+b))
  1672. sc.textFile("hdfs://hadoop.zxk.com:8020/user/root/mapreduce/wordcount/input/wc.input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
  1676. -----------------------------------------Scala  sortByKey----------------------------------------
  1677. ## WordCount
  1678. val rdd = sc.textFile("hdfs://hadoop.zxk.com:8020/user/root/mapreduce/wordcount/input/wc.input")
  1679. val wordcount = rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _)
  1680. wordcount.saveAsTextFile("hdfs://hadoop.zxk.com:8020/user/root/mapreduce/wordcount/sparkOutput89")
  1682. wordcount.sortByKey().collect       # 默认情况是 升序
  1683. wordcount.sortByKey(true).collect	# true情况是 升序
  1684. wordcount.sortByKey(false).collect  # false情况是 升序
  1687. 按照value值进行降序
  1688. # Value Sort
  1689. wordcount.map(x => (x._2,x._1)).sortByKey(false).collect
  1690. wordcount.map(x => (x._2,x._1)).sortByKey(false).map(x => (x._2,x._1)).collect
  1691. 	
  1692. # Top N
  1693. wordcount.map(x => (x._2,x._1)).sortByKey(false).map(x => (x._2,x._1)).take(3)
  1696. Group Top Key
  1697. 	WordCount 程序，前KEY值
  1699. 需求：
  1700. 	类似MapReduce中的二次排序
  1701. 	1) 按照第一个字段进行分组
  1702. 	2) 对分组中的第二字段进行排序(降序)
  1703. 	3) 获取每个分组Top N，比如获取前三个值
  1704. aa 78
  1705. bb 98
  1706. aa 80
  1707. cc 98				
  1708. aa 69
  1709. cc 87
  1710. bb 97
  1711. cc 86
  1712. aa 97
  1713. bb 78
  1714. bb 34
  1715. cc 85
  1716. bb 92
  1717. cc 72
  1718. bb 32
  1719. bb 23	
  1720. 	
  1721. 功能分析：
  1722. 	(aa,list(78,80,69,97)) ->  (aa,list(69,78,80,97))  -> (aa,list(69,78,80))
  1723. 	
  1724. val rdd = sc.textFile("hdfs://hadoop.zxk.com:8020/user/root/spark/grouptop/input/score.input")
  1725. 	
  1726. rdd.map(_.split(" ")).collect	
  1727. 	Array(aa, 78)
  1728. 	
  1729. rdd.map(_.split(" ")).map(x => (x(0),x(1))).collect
  1730. 	(aa,78)
  1731. 	
  1732. rdd.map(_.split(" ")).map(x => (x(0),x(1))).groupByKey.collect
  1733. 	(aa,CompactBuffer(78, 80, 69, 97))
  1735. rdd.map(_.split(" ")).map(x => (x(0),x(1))).groupByKey.map(
  1736.     x => {
  1737.        val xx = x._1
  1738.        val yy = x._2
  1739.        yy   
  1740.     }
  1741. ).collect
  1742. 	Iterable[String]
  1743. 	
  1744. Iterable 方法：
  1745. 	def toList: List[A]
  1746. 	返回包含此遍历的迭代器的所有元素的列表
  1747. 	
  1748. rdd.map(_.split(" ")).map(x => (x(0),x(1))).groupByKey.map(
  1749.     x => {
  1750.        val xx = x._1
  1751.        val yy = x._2
  1752.        yy.toList   
  1753.     }
  1754. ).collect
  1755. 	List[String]
  1756. 	List(78, 80, 69, 97)
  1757. 	
  1758. List 方法：	
  1759. 	def sorted[B >: A]: List[A]
  1760. 	根据排序对列表进行排序
  1761. rdd.map(_.split(" ")).map(x => (x(0),x(1))).groupByKey.map(
  1762.     x => {
  1763.        val xx = x._1
  1764.        val yy = x._2
  1765.        yy.toList.sorted
  1766.     }
  1767. ).collect	
  1768. 	List[String]
  1769. 	List(69, 78, 80, 97)
  1770. 	
  1771. List 方法：	
  1772. 	def reverse: List[A]
  1773. 	返回新列表，在相反的顺序元素
  1774. rdd.map(_.split(" ")).map(x => (x(0),x(1))).groupByKey.map(
  1775.     x => {
  1776.        val xx = x._1
  1777.        val yy = x._2
  1778.        yy.toList.sorted.reverse
  1779.     }
  1780. ).collect
  1781. 	List[String]
  1782. 	List(97, 80, 78, 69)
  1784. List 方法：	
  1785. 	def take(n: Int): List[A]
  1786. 	返回前n个元素
  1787. 	
  1788. 	def takeRight(n: Int): List[A]
  1789. 	返回最后n个元素
  1790. rdd.map(_.split(" ")).map(x => (x(0),x(1))).groupByKey.map(
  1791.     x => {
  1792.        val xx = x._1
  1793.        val yy = x._2
  1794.        yy.toList.sorted.reverse.take(3)
  1795.     }
  1796. ).collect
  1798. 要求返回的是一个元组对
  1799. rdd.map(_.split(" ")).map(x => (x(0),x(1))).groupByKey.map(
  1800.     x => {
  1801.        val xx = x._1
  1802.        val yy = x._2
  1803.        (xx,yy.toList.sorted.reverse.take(3))
  1804.     }
  1805. ).collect
  1807. val groupTopKeyRdd = rdd.map(_.split(" ")).map(x => (x(0),x(1))).groupByKey.map(
  1808.     x => {
  1809.        val xx = x._1
  1810.        val yy = x._2
  1811.        (xx,yy.toList.sorted.reverse.take(3))
  1812.     }
  1813. )
  1814. groupTopKeyRdd.saveAsTextFile("hdfs://hadoop.zxk.com:8020/user/root/spark/grouptop/output")
  1817. -----------------------------------------Scala  提交jar包----------------------------------------
  1819. bin/spark-submit \
  1820.   --master spark://hadoop.zxk.com:7077 \
  1821.   jars/sparkApp.jar
  1825. Spark-----------------------------------------Streaming Demo-----------------------------------------
  1827. 从Socket实时读取数据，进行实时处理
  1828. # rpm -ivh nc-1.84-22.el6.x86_64.rpm
  1830. ## 运行nc针对于端口号9999
  1831. $ nc -lk 9999
  1833. ## 运行Demo
  1834. bin/run-example streaming.NetworkWordCount hadoop.zxk.com 9999
  1838. -----------------------------------------Initializing StreamingContext-----------------------------------------
  1839. import org.apache.spark._
  1840. import org.apache.spark.streaming._
  1841. import org.apache.spark.streaming.StreamingContext._ 
  1843. val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
  1844. val ssc = new StreamingContext(conf, Seconds(5))
  1846. // read data
  1847. val lines = ssc.socketTextStream("localhost", 9999)
  1849. // process
  1850. val words = lines.flatMap(_.split(" "))
  1851. val pairs = words.map(word => (word, 1))
  1852. val wordCounts = pairs.reduceByKey(_ + _)
  1853. wordCounts.print()
  1854.  
  1855. ssc.start()             // Start the computation
  1856. ssc.awaitTermination()  // Wait for the computation to terminate
  1860. -----------------------------------------HDFS -----------------------------------------
  1861. import org.apache.spark._
  1862. import org.apache.spark.streaming._
  1863. import org.apache.spark.streaming.StreamingContext._ 
  1865. val ssc = new StreamingContext(sc, Seconds(5))
  1867. // read data
  1868. val lines = ssc.textFileStream("hdfs://hadoop.zxk.com:8020/user/root/streaming/input/hdfs/")
  1870. // process
  1871. val words = lines.flatMap(_.split("\t"))
  1872. val pairs = words.map(word => (word, 1))
  1873. val wordCounts = pairs.reduceByKey(_ + _)
  1874. wordCounts.print()
  1875.  
  1876. ssc.start()             // Start the computation
  1877. ssc.awaitTermination()  // Wait for the computation to terminate
  1879. -----------------------------------如何在Spark-shell中执行某个scala代码-----------------------------------
  1881. :load /opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/HDFSWordCount.scala
  1887. -----------------------------------将处理数据保存到HDFS-----------------------------------
  1888. import org.apache.spark._
  1889. import org.apache.spark.streaming._
  1890. import org.apache.spark.streaming.StreamingContext._ 
  1892. val ssc = new StreamingContext(sc, Seconds(5))
  1894. // read data
  1895. val lines = ssc.textFileStream("hdfs://hadoop.zxk.com:8020/user/root/streaming/input/hdfs/")
  1897. // process
  1898. val words = lines.flatMap(_.split("\t"))
  1899. val pairs = words.map(word => (word, 1))
  1900. val wordCounts = pairs.reduceByKey(_ + _)
  1901. wordCounts.saveAsTextFiles("hdfs://hadoop.zxk.com:8020/user/root/streaming/output/")
  1902.  
  1903. ssc.start()             // Start the computation
  1904. ssc.awaitTermination()  // Wait for the computation to terminate
  1907. -----------------------------------Spark Streaming + Flume Integration-----------------------------------
  1908. Flume有三个组件
  1909. 	Source  --->   Channel  --->   Sink(Spark Streaming)
  1911. import org.apache.spark._
  1912. import org.apache.spark.streaming._
  1913. import org.apache.spark.streaming.StreamingContext._ 
  1914. import org.apache.spark.streaming.flume._
  1915. import org.apache.spark.storage.StorageLevel
  1917. val ssc = new StreamingContext(sc, Seconds(5))
  1919. // read data
  1920. val stream = FlumeUtils.createStream(ssc, "hadoop.zxk.com", 9999, StorageLevel.MEMORY_ONLY_SER_2)
  1922. stream.count().map(cnt => "Received " + cnt + " flume events." ).print()
  1924. ssc.start()             // Start the computation
  1925. ssc.awaitTermination()  // Wait for the computation to terminate
  1927. ------------------
  1928. bin/spark-shell --jars \
  1929. /opt/modules/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/spark-streaming-flume_2.10-1.3.0.jar,/opt/modules/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/flume-avro-source-1.5.0-cdh5.3.6.jar,/opt/modules/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/flume-ng-sdk-1.5.0-cdh5.3.6.jar
  1930. ------
  1931. run command:
  1932. 	bin/flume-ng agent -c conf -n a2 -f conf/flume-spark-push.sh -Dflume.root.logger=DEBUG,console
  1933.   
  1934.   
  1935.   
  1936.   
  1937.   
  1939. -----------------------------------启动Kafka集群-----------------------------------
  1940. 启动Kafka集群
  1941. 	nohup bin/kafka-server-start.sh config/server.properties & 
  1943. 创建topic命令
  1944. 	bin/kafka-topics.sh --create --zookeeper hadoop.zxk.com:2181 --replication-factor 1 --partitions 1 --topic test
  1946. 查看已用topic
  1947. 	bin/kafka-topics.sh --list --zookeeper hadoop.zxk.com:2181
  1949. 生产数据
  1950. 	bin/kafka-console-producer.sh --broker-list hadoop.zxk.com:9092 --topic test
  1952. 消费数据
  1953. 	bin/kafka-console-consumer.sh --zookeeper hadoop.zxk.com:2181 --topic test --from-beginning
  1954.   
  1955.   
  1956.   
  1957.   
  1958. -----------------------------------Spark Streaming + Kafka Integration-----------------------------------
  1959. import java.util.HashMap
  1960. import org.apache.spark._
  1961. import org.apache.spark.streaming._
  1962. import org.apache.spark.streaming.StreamingContext._ 
  1963. import org.apache.spark.streaming.kafka._
  1965. val ssc = new StreamingContext(sc, Seconds(5))
  1967. val topicMap = Map("test" -> 1)
  1969. // read data
  1970. val lines = KafkaUtils.createStream(ssc, "hadoop-senior.ibeifeng.com:2181", "testWordCountGroup", topicMap).map(_._2)
  1972. val words = lines.flatMap(_.split(" "))
  1973. val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
  1974. wordCounts.print()
  1976. ssc.start()             // Start the computation
  1977. ssc.awaitTermination()  // Wait for the computation to terminate
  1979. ------------------
  1980. bin/spark-shell --jars \
  1981. /opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/spark-streaming-kafka_2.10-1.3.0.jar,/opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/kafka_2.10-0.8.2.1.jar,/opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/kafka-clients-0.8.2.1.jar,/opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/zkclient-0.3.jar,/opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/metrics-core-2.2.0.jar
  1983. 第两种方式
  1984. -----------------------------------Spark Streaming + Kafka Integration-----------------------------------
  1985. import kafka.serializer.StringDecoder
  1986. import org.apache.spark._
  1987. import org.apache.spark.streaming._
  1988. import org.apache.spark.streaming.StreamingContext._ 
  1989. import org.apache.spark.streaming.kafka._
  1991. val ssc = new StreamingContext(sc, Seconds(5))
  1993. val kafkaParams = Map[String, String]("metadata.broker.list" -> "hadoop-senior.ibeifeng.com:9092")
  1994. val topicsSet = Set("test")
  1996. // read data
  1997. val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet)
  1999. val lines = messages.map(_._2)
  2000. val words = lines.flatMap(_.split(" "))
  2001. val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
  2002. wordCounts.print()
  2004. ssc.start()             // Start the computation
  2005. ssc.awaitTermination()  // Wait for the computation to terminate
  2007. ---------------------------------------------------------------------------------------------------------
  2008. bin/spark-shell --jars \
  2009. /opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/spark-streaming-kafka_2.10-1.3.0.jar,/opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/kafka_2.10-0.8.2.1.jar,/opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/kafka-clients-0.8.2.1.jar,/opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/zkclient-0.3.jar,/opt/cdh-5.3.6/spark-1.3.0-bin-2.5.0-cdh5.3.6/externallibs/metrics-core-2.2.0.jar
  2011. -----------------------------------UpdataStateByKey-----------------------------------
  2012. import kafka.serializer.StringDecoder
  2013. import org.apache.spark._
  2014. import org.apache.spark.streaming._
  2015. import org.apache.spark.streaming.StreamingContext._ 
  2016. import org.apache.spark.streaming.kafka._
  2018. val ssc = new StreamingContext(sc, Seconds(5))
  2019. ssc.checkpoint(".")
  2021. val kafkaParams = Map[String, String]("metadata.broker.list" -> "hadoop-senior.ibeifeng.com:9092")
  2022. val topicsSet = Set("test")
  2024. val updateFunc = (values: Seq[Int], state: Option[Int]) => {
  2025. 	val currentCount = values.sum
  2026. 	val previousCount = state.getOrElse(0)
  2027. 	Some(currentCount + previousCount)
  2028. }
  2030. // read data
  2031. val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet)
  2033. val lines = messages.map(_._2)
  2034. val words = lines.flatMap(_.split(" "))
  2035. val wordDstream = words.map(x => (x, 1))
  2037. val stateDstream = wordDstream.updateStateByKey[Int](updateFunc)
  2039. stateDstream.print()
  2041. ssc.start()             // Start the computation
  2042. ssc.awaitTermination()  // Wait for the computation to terminate
  2045. -----------------------------------隐式转换--------------------------------------------------
  2046. 在scala中，有一个很重要的功能，就是隐式转换
  2047. 	比如
  2048. 		A类对象，->通过一个函数将对象转换成另外一个对象   B类对象
  2050. /**
  2051.    * Return a new "state" DStream where the state for each key is updated by applying
  2052.    * the given function on the previous state of the key and the new values of each key.
  2053.    * Hash partitioning is used to generate the RDDs with Spark's default number of partitions.
  2054.    * @param updateFunc State update function. If `this` function returns None, then
  2055.    *                   corresponding state key-value pair will be eliminated.
  2056.    * @tparam S State type
  2057.    */
  2058.   def updateStateByKey[S: ClassTag](
  2059.       updateFunc: (Seq[V], Option[S]) => Option[S]
  2060.     ): DStream[(K, S)] = ssc.withScope {
  2061.     updateStateByKey(updateFunc, defaultPartitioner())
  2062.   }

 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/389918
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号