devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

实验3 熟悉常用的HBase操作_public static void listtables() throws ioexception

作者：IT小白 | 2024-06-19 11:04:28

赞

踩

public static void listtables() throws ioexception {

一、实验目的

  1. 理解HBase在Hadoop体系结构中的角色；
  2. 熟练使用HBase操作常用的shell命令；
  3. 熟悉HBase操作常用的Java API；

二、实验平台

  1. 操作系统：Linux；
  2. Hadoop版本：3.1.3；
  3. HBase版本：2.2.2；
  4. JDK版本：1.8；
  5. Java IDE：Eclipse。

三、实验步骤

（一）编程实现以下指定功能，并利用Hadoop提供的HBase Shell命令完成相同任务； 

  1. 列出HBase所有的表的相关新信息，例如表名；
    1. //列出HBase所有的表的相关信息，例如表名、创建时间等
    2. 	public static void listTables() throws IOException {
    3. 		init();//建立连接
    4. 		List<TableDescriptor> tableDescriptors = admin.listTableDescriptors();
    5. 		for (TableDescriptor tableDescriptor : tableDescriptors) {
    6. 			TableName tableName = tableDescriptor.getTableName();
    7. 			System.out.println("Table:"+tableName);
    8. 		}
    9. 		close();//关闭连接
    10. 	}
  2. 在终端打印出指定的表的所有记录数据
    1. //在终端打印出指定的表的所有记录数据
    2. 	public static void getData(String tableName) throws IOException {
    3. 		init();
    4. 		Table table = connection.getTable(TableName.valueOf(tableName));
    5. 		Scan scan = new Scan();
    6. 		ResultScanner scanner = table.getScanner(scan);//获取行的遍历器
    7. 		for (Result result:scanner) {
    8. 			printRecoder(result);
    9. 		}
    10. 		close();
    11. 	}
    12. 	
    13. 	//打印一条记录的详情
    14. 	private static void printRecoder(Result result) {
    15. 		// TODO Auto-generated method stub
    16. 		for(Cell cell:result.rawCells()) {
    17. 			String str1 = Bytes.toString(cell.getRowArray(),cell.getRowOffset(),cell.getRowLength());
    18. 			System.out.println("行键："+ str1);
    19. 			String str2 = Bytes.toString(cell.getFamilyArray(),cell.getFamilyOffset(),cell.getFamilyLength());
    20. 			System.out.println("列簇：" + str2);
    21. 			String str3 = Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength());
    22. 			System.out.println("列：" + str3);
    23. 			String str4 = Bytes.toString(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength());
    24. 			System.out.println("值：" + str4);
    25. 			System.out.println("时间戳：" + cell.getTimestamp());
    26. 		}
    27. 	}

  3. 向已经创建好的表添加和删除指定的列簇或列
    1. //向已经创建好的表添加和删除指定的列簇或列
    2. 	
    3. 	//向表添加数据
    4. 	public static void insterRow(String tableName,String rowKey,String colFamily,String col,String val) throws IOException {
    5. 		init();
    6. 		Table table = connection.getTable(TableName.valueOf(tableName));
    7. 		Put put = new Put(rowKey.getBytes());
    8. 		put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
    9. 		table.put(put);
    10. 		table.close();
    11. 		close();
    12. 	}
    13. 	
    14. 	//删除数据
    15. 	public static void deleRow(String tableName,String rowKey,String colFamily,String col) throws IOException {
    16. 		init();
    17. 		Table table = connection.getTable(TableName.valueOf(tableName));
    18. 		Delete delete = new Delete(rowKey.getBytes());
    19. 		//删除指定列簇
    20. 		delete.addFamily(Bytes.toBytes(colFamily));
    21. 		//删除指定列
    22. 		delete.addColumn(Bytes.toBytes(colFamily),Bytes.toBytes(col));
    23. 		table.delete(delete);
    24. 		table.close();
    25. 		close();
    26. 	}

  4. 清空指定的表的所有记录数据
    1. //清空指定的表的所有记录数据
    2. 	public static void clearRows(String tableName) throws IOException {
    3. 		init();
    4. 		TableName tablename = TableName.valueOf(tableName);
    5. 		admin.disableTable(tablename);
    6. 		System.out.println("disable...delete...");
    7. 		admin.deleteTable(tablename);
    8. 		System.out.println("delete...over...create");
    9. 		TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tablename);
    10. 		ColumnFamilyDescriptor colFamilyDes=ColumnFamilyDescriptorBuilder.newBuilder(" ".getBytes()).build();
    11. 		tableDescriptor.setColumnFamily(colFamilyDes).build();
    12. 		admin.createTable(tableDescriptor.build());
    13. 		
    14. 		close();
    15. 	}

  5. 统计表的行数
    1. //统计表的行数
    2. 	public static void countRows(String tableName) throws IOException {
    3. 		init();
    4. 		Table table = connection.getTable(TableName.valueOf(tableName));
    5. 		Scan scan = new Scan();
    6. 		ResultScanner scanner = table.getScanner(scan);
    7. 		int num = 0;
    8. 		for (Result result = scanner.next();result!=null;result=scanner.next()) {
    9. 			num++;
    10. 		}
    11. 		System.out.println("行数：" + num);
    12. 		scanner.close();
    13. 		close();
    14. 	}

    以上的全部代码：

    1. import java.io.IOException;
    2. import java.util.List;
    3.  
    4. import org.apache.hadoop.conf.Configuration;
    5. import org.apache.hadoop.hbase.client.*;
    6. import org.apache.hadoop.hbase.util.Bytes;
    7. import org.apache.hadoop.hbase.*;
    8.  
    9. public class Test {
    10. 	
    11. 	public static Configuration configuration;
    12. 	public static Connection connection;
    13. 	public static Admin admin;
    14. 	
    15. 	//建立连接
    16. 	public static void init() {
    17. 		configuration = HBaseConfiguration.create();
    18. 		configuration.set("hbase.rootdir", "hdfs://localhost:9000/hbase");
    19. 		try {
    20. 			connection = ConnectionFactory.createConnection(configuration);
    21. 			admin = connection.getAdmin();
    22. 		} catch (IOException e) {
    23. 			// TODO: handle exception
    24. 			e.printStackTrace();
    25. 		}
    26. 	}
    27. 	
    28. 	//关闭连接
    29. 	public static void  close() {
    30. 		try {
    31. 			if (admin != null) {
    32. 				admin.close();
    33. 			}
    34. 			if (null != connection) {
    35. 				connection.close();
    36. 			}
    37. 		} catch (IOException e) {
    38. 			// TODO: handle exception
    39. 			e.printStackTrace();
    40. 		}
    41. 	}
    42. 	
    43. 	//列出HBase所有的表的相关信息，例如表名、创建时间等
    44. 	public static void listTables() throws IOException {
    45. 		init();//建立连接
    46. 		List<TableDescriptor> tableDescriptors = admin.listTableDescriptors();
    47. 		for (TableDescriptor tableDescriptor : tableDescriptors) {
    48. 			TableName tableName = tableDescriptor.getTableName();
    49. 			System.out.println("Table:"+tableName);
    50. 		}
    51. 		close();//关闭连接
    52. 	}
    53. 	
    54. 	//在终端打印出指定的表的所有记录数据
    55. 	public static void getData(String tableName) throws IOException {
    56. 		init();
    57. 		Table table = connection.getTable(TableName.valueOf(tableName));
    58. 		Scan scan = new Scan();
    59. 		ResultScanner scanner = table.getScanner(scan);//获取行的遍历器
    60. 		for (Result result:scanner) {
    61. 			printRecoder(result);
    62. 		}
    63. 		close();
    64. 	}
    65. 	
    66. 	//打印一条记录的详情
    67. 	private static void printRecoder(Result result) {
    68. 		// TODO Auto-generated method stub
    69. 		for(Cell cell:result.rawCells()) {
    70. 			String str1 = Bytes.toString(cell.getRowArray(),cell.getRowOffset(),cell.getRowLength());
    71. 			System.out.println("行键："+ str1);
    72. 			String str2 = Bytes.toString(cell.getFamilyArray(),cell.getFamilyOffset(),cell.getFamilyLength());
    73. 			System.out.println("列簇：" + str2);
    74. 			String str3 = Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength());
    75. 			System.out.println("列：" + str3);
    76. 			String str4 = Bytes.toString(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength());
    77. 			System.out.println("值：" + str4);
    78. 			System.out.println("时间戳：" + cell.getTimestamp());
    79. 		}
    80. 	}
    81. 	
    82. 	//向已经创建好的表添加和删除指定的列簇或列
    83. 	
    84. 	//向表添加数据
    85. 	public static void insterRow(String tableName,String rowKey,String colFamily,String col,String val) throws IOException {
    86. 		init();
    87. 		Table table = connection.getTable(TableName.valueOf(tableName));
    88. 		Put put = new Put(rowKey.getBytes());
    89. 		put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
    90. 		table.put(put);
    91. 		table.close();
    92. 		close();
    93. 	}
    94. 	
    95. 	//删除数据
    96. 	public static void deleRow(String tableName,String rowKey,String colFamily,String col) throws IOException {
    97. 		init();
    98. 		Table table = connection.getTable(TableName.valueOf(tableName));
    99. 		Delete delete = new Delete(rowKey.getBytes());
    100. 		//删除指定列簇
    101. 		delete.addFamily(Bytes.toBytes(colFamily));
    102. 		//删除指定列
    103. 		delete.addColumn(Bytes.toBytes(colFamily),Bytes.toBytes(col));
    104. 		table.delete(delete);
    105. 		table.close();
    106. 		close();
    107. 	}
    108. 	
    109. 	//清空指定的表的所有记录数据
    110. 	public static void clearRows(String tableName) throws IOException {
    111. 		init();
    112. 		TableName tablename = TableName.valueOf(tableName);
    113. 		admin.disableTable(tablename);
    114. 		System.out.println("disable...delete...");
    115. 		admin.deleteTable(tablename);
    116. 		System.out.println("delete...over...create");
    117. 		TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tablename);
    118. 		ColumnFamilyDescriptor colFamilyDes=ColumnFamilyDescriptorBuilder.newBuilder(" ".getBytes()).build();
    119. 		tableDescriptor.setColumnFamily(colFamilyDes).build();
    120. 		admin.createTable(tableDescriptor.build());
    121. 		
    122. 		close();
    123. 	}
    124.  
    125. 	//统计表的行数
    126. 	public static void countRows(String tableName) throws IOException {
    127. 		init();
    128. 		Table table = connection.getTable(TableName.valueOf(tableName));
    129. 		Scan scan = new Scan();
    130. 		ResultScanner scanner = table.getScanner(scan);
    131. 		int num = 0;
    132. 		for (Result result = scanner.next();result!=null;result=scanner.next()) {
    133. 			num++;
    134. 		}
    135. 		System.out.println("行数：" + num);
    136. 		scanner.close();
    137. 		close();
    138. 	}
    139. 	
    140. 	public static void main(String[] args) throws IOException {
    141. 		// TODO Auto-generated method stub
    142. //		listTables();
    143. //		getData("teacher");
    144. //		getData("student");
    145. //		deleRow("s1", "lisi", "score", "English");
    146. //		clearRows("s1");
    147. //		countRows("s2");
    148. 		insterRow("s2", "xiaohong", "score", "Computer", "60");
    149. 	}
    150.  
    151. }

（二）HBase数据库操作

1. 现有以下关系型数据库中的表和数据（见表14-3到表14-5），要求将其转换为适合于HBase存储的表并插入数据：

表14-3 学生表（Student）

学号（S_No）

姓名（S_Name）

性别（S_Sex）

年龄（S_Age）

2015001

Zhangsan

male

23

2015002

Mary

female

22

2015003

Lisi

male

24

表14-4 课程表（Course）

课程号（C_No）

课程名（C_Name）

学分（C_Credit）

123001

Math

2.0

123002

Computer Science

5.0

123003

English

3.

表14-5 选课表（SC）

学号（SC_Sno）

课程号（SC_Cno）

成绩（SC_Score）

2015001

123001

86

2015001

123003

69

2015002

123002

77

2015002

123003

99

2015003

123001

98

2015003

123002

95

创建表：

 添加数据：

 

 

2. 请编程实现以下功能：

（1）createTable(String tableName, String[] fields)

创建表，参数tableName为表的名称，字符串数组fields为存储记录各个字段名称的数组。要求当HBase已经存在名为tableName的表的时候，先删除原有的表，然后再创建新的表。

（2）addRecord(String tableName, String row, String[] fields, String[] values)

向表tableName、行row（用S_Name表示）和字符串数组fields指定的单元格中添加对应的数据values。其中，fields中每个元素如果对应的列族下还有相应的列限定符的话，用“columnFamily:column”表示。例如，同时向“Math”、“Computer Science”、“English”三列添加成绩时，字符串数组fields为{“Score:Math”, ”Score:Computer Science”, ”Score:English”}，数组values存储这三门课的成绩。

（3）scanColumn(String tableName, String column)

浏览表tableName某一列的数据，如果某一行记录中该列数据不存在，则返回null。要求当参数column为某一列族名称时，如果底下有若干个列限定符，则要列出每个列限定符代表的列的数据；当参数column为某一列具体名称（例如“Score:Math”）时，只需要列出该列的数据。

（4）modifyData(String tableName, String row, String column)

修改表tableName，行row（可以用学生姓名S_Name表示），列column指定的单元格的数据。

（5）deleteRow(String tableName, String row)

删除表tableName中row指定的行的记录。

  1. import org.apache.hadoop.conf.Configuration;
  2. import org.apache.hadoop.hbase.*;
  3. import org.apache.hadoop.hbase.client.*;
  4. import org.apache.hadoop.hbase.util.Bytes;
  5.  
  6.  
  7. import java.io.IOException;
  8. import java.util.ArrayList;
  9. import java.util.List;
  10.  
  11. public class Test2 {
  12.     public static Configuration configuration;
  13.     public static Connection connection;
  14.     public static Admin admin;
  15.  
  16.     //建立连接
  17.     public static void init(){
  18.         configuration  = HBaseConfiguration.create();
  19.         configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
  20.         try{
  21.             connection = ConnectionFactory.createConnection(configuration);
  22.             admin = connection.getAdmin();
  23.         }catch (IOException e){
  24.             e.printStackTrace();
  25.         }
  26.     }
  27.  
  28.     //关闭连接
  29.     public static void close(){
  30.         try{
  31.             if(admin != null){
  32.                 admin.close();
  33.             }
  34.             if(null != connection){
  35.                 connection.close();
  36.             }
  37.         }catch (IOException e){
  38.             e.printStackTrace();
  39.         }
  40.     }
  41.     /*createTable(String tableName, String[] fields)
  42. 	创建表，参数tableName为表的名称，字符串数组fields为存储记录各个域名称的数组。
  43. 	要求当HBase已经存在名为tableName的表的时候，先删除原有的表，然后再创建新的表。
  44.     */
  45.     public static void createTable(String tableName,String[] fields) throws IOException {
  46.  
  47.         init();
  48.         TableName tablename = TableName.valueOf(tableName);
  49.  
  50.         if(admin.tableExists(tablename)){
  51.             System.out.println("table is exists!");
  52.             admin.disableTable(tablename);
  53.             admin.deleteTable(tablename);//删除原来的表
  54.             System.out.println("删除成功！");
  55.         }
  56.  
  57.         System.out.println("开始创建表...");
  58.         List<ColumnFamilyDescriptor> colFamilyList=new ArrayList<>();
  59.         TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tablename);
  60.         for(String str:fields) {
  61. 			ColumnFamilyDescriptor colFamilyDes=ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(str)).build();
  62. 			colFamilyList.add(colFamilyDes);
  63. 		}
  64. 		TableDescriptor tableDes=tableDescriptor.setColumnFamilies(colFamilyList).build();
  65. 		admin.createTable(tableDes);
  66.         System.out.println(tableName+"创建成功！");
  67.         close();
  68.     }
  69.  
  70.  
  71.     /*addRecord(String tableName, String row, String[] fields, String[] values)
  72. 	向表tableName、行row（用S_Name表示）和字符串数组files指定的单元格中添加对应的数据values。
  73. 	其中fields中每个元素如果对应的列族下还有相应的列限定符的话，用“columnFamily:column”表示。
  74. 	例如，同时向“Math”、“Computer Science”、“English”三列添加成绩时，字符串数组
  75. 	fields为{“Score:Math”,”Score:Computer Science”,”Score:English”}，数组values存储这三门课的成绩。
  76.     */
  77.     public static void addRecord(String tableName,String row,String[] fields,String[] values) throws IOException {
  78.         init();
  79.         Table table = connection.getTable(TableName.valueOf(tableName));
  80.         System.out.println("准备添加数据...");
  81.         for(int i = 0;i != fields.length;i++){
  82.             Put put = new Put(row.getBytes());
  83.             String[] cols = fields[i].split(":");
  84.             put.addColumn(cols[0].getBytes(),cols[1].getBytes(), values[i].getBytes());
  85.             System.out.println(i+"put..."+i);
  86.             table.put(put);
  87.             System.out.println(i+"...ok");
  88.         }
  89.         table.close();
  90.         
  91.         close();
  92.     }
  93.     /*（3）scanColumn(String tableName, String column)
  94. 	浏览表tableName某一列的数据，如果某一行记录中该列数据不存在，则返回null。
  95. 	要求当参数column为某一列族名称时，如果底下有若干个列限定符，则要列出每个列限定符代表的列的数据；
  96. 	当参数column为某一列具体名称（例如“Score:Math”）时，只需要列出该列的数据。
  97.     */
  98.     public static void scanColumn(String tableName,String column)throws  IOException{
  99.         init();
  100.         Table table = connection.getTable(TableName.valueOf(tableName));
  101.         Scan scan = new Scan();
  102.         scan.addFamily(Bytes.toBytes(column));
  103.         ResultScanner scanner = table.getScanner(scan);
  104.         for (Result result = scanner.next(); result != null; result = scanner.next()){
  105.             showCell(result);
  106.         }
  107.         table.close();
  108.         close();
  109.     }
  110.     //格式化输出
  111.     public static void showCell(Result result){
  112.         Cell[] cells = result.rawCells();
  113.         for(Cell cell:cells){
  114.             System.out.println("RowName:"+new String(Bytes.toString(cell.getRowArray(),cell.getRowOffset(), cell.getRowLength()))+" ");
  115.             System.out.println("Timetamp:"+cell.getTimestamp()+" ");
  116.             System.out.println("column Family:"+new String(Bytes.toString(cell.getFamilyArray(),cell.getFamilyOffset(), cell.getFamilyLength()))+" ");
  117.             System.out.println("row Name:"+new String(Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(), cell.getQualifierLength()))+" ");
  118.             System.out.println("value:"+new String(Bytes.toString(cell.getValueArray(),cell.getValueOffset(), cell.getValueLength()))+" ");           
  119.         }
  120.     }
  121.     /*modifyData(String tableName, String row, String column)
  122. 	修改表tableName，行row（可以用学生姓名S_Name表示），列column指定的单元格的数据。*/
  123.     public static void modifyData(String tableName,String row,String column,String val)throws IOException{
  124.         init();
  125.         Table table = connection.getTable(TableName.valueOf(tableName));
  126.         Put put = new Put(row.getBytes());
  127.         String[] col = column.split(":");
  128.         put.addColumn(col[0].getBytes(),col[1].getBytes(),val.getBytes());
  129.         table.put(put);
  130.         table.close();
  131.         close();
  132.     }
  133.     /*（5）deleteRow(String tableName, String row)
  134. 	删除表tableName中row指定的行的记录。*/
  135.     public static void deleteRow(String tableName,String row)throws IOException{
  136.         init();
  137.         Table table = connection.getTable(TableName.valueOf(tableName));
  138.         Delete delete = new Delete(row.getBytes());        
  139.         table.delete(delete);
  140.         table.close();
  141.         close();
  142.     }
  143.     
  144.     public static void main(String[] args)throws IOException{
  145. //      scanColumn("s1","score");
  146. //    	String[] fields = {"score"};
  147. //    	createTable("s1",fields);
  148.     	String tableName = "s1";
  149.     	String row = "001";
  150. //    	String[] fields = {"score:Math", "score:Computer Science", "score:English"};
  151. //    	String[] values = {"100","80","60"};
  152. //    	addRecord(tableName,row,fields,values);
  153. //    	scanColumn(tableName,"score");
  154. //    	String column = "score:English";
  155. //    	String val = "70";
  156. //    	modifyData(tableName,row, column, val);
  157.     	deleteRow(tableName,row);
  158.   }
  159. }
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/736265
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号