实验三-HBase数据库操作

 第一步：首先登陆ssh，之前设置了无密码登陆，因此这里不需要密码；再切换目录至/usr/local/hadoop ；再启动hadoop

ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh

 输入命令jps，能看到NameNode,DataNode和SecondaryNameNode都已经成功启动，表示hadoop启动成功

第二步：切换目录至/usr/local/hbase;再启动HBase.

 

进入shell界面：

（一）编程实现以下指定功能，并用Hadoop提供的HBase Shell命令完成相同任务：

列出HBase所有的表的相关信息，例如表名；

在终端打印出指定的表的所有记录数据；

向已经创建好的表添加和删除指定的列族或列；

 

清空指定的表的所有记录数据；

统计表的行数。

（二）HBase数据库操作

1. 现有以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：

学生表（Student）

课程表（Course）

选课表（SC）

2. 请编程实现以下功能：

 这里只需要导入hbase安装目录中的lib文件中的所有jar包。

（1）createTable(String tableName, String[] fields)

        创建表，参数tableName为表的名称，字符串数组fields为存储记录各个字段名称的数组。要求当HBase已经存在名为tableName的表的时候，先删除原有的表，然后再创建新的表。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;
     
public class ExampleForHbase{
        public static Configuration configuration;//
        public static Connection connection;//
        public static Admin admin;//
        
        public static void main(String[] args) throws IOException {
            //创建一个表，表名为Score，列族为sname,course
              createTable("Score",new String[]{"sname","course"});
              }
 
       //建立连接
        public static void init() {
            configuration  = HBaseConfiguration.create();
            configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
            try
            {
                connection = ConnectionFactory.createConnection(configuration);//创建连接
                admin = connection.getAdmin();//表操作对象
            }
            catch (IOException e){
                e.printStackTrace();
            }
        }
        //关闭连接
        public static void close() {
            try 
            {
                if(admin != null) {
                    admin.close();
                }
                if(null != connection) {
                    connection.close();
                }
            }
            catch (IOException e) 
            {
                e.printStackTrace();
            }
        }
     
        /**
         * 建表。HBase的表中会有一个系统默认的属性作为主键，主键无需自行创建，默认为put命令操作中表名后第一个数据，因此此处无需创建id列
         * @param myTableName 表名
         * @param colFamily 列族名
         * @throws IOException
         */
        public static void createTable(String myTableName,String[] colFamily) throws IOException {
     
            init();//先调用
            TableName tableName = TableName.valueOf(myTableName);//表名化作TableName对象
     
            if(admin.tableExists(tableName)) 
            {
                System.out.println("表已经存在！");
            }
            else  //如果不在
            {
                HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);//表描述对象
                for(String str:colFamily) //传了所有列
                {
                    HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(str);//列描述对象
                    hTableDescriptor.addFamily(hColumnDescriptor);//列描述添加到表描述
                }
                admin.createTable(hTableDescriptor);
                System.out.println("表创建成功！");
            }
            close();
        } 
}

        （2）addRecord(String tableName, String row, String[] fields, String[] values)

        向表tableName、行row和字符串数组fields指定的单元格中添加对应的数据values。其中，fields中每个元素如果对应的列族下还有相应的列限定符的话，用“columnFamily:column”表示。例如，同时向“Math”、“Computer Science”、“English”三列添加成绩时，字符串数组fields为{“Score:Math”, ”Score:Computer Science”, ”Score:English”}，数组values存储这三门课的成绩。

package A;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.*;
 
import java.io.IOException;
 
public class ExampleForHbase {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
 
    public static void addRecord(String tableName, String row, String[] fields, String[] values) throws IOException {
        init();
        Table table = connection.getTable(TableName.valueOf(tableName));
        for (int i = 0; i != fields.length; i++) {
            Put put = new Put(row.getBytes());
            String[] cols = fields[i].split(":");
            put.addColumn(cols[0].getBytes(), cols[1].getBytes(), values[i].getBytes());
            table.put(put);
        }
        System.out.println("数据已插入！");
        table.close();
        close();
    }
 
    public static void init() {
        configuration = HBaseConfiguration.create();
        configuration.set("hbase.rootdir", "hdfs://localhost:9000/hbase");
        try {
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
    public static void close() {
        try {
            if (admin != null) {
                admin.close();
            }
            if (null != connection) {
                connection.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
    public static void main(String[] args) {
        String[] fields = {"course:Math", "course:Computer Science", "course:English"};
        String[] values = {"99", "80", "100"};
        try {
            addRecord("Score", "ss", fields, values);
        } catch (IOException e) {
            e.printStackTrace();
        }
 
    }
}
 

 

 

（3）scanColumn(String tableName, String column)

        浏览表tableName某一列的数据，如果某一行记录中该列数据不存在，则返回null。要求当参数column为某一列族名称时，如果底下有若干个列限定符，则要列出每个列限定符代表的列的数据；当参数column为某一列具体名称（例如“Score:Math”）时，只需要列出该列的数据。

package A;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
 
import java.io.IOException;
     
    public class ExampleForHbase{
        public static Configuration configuration;
        public static Connection connection;
        public static Admin admin;
         //建立连接
        public static void init() {
            configuration  = HBaseConfiguration.create();
            configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
            try
            {
                connection = ConnectionFactory.createConnection(configuration);
                admin = connection.getAdmin();
            }
            catch (IOException e){
                e.printStackTrace();
            }
        }
        //关闭连接
        public static void close() {
            try 
            {
                if(admin != null) {
                    admin.close();
                }
                if(null != connection) {
                    connection.close();
                }
            }
            catch (IOException e) 
            {
                e.printStackTrace();
            }
        }
        
      public static void scanColumn(String tableName, String column)throws  IOException {
            init();
            Table table = connection.getTable(TableName.valueOf(tableName));
            //Get get = new Get(rowKey.getBytes());
            //get.addColumn(colFamily.getBytes(),col.getBytes());
            //Result result = table.get(get);
            Scan scan = new Scan();
            scan.addFamily(Bytes.toBytes(column));
            ResultScanner scanner = table.getScanner(scan);
           for (Result result = scanner.next(); result != null; result = scanner.next()) {
            showCell(result);
            }
            table.close();
            close();
        }
      
      /**
       * 格式化输出
       * @param result
       */
      public static void showCell(Result result) {
          Cell[] cells = result.rawCells();
          for(Cell cell:cells) {
              System.out.println("RowName:"+new String(CellUtil.cloneRow(cell))+" ");
              System.out.println("Timetamp:"+cell.getTimestamp()+" ");
              System.out.println("column Family:"+new String(CellUtil.cloneFamily(cell))+" ");
              System.out.println("Column Name:"+new String(CellUtil.cloneQualifier(cell))+" ");
              System.out.println("value:"+new String(CellUtil.cloneValue(cell))+" ");
          }
      }
     public static void main(String[] args) throws IOException {
           scanColumn("Score","course");
   }
}

        （4）modifyData(String tableName, String row, String column)

        修改表tableName，行row，列column指定的单元格的数据。

（5）deleteRow(String tableName, String row)

        删除表tableName中row指定的行的记录。