weixin_40725706

这个屌丝很懒，什么也没留下！

热门标签

大数据实验实验四：NoSQL 和关系数据库的操作比较_hadoop实验--nosql与关系型数据库的比较

作者：weixin_40725706 | 2024-05-27 18:30:54

踩

hadoop实验--nosql与关系型数据库的比较

NoSQL 和关系数据库的操作比较

实验目的

理解四种数据库(MySQL、HBase、Redis 和 MongoDB)的概念以及不同点；
熟练使用四种数据库操作常用的 Shell 命令；
熟悉四种数据库操作常用的 Java API。

实验平台

操作系统：centos7
Hadoop 版本：3.3；
MySQL 版本：8.0.22；
HBase 版本：2.4.11；
Redis 版本：5.0.5；
MongoDB 版本：5.0；
JDK 版本：1.8；
Java IDE：IDEA；

实验步骤

(一)MySQL 数据库操作

Student 表如表 A-4 所示:

Name	English	Math	Computer
zhangsan	69	86	77
lisi	55	100	88

根据上面给出的 Student 表，在 MySQL 数据库中完成如下操作：

(1)在 MySQL 中创建 Student 表，并录入数；
在这里插入图片描述
(2)用 SQL 语句输出 Student 表中的所有记录

(3)查询 zhangsan 的 Computer 成绩

(4)修改 lisi 的 Math 成绩,改为 95。

在这里插入图片描述

根据上面已经设计出的 Student 表，使用 MySQL 的 JAVA 客户端编程实现以下操作：

(1)向 Student 表中添加如下所示的一条记录：

package Main;

import java.sql.*;

import com.mysql.jdbc.Driver;
public class main{
    static final String  DRIVER="com.mysql.jdbc.Driver";
    static final String DB="jdbc:mysql://localhost/student?useSSL=false";
    static final String USER="root";
    static final String PASSWD="123456";

    public static void main(String[] args) {
        Connection conn=null;
        Statement stmt=null;
        try {
            //加载驱动程序
            Class.forName(DRIVER);
            System.out.println("Connecting to a selected database...");
            //打开一个连接
            conn=DriverManager.getConnection(DB, USER, PASSWD);
            //执行一个查询
            stmt=conn.createStatement();
            String sql="insert into student values('scofield',45,89,100)";
            stmt.executeUpdate(sql);
            System.out.println("Inserting records into the table successfully!");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }catch (SQLException e) {

            e.printStackTrace();
        }finally
        {
            if(stmt!=null)
                try {
                    stmt.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            if(conn!=null)
                try {
                    conn.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

运行结果
在这里插入图片描述

（2）获取 scofield 的 English 成绩信息

package Main;

import java.sql.*;
import com.mysql.jdbc.Driver;
public class main {
    static final String  DRIVER="com.mysql.jdbc.Driver";
    static final String DB="jdbc:mysql://localhost/student?useSSL=false";
    //Database auth
    static final String USER="root";
    static final String PASSWD="root";

    public static void main(String[] args) {
        Connection conn=null;
        Statement stmt=null;
        ResultSet rs=null;
        try {

            Class.forName(DRIVER);
            System.out.println("Connecting to a selected database...");

            conn=DriverManager.getConnection(DB, USER, PASSWD);

            stmt=conn.createStatement();
            String sql="select name,English from student where name='scofield' ";

            rs=stmt.executeQuery(sql);
            System.out.println("name"+"\t\t"+"English");
            while(rs.next())
            {
                System.out.print(rs.getString(1)+"\t\t");
                System.out.println(rs.getInt(2));
            }
        } catch (ClassNotFoundException e) {

            e.printStackTrace();
        }catch (SQLException e) {

            e.printStackTrace();
        }finally
        {
            if(rs!=null)
                try {
                    rs.close();
                } catch (SQLException e1) {

                    e1.printStackTrace();
                }
            if(stmt!=null)
                try {
                    stmt.close();
                } catch (SQLException e) {

                    e.printStackTrace();
                }
            if(conn!=null)
                try {
                    conn.close();
                } catch (SQLException e) {

                    e.printStackTrace();

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61

运行结果:
在这里插入图片描述

HBase 数据库操作

Student 表如表 A-5 所示。

name	English	Math	Computer
zhangsan	60	86	77
lisi	55	100	88

根据上面给出的学生表 Student 的信息，执行如下操作：

(1)用 Hbase Shell 命令创建学生表 Student
在这里插入图片描述 (2)用 scan 指令浏览 Student 表的相关信息

(3)查询 zhangsan 的 Computer 成绩

在这里插入图片描述
(4)修改 lisi 的 Math 成绩，改为 95

根据上面已经设计出的 Student 表，用 HBase API 编程实现以下操作：

(1)添加数据

scofield	45	89	100

package Main;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;

public class main {

    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    public static void main(String[] args) {
        // TODO Auto-generated method stub
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://127.0.0.1:8020/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
        try {
            insertRow("student","scofield","score","English","45");
            insertRow("student","scofield","score","Math","89");
            insertRow("student","scofield","score","Computer","100");
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        close();
    }
    public static void insertRow(String tableName,String rowKey,String colFamily,
                                 String col,String val) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tableName));
        Put put = new Put(rowKey.getBytes());
        put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
        table.put(put);
        table.close();
    }
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59

运行结果
在这里插入图片描述

(2)获取 scofield 的 English 成绩信息

package Main;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Table;

public class main {

    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;

    public static void main(String[] args) {
        // TODO Auto-generated method stub
        configuration = HBaseConfiguration.create();

        configuration.set("hbase.rootdir", "hdfs://127.0.0.1:8020/hbase");

        try {
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        } catch (IOException e) {
            e.printStackTrace();
        }
        try {
            getData("student", "scofield", "score", "English");
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        close();
    }

    public static void getData(String tableName, String rowKey, String colFamily,
                               String col) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tableName));
        Get get = new Get(rowKey.getBytes());
        get.addColumn(colFamily.getBytes(), col.getBytes());
        Result result = table.get(get);
        showCell(result);
        table.close();
    }

    public static void showCell(Result result) {
        Cell[] cells = result.rawCells();
        for (Cell cell : cells) {
            System.out.println("RowName:" + new String(CellUtil.cloneRow(cell)) + " ");
            System.out.println("Timetamp:" + cell.getTimestamp() + " ");
            System.out.println("column Family:" + new String(CellUtil.cloneFamily(cell)) + " ");
            System.out.println("row Name:" + new String(CellUtil.cloneQualifier(cell)) + " ");
            System.out.println("value:" + new String(CellUtil.cloneValue(cell)) + " ");
        }
    }

    public static void close() {
        try {
            if (admin != null) {
                admin.close();
            }
            if (null != connection) {
                connection.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79

运行结果

在这里插入图片描述

Redis 数据库操作

Student 键值对如下：

zhangsan:｛
English: 69
Math: 86
Computer: 77
｝

lisi:｛
English: 55
Math: 100
Computer: 88
}

根据上面给出的键值对，完成如下操作：

(1)用 Redis 的哈希结构设计出学生表 Student（键值可以用 student.zhangsan 和student.lisi 来表示两个键值属于同一个表）；
在这里插入图片描述
(2)用 hgetall 命令分别输出 zhangsan 和 lisi 的成绩信息；

在这里插入图片描述
(3)用 hget 命令查询 zhangsan 的 Computer 成绩；

(4)修改 lisi 的 Math 成绩，改为 95

根据上面已经设计出的学生表 Student，用 Redis 的 JAVA 客户端编程(jedis)，实现如下操作：

(1)添加数据：English:69 Math:86 Computer:77
scofield:｛
English: 69
Math: 86
Computer: 77
｝

package Main;

import java.util.Map;
import redis.clients.jedis.Jedis;

public class main {

    /**
     * @param args
     */
    public static void main(String[] args) {
        Jedis jedis = new Jedis("127.0.0.1:6379");
        jedis.hset("student.scofield", "English","45");
        jedis.hset("student.scofield", "Math","89");
        jedis.hset("student.scofield", "Computer","100");
        Map<String,String>  value = jedis.hgetAll("student.scofield");
        for(Map.Entry<String, String> entry:value.entrySet())
        {
            System.out.println(entry.getKey()+":"+entry.getValue());
        }
    }
}

（2）获取 scofield 的 English 成绩信息
package Main;

import java.util.Map;
import redis.clients.jedis.Jedis;

public class main {

    /**
     * @param args
     */
    public static void main(String[] args) {
        Jedis jedis = new Jedis("localhost");
        jedis.hset("student.scofield", "English","45");
        jedis.hset("student.scofield", "Math","89");
        jedis.hset("student.scofield", "Computer","100");
        Map<String,String>  value = jedis.hgetAll("student.scofield");
        for(Map.Entry<String, String> entry:value.entrySet())
        {
            System.out.println(entry.getKey()+":"+entry.getValue());
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

（四）MongoDB 数据库操作

Student 文档如下:
{
“name”: “zhangsan”, “score”: {“English”: 69, “Math”: 86, “Computer”: 77}
}

{
“name”: “lisi”, “score”: {“English”: 55, “Math”: 100,“Computer”: 88}
}

根据上面给出的文档，完成如下操作：

(1)用 MongoDB Shell 设计出 student 集合；
在这里插入图片描述

(2)用 find()方法输出两个学生的信息；

在这里插入图片描述

(3)用 find 函数查询 zhangsan 的所有成绩(只显示 score 列)
在这里插入图片描述
(4)修改 lisi 的 Math 成绩，改为 95。

根据上面已经设计出的 Student 集合，用 MongoDB 的 Java 客户端编程，实现如下操作：

(1)添加数据：English:45 Math:89 Computer:100

与上述数据对应的文档形式如下：
“name”: “scofield”,
“score”: {“English”: 45,“Math”: 89, “Computer”: 100}

package Main;

import java.util.ArrayList;
import java.util.List;

import org.bson.Document;
import com.mongodb.MongoClient;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoDatabase;

public class main {

    public static void main(String[] args) {

        MongoClient mongoClient = new MongoClient("localhost", 27017);

        MongoDatabase mongoDatabase = mongoClient.getDatabase("student");

        MongoCollection<Document> collection = mongoDatabase.getCollection("student");

        Document document = new Document("name", "scofield").
                append("score", new Document("English", 45).
                        append("Math", 89).
                        append("Computer", 100));
        List<Document> documents = new ArrayList<Document>();
        documents.add(document);
        collection.insertMany(documents);
        System.out.println("文档插入成功");
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

在这里插入图片描述

(2)获取 scofield 的所有成绩成绩信息(只显示core)

package Main;

import com.mongodb.MongoClient;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoCursor;
import com.mongodb.client.MongoDatabase;
import org.bson.Document;

public class main {

    public static void main(String[] args) {

        MongoClient  mongoClient=new MongoClient("localhost",27017);

        MongoDatabase mongoDatabase = mongoClient.getDatabase("student");

        MongoCollection<Document> collection = mongoDatabase.getCollection("student");

        MongoCursor<Document>  cursor=collection.find( new Document("name","scofield")).
                projection(new Document("score",1).append("_id", 0)).iterator();
        while(cursor.hasNext())
            System.out.println(cursor.next().toJson());
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/633416

大数据实验 实验四：NoSQL 和关系数据库的操作比较_hadoop实验--nosql与关系型数据库的比较

NoSQL 和关系数据库的操作比较

实验目的

实验平台

实验步骤

(一)MySQL 数据库操作

根据上面给出的 Student 表，在 MySQL 数据库中完成如下操作：

根据上面已经设计出的 Student 表，使用 MySQL 的 JAVA 客户端编程实现以下操作：

HBase 数据库操作

根据上面给出的学生表 Student 的信息，执行如下操作：

根据上面已经设计出的 Student 表，用 HBase API 编程实现以下操作：

Redis 数据库操作

根据上面给出的键值对，完成如下操作：

根据上面已经设计出的学生表 Student，用 Redis 的 JAVA 客户端编程(jedis)，实现如下操作：

（四）MongoDB 数据库操作

根据上面给出的文档，完成如下操作：

根据上面已经设计出的 Student 集合，用 MongoDB 的 Java 客户端编程，实现如下操作：

大数据实验实验四：NoSQL 和关系数据库的操作比较_hadoop实验--nosql与关系型数据库的比较