当前位置:   article > 正文

Spark--模拟生成电商销售数据_怎么模拟电商平台商品销售量

怎么模拟电商平台商品销售量

前言:根据本章任务要求,要实现这个任务,我们需要从Spark环境配置开始,而后准备所需要的代码并将它打包至虚拟机上测试运行,为它设置定时任务,好的咱们话不多说,直接开干----------------

一、环境准备

1.在这里插入图片描述
在这里插入图片描述
2.将Spark的包下载下来,并将它解压到虚拟机上,放在/usr/local/路径下
解压命令:


tar  -xzvf  Spark-2.4.8-bin-hadoop2.7.tgz  -C /usr/local
  • 1
  • 2

3.修改Spark配置文件
(1) 从当前路径切换到Spark配置文件路径:
cd /usr/local/spark-2.4.8-bin-hadoop2.7/conf
(2) 拷贝 spark-env.sh.template:
cp spark-env.sh.template spark-env.sh得到一个 spark-env.sh文件;
(3) 修改spark-env.sh,在该文件第二行空白地方添加:
source /etc/profile;
(4) 拷贝slaves.template:
cp slaves.template slaves得到一个slaves文件;
(5) 将slaves内容改为虚拟机的主机名。
4.启动Spark
切换路径: cd /usr/local/spark-2.4.8-bin-hadoop2.7/sbin
启动命令: ./start-all.sh
5.
验证Spark是否部署成功,至此完成了平台搭建(Hadoop+Spark)
切换路径:cd /usr/local/spark-2.4.8-bin-hadoop2.7/bin
验证:./run-example SparkPi

二、 编写代码

1.新建一个类

public class Shop {
   
//    电商商品数据
//    产品名
    private String Username;

//    浏览量(PV)
    private String pv;

//    访客数(UV)
    private String uv;

//    登录时间
    private String time;

//    交易金额
    private Integer cash;

    public Shop(String username, String pv, String uv, String time, Integer cash) {
   
        Username = username;
        this.pv = pv;
        this.uv = uv;
        this.time = time;
        this.cash = cash;
    }

    public String getUsername() {
   
        return Username;
    }

    public void setUsername(String username) {
   
        Username = username;
    }

    public String getPv() {
   
        return pv;
    }

    public void setPv(String pv) {
   
        this.pv = pv;
    }

    public String getUv() {
   
        return uv;
    }

    public void setUv(String uv) {
   
        this.uv = uv;
    }

    public String getTime() {
   
        return time;
    }

    public void setTime(String time) {
   
        this.time = time;
    }

    public Integer getCash() {
   
        return cash;
    }

    public void setCash(Integer cash) {
   
        this.cash = cash;
    }
}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78

2.创建一个方法

import java.io.Serializable;
import java.util.List;

public class ShopCanData implements Serializable {
   
    //    产品名
    private String Username;

    //    浏览量(PV)
    private String pv;

    //    访客数(UV)
    private String uv;

    //    登录时间
    private String time;

    //    交易金额
    private Integer cash;


    //退货码
    private List<Integer> returnList;


    public String getUsername() {
   
        return Username;
    }

    public void setUsername(String username) {
   
        Username = username;
    }

    public String getPv() {
   
        return pv;
    }

    public void setPv(String pv) {
   
        this.pv = pv;
    }

    public String getUv() {
   
        return uv;
    }

    public void setUv(String uv) {
   
        this.uv = uv;
    }

    public String getTime() {
   
        return time;
    }

    public void setTime(String time) {
   
        this.time = time;
    }

    public Integer getCash() {
   
        return cash;
    }

    public void setCash(Integer cash) {
   
        this.cash = cash;
    
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/813486
推荐阅读
相关标签
  

闽ICP备14008679号