热门标签
热门文章
- 1PMP 学习笔记 第4章 项目整合管理_项目移交达成共识
- 2OpenCV：解释rows,cols,channels=img2.shape,roi = img1[0:rows, 0:cols ]这行代码_roi=img[row-rows:rows,0:cols]
- 3数据库规范
- 4CSDN课的感受总结_学习dcsd的心得体会
- 5CAP和BASE理论理解-转载_cap和base理论的区别
- 6【大模型-- LoRA微调原理及代码演示】_java 版本 lora微调代码
- 7计算机网络知识点汇总（考研用）——第二章：物理层_hub的每个端口连接的网络部分是同一个网络的
- 8【Git基础】常用git命令（四）_git stash push
- 9Java面试指南：突破面试难关，成为优秀程序员的必备利器！_如何从一亿条数据里查找一条数据
- 10vue2 项目中axios二次封装以及拦截器 （全篇超级详细哦 ） 新手小白也适合哦_vue2封装axios请求
当前位置: article > 正文
电信手机流量数据分析_网络流量分析 mapreduce python
作者：木道寻08 | 2024-08-01 15:40:54
赞
踩
网络流量分析 mapreduce python
实验环境
- Chrome 浏览器 (能使用开发者模式的浏览器都行)
- 任意可编辑Python代码的编辑器
- Python3 开发环境
一 源数据分析
1、数据说明
1、本次案例使用的数据是互联网终端访问各大服务所产生的日志，日志内容如下图所示。
从图中可以看出每行出局的列数都是不相等的，且每一列的数据也不相同，我们要对这些数据进行分析很困难，所以需要将这些元数据进行清洗和过滤，过滤出符合统计要求的数据，过滤后的数据如下图所示。
字段说明如下
| 字段 | 说明 |
|---|---|
| BeginTime | 采集第一个数据包的时间 |
| EndTime | 采集最后一个数据包的时间 |
| MSISDN | 用户的手机号码 |
| SourceIP | 用户的IP地址 |
| SourcePort | 用户的端口号 |
| APMAC | AP mac |
| APIP | AP IP |
| DestinationIP | 用户访问的业务平台的IP地址 |
| DestinationPort | 访问的目标端口号 |
| Service | 详细的业务类型 |
| ServiceType1 | 业务组类型 |
| ServiceType2 | 业务组类型2 |
| UpPackNum | 上行数据包数 |
| DownPackNum | 下行数据包数 |
| UpPayLoad | 上行总流量 |
| DownPayLoad | 下行总流量 |
| HttpStatus | HTTP Response的状态 |
| ClientType | 1：浏览器；2：客户端 |
| ResponseTime | 第一个包回应时间 |
二、实现步骤
第一步： 资源准备
1、准备数据
在/usr/local目录下创建名为"ptyhon"的文件夹，并将源数据（ncmdp.txt）上传到该目录中。
2、上传数据
在HDFS中创建"/acelog/input"目录并将"ncmdp.txt"(元数据文件)上传到HDFS中，命令如下。
[root@ma声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/914756?site
推荐阅读
- b站视频下载 ...
赞
踩
相关标签
