热门标签
热门文章
- 1【雷达检测】多目标情况下不同毫米波雷达恒虚警率（CA、CMLD、GO、IC、OS、ODGO、OSSO、SO、TM）-CFAR算法性能检测算法的仿真研究matlab实现_cfar仿真
- 2word2vec训练词向量的过程
- 3vscode连接远程服务器【亲测可用】_vscode 远程资源管理器
- 4Github-谷歌插件gitzip（加速器-不用再忍受几十kb/s的煎熬了）
- 5秘趣响应式高端在线影视视频网站源码 苹果cmsV10内核带采集+试看+VIP+分销_苹果内核电影网站带数据
- 6推荐项目：Tiktokenizer - 精确的OpenAI提示令牌计算器
- 7解决 git：OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 0_ssl error syscall,errno 0
- 8java--spring---事务配置和Mybatis整合_java中正确配置事务管理器的方法
- 9ESP8266通过TCP透传连接OneNet云平台实现数据互传——保姆级教程_esp8266透传
- 10java实现app微信绑定功能
当前位置: article > 正文
搜狗日志查询分析 (MapReduce+Hive综合实验）_搜狗搜索日志分析结果hadoop
作者：盐析白兔 | 2024-06-22 03:12:21
赞
踩
搜狗搜索日志分析结果hadoop
下载搜狗实验室查询日志，发现编码是UTF-8。
将SogouQ文件夹下的文件从GBK编码转为UTF-8编码，结果存到SogouQ_UTF8中，其下的文件目录不变：
shell命令：
find SogouQ -type d -exec mkdir -p SogouQ_UTF-8{} \;
find SogouQ -type f -exec iconv -f GBK -t UTF-8 {} -o SogouQ_UTF-8{} \;
自定义类实现将分割数据用逗号相连输出
map方法：正则表达式\s+匹配一个或多个分隔符、空格，不满足五个数据的不输出。
推荐阅读
相关标签
