搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
2023面试高手
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
Linux调度策略及线程优先级设置_init_kgsl_core_init sched_priority
2
国产AI大模型Kimi爆火!概念梳理
3
【我的Android进阶之旅】解决Android项目编译报错: Program type already present : com.xxx.xxxx.BuildConfig_android program type already present: *** buildcon
4
2台威联通如何异地组网?
5
头歌:Spark案例剖析 - 谷歌网页排名引擎PageRank实战
6
【Navicat】Navicat Premium12 下载、安装、激活、过期解决方法——永久使用_navicat 12下载安装
7
在变量前面加个叹号什么意思_聊一聊Stata中时间变量的处理
8
pyspark使用方法_pyspark使用教程
9
Python 自动化(十八)admin后台管理_python admin
10
【Vue】yarn 安装包时权限不足或者文件夹被占用导致安装失败_yarn安装失败
当前位置:
article
> 正文
hadoop常用命令汇总_hadoop基本命令
作者:2023面试高手 | 2024-05-17 02:34:00
赞
踩
hadoop基本命令
1、查看目录下的文件列表:hadoop fs –ls [文件目录]
hadoop fs -ls -h /lance
2、将本机文件夹存储至hadoop上:hadoop fs –put [本机目录] [hadoop目录]
hadoop fs -put lance /
3、在hadoop指定目录内创建新目录:hadoop fs –mkdir [目录]
hadoop fs -mkdir /lance
4、在hadoop指定目录下新建一个文件,使用touchz命令:
hadoop fs -touchz /lance/tmp.txt
5、将本机文件存储至hadoop上:hadoop fs –put [本机地址] [hadoop目录]
hadoop fs -put tmp.txt /lance #直接目录
hadoop fs -put tmp.txt hdfs://www.lance.com/lance #远程服务器地址
6、打开已存在文件:hadoop fs –cat [文件名称]
hadoop fs -cat /lance/tmp.txt
7、重命名hadoop fs –mv [旧文件名] [新文件名]
hadoop fs -mv /tmp /tmp_bak #修改文件夹名
8、将hadoop上文件down至本机已有目录下:hadoop fs -get [文件目录] [本机目录]
hadoop fs -get /lance/tmp.txt /lance
9、删除hadoop上文件:hadoop fs -rm [文件地址]
hadoop fs -rm /lance/tmp.txt
10、删除hadoop上指定文件夹(包含子目录等):hadoop fs –rm -r [目录地址]
hadoop fs -rmr /lance
11、将hadoop指定目录下所有内容保存为一个文件,同时下载至本机
hadoop dfs –getmerge /user /home/t
12、将正在运行的hadoop作业kill掉
hadoop job –kill [jobId]
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/2023面试高手/article/detail/581553
推荐阅读
article
《
大
数据
存储与处理技术(
Hadoop
)》
实验
二 熟悉常用的
HDFS
操作
实验
报告
_
大
数据
实验
2
...
大
数据
存储与处理技术(
Hadoop
)
实验
二,熟悉
HDFS
操作。包括查看帮助信息、查看文件信息、创建目录、上传文件、追加内...
赞
踩
article
计算机
毕业设计
PySpark+
Hadoop
地震
预测系统
地震
数据
分析
可视化
地震
爬虫 大
数据
毕业设计
...
计算机
毕业设计
PySpark+
Hadoop
地震
预测系统
地震
数据
分析
可视化
地震
爬虫 大
数据
毕业设计
Flink Had...
赞
踩
article
大
数据
毕业设计
Py
Spark
+
Hadoop
+Hive+
地震
预测
系统
地震
数据
分析
可视化
地震
爬虫 大...
大
数据
毕业设计
Py
Spark
+
Hadoop
+Hive+
地震
预测
系统
地震
数据
分析
可视化
地震
爬虫 大
数据
毕业设计
Fli...
赞
踩
article
大
数据
毕业设计
PySpark
+
Hadoop
地震
预测系统
地震
数据
分析
可视化
地震
爬虫 Flink H...
大
数据
毕业设计
PySpark
+
Hadoop
地震
预测系统
地震
数据
分析
可视化
地震
爬虫 Flink
Hadoop
深度学习...
赞
踩
article
计算机
毕业设计
PySpark+
Hadoop
+
Hive
机票
航班
数据
分析
可视化
大屏
机票
预测
航班
预测
系...
计算机
毕业设计
PySpark+
Hadoop
+
Hive
机票
航班
数据
分析
可视化
大屏
机票
预测
航班
预测
系统
机票
爬虫 飞
机票
...
赞
踩
article
hive
建表
的标准格式及其
建表
属性详解2_row
format
serde
'org.
apache
....
建表
方式一:demo级
建表
hive
(fdm_sor)> create table my_tmp (id int,ids...
赞
踩
article
【
Hadoop
】
MapReduce
详解_
hadoop
是
如何
运行
mapreduce
程序
的?...
MapReduce
思想在生活中处处可见。
MapReduce
的思想核心
是
“分而治之”,适用于大规模数据处理场景。Map负...
赞
踩
article
hadoop
里
执行
MapReduce
任务
的
几种
常见方式_
hadoop
中
执行
mapreduce
任...
说明: 测试文件: 1echo -e "aa\tbb \tcc\nbb\tcc\tdd" > 3.txt1
hadoop
...
赞
踩
article
Hadoop
MapReduce
介绍、官方示例及
执行
流程
...
分布式计算是一种计算方法,和集中式计算是相对的。随着计算技术的发展,有些应用需要非常巨大的计算能力才能完成,如果采用集中...
赞
踩
article
【
Hadoop
-
MapReduce
】
MapReduce
编程
步骤
及
工作
原理_
mapreduce
任务流程...
思想分而治之map:负责分的过程reduce:负责合的过程。【
Hadoop
-
MapReduce
】
MapReduce
编程步...
赞
踩
article
Hadoop
MapReduce
的运行流程...
MapReduce
是一种分布式编程模型,主要用于处理和生成大规模数据集。
Hadoop
MapReduce
的运行流程 ...
赞
踩
article
hadoop
MapReduce
详解_每
一个
map
reduce
任务都被初始化为
一个
job
。每
一个
...
首先强调一下,本文是以
hadoop
1.x版本为基础整理完成的。在
hadoop
中,每个
MapReduce
任务都被初始化成...
赞
踩
article
hadoop
3.2.
1
+
hive
3.
1
.2-
docker
安装
_
docker
安装
hive
hadoop
...
docker
安装
配置
hadoop
+
hive
,配置密码。_
docker
安装
hive
hadoop
docker
安装
hive
...
赞
踩
article
基于
Hadoop
HA 的
Hive
搭建_
ha
doop
ha
hive
...
前言环境介绍虚拟机软件:VirtualBoxLinux 发行版本:Ubuntu 20.04.4虚拟机核心数:1 core...
赞
踩
article
基于
Hadoop
安装
Hive
_安装
hive
+
hadoop
...
文章目录一、安装准备工作二、安装一、安装准备工作1、安装HIve前得安装好
Hadoop
集群,不会安装的去我前面文章找2、...
赞
踩
article
Hadoop
-
Hive
集群安装...
1)使用VMware加载资料中虚拟机node12)克隆第二台虚拟机,注意克隆虚拟机的时候,虚拟机必须是关闭状态右键点击n...
赞
踩
article
Win10
下
安装
大数据开发环境
spark
+
hadoop
+
hive
(实测可用)_window hiv...
Win10
下
安装
大数据开发环境
spark
+
hadoop
+
hive
(实测可用)基础环境
安装
基础环境
安装
首先,我们需要搭建...
赞
踩
article
Hadoop
&
Hive
&
Spark
的本地安装全流程与踩坑实录_
hadoop
tsinghua
...
一、
Hadoop
1、下载下载地址:https://mirrors.tuna.
tsinghua
.edu.cn(清华大学开源...
赞
踩
article
分布式
搭建(
hadoop
+
hive
+
spark
)_
hadoop
+
spark
+
hive
分布式
...
hadoop
-
hive
-
spark
分布式
搭建_
hadoop
+
spark
+
hive
分布式
hadoop
+ spa...
赞
踩
article
SQL
SERVER
常用命令
...
1、查询sql server 表 的 字段类型 :sp_help 表名 ;2、两个时间相减:select datedif...
赞
踩
相关标签
大数据
hadoop
hdfs
人工智能
爬虫
知识图谱
机器学习
数据可视化
hive
数据分析
深度学习
spark
课程设计
python