搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
Monodyee
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
实现 Castor 数据绑定--转
2
Linux常用的分区方案及目录结构_linux svr目录
3
【git】解决提交文件过大 Please remove the file from history and try again
4
2022年深度学习在时间序列预测和分类中的研究进展综述_bert能进行时序预测嘛
5
Android基础--调用系统相机,打开相册,展示到界面,出现的一些问题Uri为空,data为null,图片错乱问题_android.intent.action.pick 返回data null
6
LRU页面置换算法_lru进行页面置换的方法
7
特征工程之特征选择_l1正则化与特征选择
8
QT Widget: 自定义Widget组件及创建和使用动静态库
9
【C++入门到精通】C++类型的转换 | static_cast | reinterpret_cast | const_cast | dynamic_cast [ C++入门 ]
10
启动http-server后,进入localhost地址出现TypeError: Readable.from is not a function
当前位置:
article
> 正文
使用sqoop将数据从oracle导入到Hive_sqoop将oracle一个库中的一个schema的所有表导到hive的某一个库中的命令
作者:Monodyee | 2024-03-01 21:11:44
赞
踩
sqoop将oracle一个库中的一个schema的所有表导到hive的某一个库中的命令
1、基本环境篇
操作系统:Ubuntu 16.04 LTS
Hadoop:2.9
2、安装及配置mysql
(1)安装mysql
$ sudo apt-get update
$ sudo apt-get install mysql-server
(2)启动mysql
$ service mysql start
(3)设置mysql开启自启动
$ sudo update-rc.d mysql enable
(4)为Hive的metastore创建元数据库
进入mysql shell:
$ mysql -u root -p
创建hive的metastore数据库:
mysql> create database hive;
为hive的metastore创建用户:
mysql> create user 'hive'@'localhost' identified by 'Hive12@!';
mysql> revoke all privileges,grant option from 'hive'@'localhost';
mysql> grant all privileges on hive.* to 'hive'@'localhost';
mysql> flush privileges;
3、安装及配置Hive
(1)安装Hive
下载后将Hive安装到/usr/local:
$ sudo tar -zxf ~/下载/apache-hive-1.2.2-bin.tar.gz -C /usr/local
$ cd usr/local
$ sudo mv apache-hive-1.2.2-bin.tar.gz hive
$ sudo chown -R hadoop:hadoop hive //hadoop:hadoop 为当前登录用户组及用户
(2)配置Hive环境变量:
$ sudo vim ~/.bashrc
在文件最前方添加如下内容:
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
//若已添加,此处不须重复添加
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
(3)修改/usr/local/hive/conf下配置文件
$ cd /usr/local/hive/conf
$ sudo mv hive-default.xml.template hive-default.xml
$ sudo vim hive-site.xml
添加如下内容:
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>Hive12@!</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>datanucleus.autoCreateSchema</name>
<value>false</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoStartMechanism</name>
<value>SchemaTable</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://n.n.n.n:9083</value>
<description> IP adress or fully-qualified domain name of the metastore host</description>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>true</value>
</property>
</configuration>
(4)为hive添加mysql-jdbc连接驱动
下载mysql jdbc包,并将其解压后复制到 /usr/local/hive/lib下:
$ tar -zxf ~/下载/mysql-connector-java-5.1.46.tar.gz
$ cd ~/下载/mysql-connector-java-5.1.46
$ cp mysql-connector-java-5.1.46-bin.jar /usr/local/hive/lib
(5)使用schematool进行metastore初始化
$ schematool -dbType mysql -initSchema
(6)启动metastore server
$ cd /usr/local/hive/bin
$ hive --service metastore
(7)启动hive
$ hive
(8)创建hive数据库
hive> create database oracledb;
4、安装及配置sqoop
(1)下载并安装sqoop:
$ sudo tar -zxf ~/下载/sqoop-1.4.7.tar.gz -C /usr/local
$ cd /usr/local
$ sudo mv sqoop-1.4.7 sqoop
(3)配置环境变量:
$ sudo vim ~/.bashrc
在文件中添加:
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
使环境变量生效:
$ source ~/.bashrc
(4)配置sqoop:
$ cd /usr/local/sqoop/conf
$ sudo mv sqoop-env-template.sh sqoop-env.sh
$ sudo vim sqoop-env.sh
便捷文件将设置以下行的注释去掉,并添加路径:
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HBASE_HOME=/usr/local/hbase
export HIVE_HOME=/usr/local/hive
export ZOOCFGDIR=/usr/local/zookeeper
5、下载并配置Oracle的java连接驱动
(1)下载并将oracle的java驱动包复制到sqoop安装路径下的lib目录下。
6、将Oracle数据导入到Hive
$ cd /usr/local/sqoop/bin
$ sqoop import --hive-import --connect jdbc:oracle:thin:@172.18.9.25:1521:iesdb --username=ies_ms --password=iesapp --table KAIGUAN --hive-database oracledb -m 1
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/Monodyee/article/detail/176926
推荐阅读
article
【
Oracle
】
玩转
Oracle
数据库
(四)
:
SQL
语言
...
本文深入探讨了
Oracle
数据库
中的
SQL
语言
,涵盖了
SQL
查询、数据操作等基本技能。首先,读者将学习
SQL
语言
的基本结...
赞
踩
article
oracle
临时
表
(事务
级
、会话
级
)_
oracle
修改
临时
表
session
级
别...
总结:1、
session
级
的
临时
表
,只有在truncate table、
session
结束才能释放对
表
的锁定,等所有se...
赞
踩
article
000001
oracle
报错
,
MHA
中的
报错
问题
!...
MHA
中的
报错
问题
MHA
重新授权
报错
SSH密钥失败
问题
MHA
重新授权
报错
问题
:ERROR 3021 (HY000): T...
赞
踩
article
Spring
Boot
中使用
Hikari
连接
各类数据源_
hikaridatasource
hiv...
Spring
Boot
中使用
Hikari
连接
各类数据源1,
连接
hive
集群
Hikari
Config中各属性设置{ "...
赞
踩
article
oracle
设置
权限
禁止
删除
用户
_
oracle
对于自身
用户
的
删除
权限
怎么限制...
在Oracle中,可以通过修改系统角色来控制
用户
的
操作
权限
。要禁止
删除
用户
,需要将。new
_
role是自定义
的
角色名称,...
赞
踩
article
Hive
--删除
数据库
...
删除一个空
数据库
,如果
数据库
下面有数据表,那么就会报错。强制删除
数据库
,包含
数据库
下面的表一起删除。
Hive
--删除数据...
赞
踩
article
Oracle
时间格式
转换
_
oracle
字符串
转换
成日期格式...
【代码】
Oracle
时间格式
转换
。_
oracle
字符串
转换
成日期格式
oracle
字符串
转换
成日期格式 ...
赞
踩
article
oracle
心跳
线检测,
Oracle
-
RAC
集群
心跳
...
心跳
线物理布线注意事项不建议直连网线,建议采用交换机连接方式
心跳
线与业务网络分开单独接线若公用一个交换机时,使用VLAN...
赞
踩
article
Oracle
知识篇+几种常见
的
关系
型
数据库
产品
发展史
_
关系
型
数据库
发明...
说明:本文为几种常见
的
关系
型
数据库
产品
发展史
的
简要描述,供RDBMS兴趣爱好者参考 温馨提示:如果本文有写
的
不对
的
地方或...
赞
踩
article
Java
架构师之路七、大
数据
:
Hadoop
、
Spark
、
Hive
、
HBase
、
Kafka
等...
Hive
提供了一种类SQL语言,称为
Hive
QL,以便将结构化
数据
映射到
Hadoop
分布式文件系统中的表中,并提供了
数据
...
赞
踩
article
【大数据
Hive
】
hive
优化
策略
之
job
任务
优化
...
hive
job
优化
策略
【大数据
Hive
】
hive
优化
策略
之
job
任务
优化
目录 一、前言 二...
赞
踩
article
[
INS
-32025] 所选
安装
与
指定
Oracle
主目录
中已
安装
的软件冲突
_
所选
安装
与
指定
ora...
两种情况,第一是以前
安装
过的,可能原因是网上说的那种
Oracle
文件夹没有删除干净。第二种情况,你是第一次
安装
,或者C盘...
赞
踩
article
oracle
多表连接时消除重复
_
oracle
select
主表
distance
去重leftjo...
with A as (
select
aa.eqid,aa.usedate, aa.field,aa.track,m.na...
赞
踩
article
oracle
exception
查询,
MyBatis
查询
Oracle
数据表抛
MyBatis
Syste...
环境介绍
MyBatis
版本3.*数据库版本
Oracle
11gJDBC驱动ojdbc6-11g.jar在使用MyBati...
赞
踩
article
【
Hive
】
hive
微博
案例_
hive
微博
用户
总量
统计
语句...
文章目录数据准备及描述数据描述数据样例字段描述数据存储准备开始功能需求1. 数据处理:针对数据问题,请给出对应的解决方案...
赞
踩
article
cdh
sqoop
配置
_
Sqoop
-
1.4
.6安装部署及详细使用介绍...
之所以选择
Sqoop
1是因为
Sqoop
2目前问题太多。无法正常使用,综合比较后选择
Sqoop
1。
Sqoop
1安装
配置
比较...
赞
踩
article
Hive
Load
命令...
本文主要是翻译
Hive
官网关于
Load
的解释,原文来源于:https://cwiki.apache.org/conflu...
赞
踩
article
Hive
和 O
racle
数据
之间
的
迁转(不用
第三方
工具),工作中
数据
从
hive
到
数据
库
的
总结。_...
Hive
和 O
racle
数据
之间
的
迁转(不用
第三方
工具)场景:
hive
的
数据
加工完成,需要导入o
racle
。1 ...
赞
踩
article
Oracle
表导入
Hive
表_
orcal
到
hive
...
一、需求需要的数据在两个不同
Oracle
数据库中, 且其中一个数据库中的内容有一份一模一样的存在
hive
表中。二...
赞
踩
article
oracle
存储
过程
的SQL语句转化成
HIVE
的SQL_
oracle
sql
转换成
hive
sq...
这里
转换成
hive
的
sql
语句:hql,其根本问题是为了解决
hive
不支持事物处理、数据删除操作,这两点是
hive
的sq...
赞
踩
相关标签
数据库
oracle
SQL语言
查询
数据操作
高级功能
000001 oracle 报错
hikari
hive
mysql
postgresql
presto
hadoop
oracle心跳线检测
数据库发展史
RDBMS发展史
大数据
java
hive job优化策略
hive 任务优化策略
hive job优化