400-650-7353

精品课程

您所在的位置:首页 > IT干货资料 > 大数据 > 【大数据基础知识】Sqoop概述及安装配置

【大数据基础知识】Sqoop概述及安装配置

Sqoop是一款开源的数据传输层工具,Sqoop的全称是sql to Hadoop。通过这个名称我们可以看出,Sqoop可以完成把关系型数据库如MySQL,Oracle等数据库中的信息导入到Hadoop文件存储体系中,或者把Hadoop文件导入到关系型数据库中。起到了一个非常好的桥梁作用。

Sqoop最早产生于2012 年 3 月,现在已经是Apache的一个顶级项目。Sqoop能够提供多种数据传输方式并且支持多种数据库,这也是Sqoop被广泛应用的原因。

下面,我们来看Sqoop的安装部署。

首先,我们在Sqoop安装之前,要确保已经安装好了Java和Hadoop。这个我们在前面的文章中已有介绍,不太熟悉的朋友可以先参考安装下哦。

已经安装过其他大数据组件的朋友应该能够看到,大数据生态圈组件的安装不外乎是这样的几步:

1. 下载安装包

2. 解压缩

3. 修改配置文件

对于Sqoop来说,也不例外。

1. 首先我们下载Sqoop的安装包,最新的稳定版本是1.4.7。我们可以从官网(http://klcpwkhdxz.989jbs.com)下载,也可以从最近的一个镜像网站下载。我选用的下载地址是:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 。下载 sqoop-1.4.7.tar.gz压缩包。下载完成后上传到虚拟机。我上传目录是/opt/software。或者直接在虚拟机的客户端通过wget命令下载:

wget

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.tar.gz

2.使用tar命令解压缩

tar –zxvf sqoop-1.4.7.tar.gz –C /opt/

3.修改配置文件

Sqoop的配置文件在Sqoop根目录下的conf目录下。配置文件的原有名称是sqooop-env-template.sh,我们拷贝一份,并将名称改为sqoop-env.sh。命令如下:

cp sqoop-env-template.sh sqoop-env.sh

在sqoop-env.sh中,修改如下内容:

4. 拷贝JDBC驱动

把JDBC驱动拷贝到Sqoop根目录下的lib目录下,命令如下:

cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop-1.4.7/lib

5.因为到Sqoop-1.4.5及以后版本安装包的lib下就已经没有了sqoop-1.4.5.jar,Sqoop-1.4.7也没有sqoop-1.4.7.jar。对于此jar包我们必须单独下载,将其放到Sqoop根目录的lib目录下。

6. 测试Sqoop是否安装成功,使用Sqoop根目录的bin目录下的sqoop命令来测试。如:

如果能出现上面的信息,就说明Sqoop安装配置成功了。

课程好礼申请领取
您的姓名
您的电话
意向课程
 

中公优就业

官方QQ

扫描上方二维码或点击一键加群,免费领取价值599元网课,加群暗号:599。 一键加群

>>本文地址:
注:本站稿件未经许可不得转载,转载请保留出处及源文件地址。

推荐阅读

优就业:ujiuye

关注中公优就业官方微信

  • 关注微信回复关键词“大礼包”,领80G学习资料
QQ交流群
领取免费网课
(加群备注“网站”)
IT培训交流群 加入群聊 +
软件测试 加入群聊 +
全链路UI/UE设计 加入群聊 +
Python+人工智能 加入群聊 +
互联网营销 加入群聊 +
Java开发 加入群聊 +
PHP开发 加入群聊 +
VR/AR游戏开发 加入群聊 +
大前端 加入群聊 +
大数据 加入群聊 +
Linux云计算 加入群聊 +
优就业官方微信
扫码回复关键词“大礼包”
领取80G学习资料

测一测
你适合学哪门IT技术?

1 您的年龄

2 您的学历

3 您更想做哪个方向的工作?

获取测试结果
 
课程资料、活动优惠 领取通道
 
 
网站地图 彩29彩票网平台登录 500w彩票网游戏 58彩票网官方网
百乐门电子游戏 申博亚洲66788 亚洲申博373839 澳门网上赌场网址登入
9188彩票是黑平台吗登入 优博平台开户 久赢国际登录 qq德州扑克下载
澳门太阳城集团官网 500w彩票网平台登录 cc彩票官网 彩29彩票网址
999.金巴黎彩票.com 快乐彩票平台 五星彩票网址 58彩票安卓版
581tt.com 600xsb.com 97jbs.com 444BBIN.COM 135PT.COM
132cw.com 517psb.com 86XTD.COM 44TGP.COM 1112989.COM
785DC.COM 133PT.COM 33sbsun.com 300xsb.com 957SUN.COM
1117118.COM 186ib.com dx138.com 15jbs.com 729XTD.COM