当前位置:首页 > 芯闻号 > 充电吧
[导读]hadoop-2.7.2伪分布模式安装教程   安装环境: Ubuntu14.04- server   1.  创建hadoop用户 若安装Ubuntu时已创建hadoop用户,可跳过此步骤。 (注

hadoop-2.7.2伪分布模式安装教程

 

安装环境:

Ubuntu14.04- server

 

1.  创建hadoop用户

若安装Ubuntu时已创建hadoop用户,可跳过此步骤。

(注:亦可使用其他用户安装hadoop,但建议最好使用hadoop用户。)

sudo useradd hadoop

      设置密码:

sudo passwd hadoop

      为hadoop用户添加管理员权限:

      方法一:

            sudo adduser hadoop sudo

      方法二:

            打开/etc/sudoers文件,在root用户组中添加hadoop

            sudo nano /etc/sudoers


使用hadoop用户登录:

      su hadoop

(注意:以下步骤均需在hadoop用户下完成!)


2.  安装ssh,配置ssh无密码登录

安装ssh前,先更新一下apt:

sudo apt-get update

安装ssh命令:

sudo apt-get install openssh-server

安装后,启动ssh登录本机:

ssh localhost

        作为一个安全通信协议,使用ssh登录时需要输入密码,而在hadoop集群中,需要将ssh改成无密码登录,hadoop节点间才能正常通信。

退出ssh登录:

exit

生成私钥和公钥:

cd ~/.ssh/

ssh-keygen -t rsa

将公钥追加到authorized_keys文件中:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

再次使用ssh localhost登录本机,此时便不在需要输入密码了。

 

3.  安装Java环境

安装JRE和JDK:

sudo apt-get install openjdk-7-jre openjdk-7-jdk

(注意:hadoop2.7.2不再支持jdk1.6及以下版本)


配置Java环境变量:

为了方便对环境变量的统一管理,我们将其添加到/etc/profile文件中。

打开/etc/profile文件:

sudo nano /etc/profile

将以下内容追加到文件中:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

(注:JAVA_HOME为JDK的安装路径)

更新一下配置文件:

source /etc/profile

测试JAVA_HOME环境变量和Java版本:

echo $JAVA_HOME

java –version

若能正确输出JAVA_HOME和Java版本,则Java环境配置成功。

 

4.  安装hadoop-2.7.2

从Apache官网下载hadoop-2.7.2.tar.gz:

http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

解压hadoop-2.7.2.tar.gz:

sudo tar –zxvf ~/hadoop-2.7.2.tar.gz

将其移动到合适位置:

sudo mv hadoop-2.7.2 /usr/local

重命名文件夹:

sudo mv hadoop-2.7.2 hadoop


配置hadoop环境变量:

为方便执行hadoop命令,需在/etc/profile文件中配置hadoop环境变量。

打开/etc/profile文件:

sudo nano /etc/profile

将以下内容追加到/etc/profile文件中:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/lib
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

(注:HADOOP_HOME为HADOOP的安装路径)

更新一下配置文件:

source /etc/profile


修改hadoop-env.sh文件中的JAVA_HOME环境变量:

打开hadoop-env.sh文件:

sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将export JAVA_HOME=$JAVA_HOME改为JDK具体的安装路径。

更新hadoop-env.sh文件,使其生效:

source /usr/local/hadoop/etc/hadoop/hadoop-env.sh


查看hadoop版本:

hadoop version

若能正确显示hadoop版本,则hadoop单机模式安装成功。

 

5.  配置伪分布模式

       需要在/hadoop/etc/hadoop目录下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个配置文件中添加配置,其中后两个是用于配置YARN的。

       为方便伪分布模式的配置,可先对主机名进行修改,将/etc/hostname文件中的内容改为Master(名字可随意,不一定是Master),这样有利于后继的完全分布式配置。

在core-site.xml中添加:


    hadoop.tmp.dir
    file:/usr/local/hadoop/tmp
    Abase for other temporarydirectories.


    fs.defaultFS
    hdfs://Master:9000

在hdfs-site.xml文件中添加:


    dfs.replication
    1


    dfs.namenode.name.dir
    file:/tmp/hadoop/dfs/name


    dfs.datanode.data.dir
    file:/tmp/hadoop/dfs/data


    dfs.namenode.secondary.http-address
    Master:50090


mapred-site.xml文件原先并不存在,需先将mapred-site.xml.template更名为mapred-site.xml:

sudo mv mapred-site.xml.template mapred-site.xml

然后在mapred-site.xml文件中添加:


    mapreduce.framework.name
    yarn


    mapreduce.jobhistory.address
    Master:10020


    mapreduce.jobhistory.webapp.address
    Master:19888


在yarn-site.xml文件中添加:


    yarn.nodemanager.aux-services
    mapreduce_shuffle


    yarn.resourcemanager.hostname
    Master


修改完配置文件后,对namenode进行格式化:

./bin/hdfs namenode –format

至此hadoop-2.7.2的伪分布模式配置完毕。


6.  启动hadoop守护进程

启动dfs:

start-dfs.sh

启动后使用jps命令查看进程,将看到NameNode、DataNode、SecondaryNamenode三个进程。

启动YARN:

start-yarn.sh

启动后将增加ResourceManager、NodeManager两个进程。

也可以使用start-all.sh命令启动全部进程(start-all.sh = start-dfs.sh + start-yarn.sh)

启动JobHistoryServer:

mr-jobhistory-daemon.sh start historyserver

因为mapred-site.xml文件中配置了JobHistoryServer,所以必须启动hadoop才能正常运行。

 

7.  运行hadoop伪分布式实例

在hdfs中创建输入文件夹,并将文件拷贝到文件夹中:

./bin/hdfs dfs -mkdir input

./bin/hdfs dfs -put ./etc/hadoop/*.xml input

运行mapreduce作业:

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

等待mapreduce作业运行结束,查看运行结果:

hdfs dfs -cat output/*

(注意:在作业运行之前,输出路径不能存在!)


本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

首尔2024年5月14日 /美通社/ -- 盈球半导体科技有限公司(SurplusGLOBAL),传统半导体设备领域的领军企业,在"以传统半导体设备和零配件建设绿色...

关键字: 半导体 AC 零部件 半导体设备

上海2024年5月13日 /美通社/ -- 5月8日,浦东新区国资委组织陆家嘴集团等9家区属企业与立邦中国召开合作交流会,旨在贯彻落实浦东新区区委、区政府工作要求,进一步放大进博会溢出带动效应,持续扩大区属企业与进博会重...

关键字: BSP 数字化 自动化立体仓库 智慧园区

上海2024年5月13日 /美通社/ -- 在数字化时代,高效的税务管理和ERP系统成为企业发展的关键。为了满足这一需求商应信息科技与Exact Software 易科软件就金四全电票税系统与ERP系统集成及商务合作建立...

关键字: AC 软件 BSP 数字化

北京2024年5月13日 /美通社/ -- 5月10-11日,"EPAI种子计划"正式启航!首期"基于EPAI的大模型应用实践研讨会"在北京智谷大厦成功举行。浪潮信息携手二十家元脑...

关键字: 开发平台 模型 AI 研讨会

北京2024年5月13日 /美通社/ -- 5月11日,软通动力在鲲鹏昇腾开发者大会2024期间举办"软硬全栈,加速智能化赋能"分论坛。业界专家学者和优秀企业代表齐聚一堂,共同交流分享鲲鹏昇腾生态的创...

关键字: 智能化 全栈 PEN 计算机

北京2024年5月13日 /美通社/ -- 5月11日,鲲鹏昇腾开发者大会2024期间,华为举办"昇思AI框架及大模型技术论坛",软通动力数字基础设施与集成事业部总经理谢睿受邀出席、软通动力...

关键字: AI 模型 BSP 精度

上海2024年5月13日 /美通社/ -- CONNECT 2 是更加用户友好的声卡,仅需轻点几下,它就能为人声和乐器的录制增添异彩。触控面板触感舒适、控制精准、一目了然。所有输入输出信号均可独立静音。自动设置功能通过内...

关键字: NEC 声卡 控制 软件

May 14, 2024 ---- 夏普(Sharp)今(14)日正式宣布位于日本的堺10代线工厂将于今年第三季度开始停止生产。TrendForce集邦咨询认为,夏普堺10代的关闭对于今年的供给量影响甚微,但因为该厂10...

关键字: 液晶电视面板 彩虹光电

北京2024年5月14日 /美通社/ -- 从企业经营来看,一家公司的存亡并不完全依赖于CMO的执掌,而营销人往往被赋予打通企业任督二脉的期望。 2024年,手握"重金"的营销掌门人似乎更危险。...

关键字: AI 数字化 IP 组件

德国马牌轮胎与巴博斯在亚太地区建立长期合作伙伴关系,共同在德国Contidrom测试场对新品MaxContact MC7豪华运动型轮胎进行测试。这款专为亚太地区设计的轮胎,通过使用限量版巴博斯750 Bodo Busch...

关键字: 轮胎 测试 TI CONTACT
关闭
关闭