当前位置:首页 > 芯闻号 > 充电吧
[导读]hadoop-2.7.2伪分布模式安装教程   安装环境: Ubuntu14.04- server   1.  创建hadoop用户 若安装Ubuntu时已创建hadoop用户,可跳过此步骤。 (注

hadoop-2.7.2伪分布模式安装教程

 

安装环境:

Ubuntu14.04- server

 

1.  创建hadoop用户

若安装Ubuntu时已创建hadoop用户,可跳过此步骤。

(注:亦可使用其他用户安装hadoop,但建议最好使用hadoop用户。)

sudo useradd hadoop

      设置密码:

sudo passwd hadoop

      为hadoop用户添加管理员权限:

      方法一:

            sudo adduser hadoop sudo

      方法二:

            打开/etc/sudoers文件,在root用户组中添加hadoop

            sudo nano /etc/sudoers


使用hadoop用户登录:

      su hadoop

(注意:以下步骤均需在hadoop用户下完成!)


2.  安装ssh,配置ssh无密码登录

安装ssh前,先更新一下apt:

sudo apt-get update

安装ssh命令:

sudo apt-get install openssh-server

安装后,启动ssh登录本机:

ssh localhost

        作为一个安全通信协议,使用ssh登录时需要输入密码,而在hadoop集群中,需要将ssh改成无密码登录,hadoop节点间才能正常通信。

退出ssh登录:

exit

生成私钥和公钥:

cd ~/.ssh/

ssh-keygen -t rsa

将公钥追加到authorized_keys文件中:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

再次使用ssh localhost登录本机,此时便不在需要输入密码了。

 

3.  安装Java环境

安装JRE和JDK:

sudo apt-get install openjdk-7-jre openjdk-7-jdk

(注意:hadoop2.7.2不再支持jdk1.6及以下版本)


配置Java环境变量:

为了方便对环境变量的统一管理,我们将其添加到/etc/profile文件中。

打开/etc/profile文件:

sudo nano /etc/profile

将以下内容追加到文件中:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

(注:JAVA_HOME为JDK的安装路径)

更新一下配置文件:

source /etc/profile

测试JAVA_HOME环境变量和Java版本:

echo $JAVA_HOME

java –version

若能正确输出JAVA_HOME和Java版本,则Java环境配置成功。

 

4.  安装hadoop-2.7.2

从Apache官网下载hadoop-2.7.2.tar.gz:

http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

解压hadoop-2.7.2.tar.gz:

sudo tar –zxvf ~/hadoop-2.7.2.tar.gz

将其移动到合适位置:

sudo mv hadoop-2.7.2 /usr/local

重命名文件夹:

sudo mv hadoop-2.7.2 hadoop


配置hadoop环境变量:

为方便执行hadoop命令,需在/etc/profile文件中配置hadoop环境变量。

打开/etc/profile文件:

sudo nano /etc/profile

将以下内容追加到/etc/profile文件中:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/lib
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

(注:HADOOP_HOME为HADOOP的安装路径)

更新一下配置文件:

source /etc/profile


修改hadoop-env.sh文件中的JAVA_HOME环境变量:

打开hadoop-env.sh文件:

sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将export JAVA_HOME=$JAVA_HOME改为JDK具体的安装路径。

更新hadoop-env.sh文件,使其生效:

source /usr/local/hadoop/etc/hadoop/hadoop-env.sh


查看hadoop版本:

hadoop version

若能正确显示hadoop版本,则hadoop单机模式安装成功。

 

5.  配置伪分布模式

       需要在/hadoop/etc/hadoop目录下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个配置文件中添加配置,其中后两个是用于配置YARN的。

       为方便伪分布模式的配置,可先对主机名进行修改,将/etc/hostname文件中的内容改为Master(名字可随意,不一定是Master),这样有利于后继的完全分布式配置。

在core-site.xml中添加:


    hadoop.tmp.dir
    file:/usr/local/hadoop/tmp
    Abase for other temporarydirectories.


    fs.defaultFS
    hdfs://Master:9000

在hdfs-site.xml文件中添加:


    dfs.replication
    1


    dfs.namenode.name.dir
    file:/tmp/hadoop/dfs/name


    dfs.datanode.data.dir
    file:/tmp/hadoop/dfs/data


    dfs.namenode.secondary.http-address
    Master:50090


mapred-site.xml文件原先并不存在,需先将mapred-site.xml.template更名为mapred-site.xml:

sudo mv mapred-site.xml.template mapred-site.xml

然后在mapred-site.xml文件中添加:


    mapreduce.framework.name
    yarn


    mapreduce.jobhistory.address
    Master:10020


    mapreduce.jobhistory.webapp.address
    Master:19888


在yarn-site.xml文件中添加:


    yarn.nodemanager.aux-services
    mapreduce_shuffle


    yarn.resourcemanager.hostname
    Master


修改完配置文件后,对namenode进行格式化:

./bin/hdfs namenode –format

至此hadoop-2.7.2的伪分布模式配置完毕。


6.  启动hadoop守护进程

启动dfs:

start-dfs.sh

启动后使用jps命令查看进程,将看到NameNode、DataNode、SecondaryNamenode三个进程。

启动YARN:

start-yarn.sh

启动后将增加ResourceManager、NodeManager两个进程。

也可以使用start-all.sh命令启动全部进程(start-all.sh = start-dfs.sh + start-yarn.sh)

启动JobHistoryServer:

mr-jobhistory-daemon.sh start historyserver

因为mapred-site.xml文件中配置了JobHistoryServer,所以必须启动hadoop才能正常运行。

 

7.  运行hadoop伪分布式实例

在hdfs中创建输入文件夹,并将文件拷贝到文件夹中:

./bin/hdfs dfs -mkdir input

./bin/hdfs dfs -put ./etc/hadoop/*.xml input

运行mapreduce作业:

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

等待mapreduce作业运行结束,查看运行结果:

hdfs dfs -cat output/*

(注意:在作业运行之前,输出路径不能存在!)


本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

May 20, 2024 ---- 据TrendForce集邦咨询研究,三大原厂开始提高先进制程的投片,继存储器合约价翻扬后,公司资金投入开始增加,产能提升将集中在今年下半年,预期1alpha nm(含)以上投片至年底将...

关键字: 晶圆 HBM 存储器

2024年5月18日,强国机械制造有限公司正式宣布,全力支持国家提出的“中国制造2050”战略。公司将把智能制造作为未来发展的核心方向,致力于在这一领域实现重大突破,提升中国制造业的全球竞争力。

关键字: 智能制造 物联网

每次与老友见面时总是免不了谈论以前美好的回忆,但时间渐长,我们的记忆也渐渐模糊,还有电子设备帮助我们留下痕迹,只是翻找起来有些许麻烦。不过我们倒是没有这样的困扰,那是因为我有铁威马NAS,无论什么时间的照片都能放在nas...

关键字: 数据中心 数据存储

合肥2024年5月18日 /美通社/ -- 5月17日,以"致新世界"为主题,国轩高科第13届科技大会在包河总部隆重启幕,瞄准用户最为关切的高安全性、长续航、快速充电等核心需求和痛点问题,重磅发布三大...

关键字: 国轩高科 快充 电芯 能量密度

上海2024年5月19日 /美通社/ -- 5月18日,一年一度佳通商用车胎产品日如期而至。结合新市场、新机遇、新挑战,佳通轮胎召开"数智赋能 佳境无限"为主题的2024年度商用车胎技术暨产品发布会,...

关键字: 轮胎 数字化 零部件 TPMS

NRT14 于 2025 年底竣工后,园区容量将提高到104 兆瓦, 以满足日本对下一代基础设施和无缝接入互联数据社区日益增长的需求 北京2024年5月20日 /美通社/ -- 世界领先的...

关键字: DIGITAL 人工智能 数字化 数据中心

北京2024年5月20日 /美通社/ -- 过去五年里,支付和收款方式日新月异,其发展和变化比过去五十年都要迅猛。从嵌入式数字商务的出现,到"一拍即付"的...

关键字: VI BSP PAY COM

杭州2024年5月20日 /美通社/ -- 5月20日,百世供应链旗下百世云仓在2024年全国网络大会上,宣布了其全面出海战略。聚焦于东南亚市场的新机遇,并积极推动品牌走向国际市场。 百世供应链召开2024年百世云仓全...

关键字: 供应链 网络 触点 软件

上海2024年5月20日 /美通社/ -- 仲夏伊始,光芒新生,5月17日,由上海工业商务展览有限公司主办的、以"拥抱新质生产力,助力新型工业化"为主题的第九届广东国际机器人及智能装备博览会(以下简称...

关键字: IAR 机器人 自动化 RS

开幕在即!SEMI-e第六届深圳国际半导体展将在深圳国际会展中心(宝安)4/6/8号馆拉开精彩帷幕!

关键字: 半导体
关闭
关闭