【干货】简单三步在mac上安装hadoop -凯发游戏入口官网

　　一、安装homebrew(已安装的可以省略这一步)

　　homebrew是osx中的方便的套件管理工具。采用homebrew安装hadoop非常简洁方便(中文凯发游戏入口官网：http://brew.sh/index_zh-cn.html)

　　复制下面代码在终端中运行就可以得到安装：

　　/usr/bin/ruby -e "$(curl -fssl https://raw.githubusercontent.com/homebrew/install/master/install)"

　　二、安装jdk(已安装的可以省略这一步)

　　去oracle凯发游戏入口官网下载对应的jdk

　　三、ssh 免密码的设置

　　1、安装ssh

　　直接 sudo apt-get install openssh-server

　　2、查看ssh运行状态

　　ps -e | grep ssh

　　如果发现 sshd 和 ssh-agent 即表明 ssh服务基本运行正常

　　3、生成公钥和私钥

　　ssh-keygen -t rsa -p ""

　　4、将公钥追加到文件

　　cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　　5、测试ssh localhost

　　如果发现不用输入密码就可以登录那么 ssh无密码机制就算建立成功了。

　　6、失败原因之一：.ssh及其下属子文件的权限问题：

　　首选.ssh目录权限是700， 两个dsa 和 rsa的 私钥权限是600，其余文件权限是644.

　　下面列出.ssh目录及子文件的权限表：

　　drwx------ 2 hadoop hadoop 4096 2014-06-02 15:32 .

　　drwxr-xr-x 34 hadoop hadoop 4096 2014-06-02 15:06 ..

　　-rw-r--r-- 1 hadoop hadoop 2252 2014-06-02 15:32 authorized_keys

　　-rw------- 1 hadoop hadoop 668 2014-06-02 15:11 id_dsa

　　-rw-r--r-- 1 hadoop hadoop 615 2014-06-02 15:11 id_dsa.pub

　　-rw------- 1 hadoop hadoop 1675 2014-06-02 15:32 id_rsa

　　-rw-r--r-- 1 hadoop hadoop 407 2014-06-02 15:32 id_rsa.pub

　　-rw-r--r-- 1 hadoop hadoop 442 2014-06-02 15:08 known_hosts

　　7、.ssh的父目录的权限问题(我的问题就出现在这里)：

　　.ssh的父目录文件权限应该是755，即所属用户的 用户文件 (/home下属的一个用户文件)。

　　三、安装hadoop

　　运用brew安装hadoop代码如下：

　　$ brew install hadoop

　　hadoop就安装成功了，我安装时最新为2.7.3。

　　hadoop将按预定的路径安装(/usr/local/cellar/hadoop/2.7.3)

　　查看其安装目录可以用brew list hadoop;

　　1.配置相关的环境变量

　　打开终端：

　　输入 vi .bash_profile

　　修改后最终样子：

　　export java_home=/library/java/javavirtualmachines/jdk1.8.0_91.jdk/contents/home

　　export jre_home=$java_home/jre

　　export hadoop_home=/usr/local/cellar/hadoop/2.7.3

　　export hadoop_home_warn_suppress=1

　　export class_home=$java_home/lib:$jre_home/lib:$classpath

　　export path=$java_home/bin:$jre_home/bin:$hadoop_home/bin:${path}

　　2.配置hadoop相关文件

　　修改/usr/local/cellar/hadoop/2.7.3/libexec/etc/hadoop/hadoop-env.sh 文件

　　进入到 /usr/local/cellar/hadoop/2.7.3/libexec/etc/hadoop (就是hadoop的安装目录下)

　　vi hadoop-env.sh

　　需要修改的地方：

　　# the java implementation to use.

　　export java_home="/library/java/javavirtualmachines/jdk1.8.0_91.jdk/contents/home"

　　# extra java runtime options. empty by default.

　　#export hadoop_opts="$hadoop_opts -djava.net.preferipv4stack=true"

　　export hadoop_opts="-djava.security.krb5.realm=ox.ac.uk -djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

　　# the maximum amount of heap to use, in mb. default is 1000.

　　export hadoop_heapsize=2000

　　#export hadoop_namenode_init_heapsize=""

　　修改/usr/local/cellar/hadoop/2.7.3/libexec/etc/hadoop/core-site.xml 文件

　　修改后的

　　修改/usr/local/cellar/hadoop/2.7.3/libexec/etc/hadoop/hdfs-site.xml 文件

　　修改/usr/local/cellar/hadoop/2.7.3/libexec/etc/hadoop/mapred-site.xml.template 文件

　　配置完成后

　　终端运行：　hadoop namenode -format

　　运行成功效果图

　　进入：/usr/local/cellar/hadoop/2.7.3/libexec/sbin

　　运行 ：

　　sh start-all.sh

　　或者：sh start-dfs.sh 和 sh start-yarn.sh

　　测试命令： jps

　　成功的效果图

　　打开以下网址可以测试是否成功：

　　resource manager :

　　正常打开的样子

　　jobtracker :

　　正常打开的样子

　　specific node information :

　　正常打开的样子

hadoop相关课程推荐——