最近因为hadoop需要在linux的环境下，因此也在自己的电脑上通过Parallels Desktop安装了两个免费的linux操作系统，一个是centos6.7，还有一个是Ubuntu14.04.3。
因为网站所用的服务器系统是centos，所以就先用centos，但是因为装不上tools就放弃了。转向Ubuntu，虽然都是一样的 - -
安装完系统之后没有安装任何的组件。首先就是一个root密码的问题，默认安装的时候是需要输入一个用户名和密码，但并没有设置root的密码。
关于root的密码问题
一、默认root密码是随机的，即每次开机都有一个新的root密码。我们可以在终端输入命令 sudo passwd，然后输入当前用户的密码。
二、终端会提示我们输入新的密码并确认，此时的密码就是root新密码。修改成功后，输入命令 su root，再输入新的密码就ok了。
三 、分析没有默认的，因为你还没给root设置密码，第一个 user 是在 admin 组 ，所以他可以给 root 设置密码 , so
sudo passwd root [sudo] password for you ：---> 输入你的密码，不会显示 Enter new UNIX password: --- > 设置root 密码 Retype new UNIX password: --> 重复 ========================================================================= 用安装时建立的用户登陆后在Shell执行 sudo passwd root回车Password: 后输入刚建立的用户密码回车 Enter new UNIX password: 这时输入要设置的root密码两次就会看到 password updated successfully了！ =========================================================================
安装后可以到用户和组里面去改，随便改的。要在登录时用root的话，可以在“登录界面”里改，让管理员登录系统的选项就可以了
Ubuntu下中文英文的转换
安装的时候选择的语言是中文，但是因为中文的话，直接用虚拟机打开是中文以乱码形式显示，但是需要说明一点就是，如果通过SSH连接，中文就能够显示正常，不过为了在虚拟机直接打开就能够正常显示，有两种方式，一种是换为英文，还有一种就是安装zhcon。
一、将环境变量由中文换为英文
修改/etc/default/locale
sudo vim /etc/default/locale1
修改默认的
LANG=zh_CN.UTF-8 LANGUAGE=zh_CN:zh
为:
LANG="en_US.UTF-8" LANGUAGE="en_US:en"
存盘退出
然后：
sudo reboot
再然后env 或者 locale 查看修改后的结果 就可以了...
二、安装zhcon
终端或者命令行里输入
sudo apt-get install zhcon
等安装完即可~
运行的时候记得要加载vgz驱动和utf8支持 否则会黑屏...
并且只能在纯命令行里运行 在终端运行会出错
所以你的命令应该是
zhcon --utf8 --drv=vga
如果嫌每次都要输入这么多太麻烦可以在~/.bashrc里面加一个别名
sudo vim ~/.bashrc
打开后在里面加入一行
alias zhcon='zhcon --utf8 --drv=vga'
保存退出
这样每次进入命令行后直接运行zhcon即可 不用担心黑屏问题
zhcon中支持中文显示也支持中文输入法 由于热键冲突问题暂时我只知道Ctrl+ space切换到全拼输入法是
可以用的 多多少少解决了点中文目录/文件名的问题了
其实关于这个问题，我最终是将环境变量设置为中文，通过ssh去连接虚拟机，就没有问题了。
Ubuntu下SSH设置
默认情况下因为没有安装任何组件，因此首先要安装开启ssh-server服务
Ubuntu 下安装 OpenSSH Server 是无比轻松的一件事情，需要的命令只有一条：
sudo apt-get install openssh-server
(查看返回的结果，如果没有出错，则用putty、SecureCRT、SSH Secure Shell Client等SSH 客户端软件，输入您服务器的 IP 地址。如果一切正常的话，等一会儿就可以连接上了。并且使用现有的用户名和密码应该就可以登录了。)
然后确认sshserver是否启动了：（或用“netstat -tlp”命令）
ps -e | grep ssh
如果只有ssh-agent那ssh-server还没有启动，需要/etc/init.d/ssh start，如果看到sshd那说明ssh-server已经启动了。
ssh-server配置文件位于/ etc/ssh/sshd_config，在这里可以定义SSH的服务端口，默认端口是22，你可以自己定义成其他端口号，如222。然后重启SSH服务：
sudo /etc/init.d/ssh resart
事实上如果没什么特别需求，到这里 OpenSSH Server 就算安装好了。但是进一步设置一下，可以让 OpenSSH 登录时间更短，并且更加安全。这一切都是通过修改 openssh 的配置文件sshd_config 实现的。
首先，您刚才实验远程登录的时候可能会发现，在输入完用户名后需要等很长一段时间才会提示输入密码。其实这是由于 sshd 需要反查客户端的 dns 信息导致的。我们可以通过禁用这个特性来大幅提高登录的速度。首先，打开 sshd_config 文件：
sudo nano /etc/ssh/sshd_config
找到 GSSAPI options 这一节，将下面两行注释掉：
#GSSAPIAuthentication yes #GSSAPIDelegateCredentials no
然后重新启动 ssh 服务即可：
sudo /etc/init.d/ssh restart
再登录试试，应该非常快了吧
利用 Putty 通过证书认证登录服务器
SSH 服务中，所有的内容都是加密传输的，安全性基本有保证。但是如果能使用证书认证的话，安全性将会更上一层楼，而且经过一定的设置，还能实现证书认证自动登录的效果。
首先修改 sshd_config 文件，开启证书认证选项：
RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile %h/.ssh/authorized_keys
修改完成后重新启动 ssh 服务。
下一步我们需要为 SSH 用户建立私钥和公钥。首先要登录到需要建立密钥的账户下，这里注意退出 root 用户，需要的话用 su 命令切换到其它用户下。然后运行：
ssh-keygen
这里，我们将生成的 key 存放在默认目录下即可。建立的过程中会提示输入 passphrase，这相当于给证书加个密码，也是提高安全性的措施，这样即使证书不小心被人拷走也不怕了。
当然如果这个留空的话，后面即可实现 Putty 通过证书认证的自动登录。
ssh-keygen 命令会生成两个密钥，首先我们需要将公钥改名留在服务器上：
cd ~/.ssh mv id_rsa.pub authorized_keys
然后将私钥 id_rsa 从服务器上复制出来，并删除掉服务器上的 id_rsa 文件。
服务器上的设置就做完了，下面的步骤需要在客户端电脑上来做。首先，我们需要将 id_rsa 文件转化为 PuTTy 支持的格式。这里我们需要利用 PuTTyGEN 这个工具：
点击 PuTTyGen 界面中的 Load 按钮，选择 id_rsa 文件，输入 passphrase（如果有的话），然后再点击 Save PrivateKey 按钮，这样 PuTTy 接受的私钥就做好了。
打开 PuTTy，在 Session 中输入服务器的 IP 地址，在 Connection->SSH->Auth 下点击 Browse 按钮，选择刚才生成好的私钥。然后回到 Connection 选项，在 Auto-login username 中输入证书所属的用户名。回到 Session 选项卡，输入个名字点 Save 保存下这个 Session。点击底部的 Open 应该就可以通过证书认证登录到服务器了。如果有 passphrase 的话，登录过程中会要求输入 passphrase，否则将会直接登录到服务器上，非常的方便。
在 Windows 机上用 Ubuntu ssh 远程登录 Ubuntu 机下载 PuTTY
如何在 Windows 机上拷贝 文件/文件夹 从/到 远程 Ubuntu 机下载 FileZilla
Filezilla连接SFTP使用ssh key认证
由于Filezilla使用putty连接sftp server. 所以如果要在Filezilla使用ssh key的话, 请在putty的default settings->ssh->Auth中, 加上你的private key.保存就可以.
如果你生成的ssh key有Passphrase, 请将Passphrase 添在Filezilla的password输入框, 保存就可以使用.
ubuntu下允许root用户ssh远程登录
SSH服务器，可以通过SSH协议来访问远程服务器，代替telnet和ftp。但是ubuntu默认是不启用root用户也不允许root远程登录的。所以需要先启用root用户。
启用root用户：sudo passwd root //修改密码后就启用了。
对 openssh server进行配置
sudo vim /etc/ssh/sshd_config
找到PermitRootLogin no一行，改为
PermitRootLogin yes
重启 openssh server
sudo service ssh restart
ubuntu下配置JDK
使用root用户登录服务器，输入javac判断是否有java开发环境。
如果没有，使用
apt-get install openjdk-7-jdk
安装完成之后，设置环境变量
vim /etc/profile
在if [ "$PS1" ]; then上方即这个文件的开始处设置环境变量(假定java安装在了/usr/lib/jvm/java-7-openjdk-amd64)：
export JAVA_HOME= /usr/lib/jvm/java-7-openjdk-amd64 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
然后保存退出(esc后输入：:wq)，然后让它生效：
source /etc/profile
到此为止，JDK就安装完成，在任何目录下输入javac就可以得到相关提示。
ubuntu下配置Hadoop
首先是下载Hadoop，使用wget命令下载安装包，我们这里举例下载hadoop 1.2.1
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
直接输入ls就可以看到下载好的压缩包。首先，将这个压缩包换一个目录，如下：
mv hadoop-1.2.1.tar.gz /opt/
这个目录是将hadoop这个压缩包移动到/opt文件夹下，我们进入opt文件夹下，进行解压缩。
tar -zxvf hadoop-1.2.1.tar.gz
然后再opt文件夹下就多了hadoop-1.2.1文件夹，我们进入这个文件可以看到这里面的文件结构，我们要配置的文件主要在这里面的conf文件夹下。
因此进入conf文件夹
cd /opt/hadoop-1.2.1/conf
这里面我们需要配置四个文件，分别是：mapred-site.xml、core-site.xml、hdfs-site.xml、hadoop-env.sh
首先修改：hadoop-env.sh
vim hadoop-env.sh
更新如下设置：
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
修改core-site.xml，增加以下配置
<property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://主机名:9000</value> </property>
修改hdfs-site.xml，增加以下配置
<property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property>
修改mapred-site.xml，增加以下配置
<property> <name>mapred.job.tracker</name> <value>主机名:9001</value> </property>
最终还需要配置下hadoop的环境变量
vim /etc/profile
在JRE_HOME下面添加：
export HADOOP_HOME=/opt/hadoop-1.2.1
更新PATH变量：
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
保存退出，再让环境变量生效，输入
source /etc/profile
在执行hadoop之前呢，先对namenode进行格式化操作：
在/opt/hadoop-1.2.1/bin目录下面执行：
hadoop namenode -format
执行完成之后，进入/opt/hadoop-1.2.1/bin，输入：
start-all.sh执行hadoop启动命令，启动的时候会要求输入ssh的root密码。
执行完成之后，输入jps（查看当前运行的java进程）看现在的进程是否包含以下java进程：
JobTracker、Jps、DataNode、TaskTracker、NameNode、SecondaryNameNode
如果包含以上进程，说明hadoop安装完成。
可以通过命令 hadoop fs -ls / 看看hadoop下面有哪些文件。
通过关闭 UseDNS和GSSAPIAuthentication选项加速 SSH登录
通常情况下我们在连接 OpenSSH服务器的时候假如 UseDNS选项是打开的话，服务器会先根据客户端的 IP地址进行 DNS PTR反向查询出客户端的主机名，然后根据查询出的客户端主机名进行DNS正向A记录查询，并验证是否与原始 IP地址一致，通过此种措施来防止客户端欺骗。平时我们都是动态 IP不会有PTR记录，所以打开此选项也没有太多作用。我们可以通过关闭此功能来提高连接 OpenSSH 服务器的速度。
服务端步骤如下：
编辑配置文件 /etc/ssh/sshd_config
vim /etc/ssh/sshd_config
找到 UseDNS选项，如果没有注释，将其注释
#UseDNS yes
添加
UseDNS no
找到 GSSAPIAuthentication选项，如果没有注释，将其注释
#GSSAPIAuthentication yes
添加
GSSAPIAuthentication no
保存配置文件
重启 OpenSSH服务器
/etc/init.d/sshd restart
更改MySQL用户密码
方法一:
(适用于管理员或者有全局权限的用户重设其它用户的密码)
进入命令行模式
mysql -u root -p
mysql> use mysql;
mysql> UPDATE user SET password=PASSWORD("new password") WHERE user='username';
mysql> FLUSH PRIVILEGES;
mysql> quit;
方法二:
mysql -u root -p
mysql> use mysql;
mysql> SET PASSWORD FOR username=PASSWORD('new password');
mysql> QUIT
方法三:
mysqladmin -u root "old password" "new password"
注：new password请输入你想要设置的密码。
遇到的错误
[hadoop@Master hbase-1.1.2]$ hive Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:274) at org.apache.hadoop.util.RunJar.main(RunJar.java:205) Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf at java.net.URLClassLoader$1.run(URLClassLoader.java:366) at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:354) at java.lang.ClassLoader.loadClass(ClassLoader.java:425) at java.lang.ClassLoader.loadClass(ClassLoader.java:358) ... 3 more
解决办法：
/usr/share/hadoop/etc/hadoop/hadoop-env.sh里面被增加了HADOOP_CLASSPATH.
设置如下：
export HADOOP_CLASSPATH=$HBASE_HOME/hbase/hbase-0.20.3.jar:$HABSE_HOME/hbase-config:$ZOOKEEPER/zookeeper-3.2.2.jar
将其修改为：
export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
Comments | NOTHING