【hadoop】NameNodeのフォーマット


NameNodeのフォーマットで少しハマったのでメモ。

下記コマンドのフォーマットをしようとしたらエラーが発生。

# sudo -u hdfs hadoop namenode -format

+======================================================================+
|      Error: JAVA_HOME is not set and Java could not be found         |
+----------------------------------------------------------------------+
| Please download the latest Sun JDK from the Sun Java web site        |
|       > http://java.sun.com/javase/downloads/ <                      |
|                                                                      |
| Hadoop requires Java 1.6 or later.                                   |
| NOTE: This script will find Sun Java whether you install using the   |
|       binary or the RPM based installer.                             |
+======================================================================+

rootユーザのJAVA_HOMEは設定してあったがhdfsユーザのJAVA_HOMEは設定していなかった。
なので、「/etc/profile」に「JAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk」と書いてみた。
suしてhdfsユーザになりechoしてみたところJAVA_HOMEが表示された。

# su – hdfs
# echo $JAVA_HOME
/usr/lib/jvm/jre-1.6.0-openjdk

だがしかし、この設定をして再度フォーマットしても「JAVA_HOME is not set」となってしまった。
調べたところhadoopの環境設定ファイルにJAVA_HOMEを記載しろとのこと。

# vi /etc/hadoop-0.20/conf.pseudo/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk

これで再度フォーマットを実行したところコマンドが実行された。
だがしかし!
「Format aborted」となってしまった。
※ちなみに既にフォーマット済みだったようで「Re-format」になってます。

# sudo -u hdfs hadoop namenode -format

13/11/08 16:03:09 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = rails/192.168.XXX.XXX
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.20.2-cdh3u6
STARTUP_MSG:   build = file:///data/1/tmp/topdir/BUILD/hadoop-0.20.2-cdh3u6 -r efb405d2aa54039bdf39e0733cd0bb9423a1eb0a; compiled by 'root' on Wed Mar 20 13:11:26 PDT 2013
************************************************************/
Re-format filesystem in /var/lib/hadoop-0.20/cache/hadoop/dfs/name ? (Y or N) y
Format aborted in /var/lib/hadoop-0.20/cache/hadoop/dfs/name
13/11/08 16:03:14 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at rails/192.168.XXX.XXX
************************************************************/

特にエラーも記載されていないので何が問題かピンと来なかったのですが
調べてみたところ、とてもとても単純な答えが見つかりました!

「Re-format filesystem in /var/lib/hadoop-0.20/cache/hadoop/dfs/name 」の答えは
y」ではなく「Y」だそうです!
え!そんな事なの!
そんな事のようです。

んで再度「Y」で実行

# sudo -u hdfs hadoop namenode -format

13/11/08 16:04:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = rails/192.168.XXX.XXX
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.2-cdh3u6
STARTUP_MSG: build = file:///data/1/tmp/topdir/BUILD/hadoop-0.20.2-cdh3u6 -r efb405d2aa54039bdf39e0733cd0bb9423a1eb0a; compiled by 'root' on Wed Mar 20 13:11:26 PDT 2013
************************************************************/
Re-format filesystem in /var/lib/hadoop-0.20/cache/hadoop/dfs/name ? (Y or N) Y
13/11/08 16:04:58 INFO util.GSet: VM type = 32-bit
13/11/08 16:04:58 INFO util.GSet: 2% max memory = 19.33375 MB
13/11/08 16:04:58 INFO util.GSet: capacity = 2^22 = 4194304 entries
13/11/08 16:04:58 INFO util.GSet: recommended=4194304, actual=4194304
13/11/08 16:04:58 INFO namenode.FSNamesystem: fsOwner=hdfs (auth:SIMPLE)
13/11/08 16:04:58 INFO namenode.FSNamesystem: supergroup=supergroup
13/11/08 16:04:58 INFO namenode.FSNamesystem: isPermissionEnabled=false
13/11/08 16:04:58 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=1000
13/11/08 16:04:58 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
13/11/08 16:04:58 INFO common.Storage: Image file of size 110 saved in 0 seconds.
13/11/08 16:04:58 INFO common.Storage: Storage directory /var/lib/hadoop-0.20/cache/hadoop/dfs/name has been successfully formatted.
13/11/08 16:04:58 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at rails/192.168.XXX.XXX
************************************************************/

無事フォーマットされたようです。
めでたしめでたし。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です