[hadoop] 기존 하둡 클러스터에서 신규 클러스터로 config 설정

기존에 운영하는 서버가 사용하는 하둡 클러스터 환경을 새로운 클러스터 환경으로 변경해야할 일이 생겼다.

 

이전에는 새 클러스터에서 바로 호스트 연결을 해주었는데.. 일단 그런건 불가능한 상태이기 때문에 서버의 하둡 환경설정을 바꿔야 한다고 생각. 

 

일단 신규 클러스터의  hadoop_conf 파일들을 모두 전달 받았다. (대부분 default 하둡 설정 경로는 /etc/hadoop/conf)

 

안에 있는 파일들은 실제 하둡 셋팅 파일인 xml 파일들이 존재한다.

• core-site.xml
• hdfs-site.xml
• hadoop-env.sh
• yarn.xml
• ...

단순하게 해당 설정 파일들을  HADOOP_CONF_DIR 로 export 해서 변경해보고 hdfs 명령어를 실행했더니 역시나 이슈 발생 

 

새로운 클러스터가 HA(High Availability) 여서 nameservice 셋팅이 되어있고, 기존 운영 서버는 그걸 못찾는 문제였다.

22/03/21 00:00:27 WARN hdfs.DFSUtil: Namenode for nameservice remains unresolved for ID Node121  
Check your hdfs-site.xml file to ensure namenodes are configured properly.

hdfs-site.xml의 dfs.nameservices 가 아래 처럼 셋팅되어 있었다.

 <property>
     <name>dfs.nameservices</name>
     <value>Node121</value>
</property>

 

그렇다면 알려주어야죠. core-site.xml 로 갑니다.

 

<property>
   <name>fs.defaultFS</name>
   <value>Node121</value>(변경전)
   <value>hdfs://신규클러스터주소:8020</value>(변경후)
</property>​

저의 경우엔 default.fs 의 이름이 Node121로 되어있어서 직접 새로 변경된 신규 클러스터의 주소를 넣어주었습니다.

 

그리고 다시 hdfs 명령어를 실행해보니 잘 동작했습니다 :)