Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
Tags
- PFX
- kerberosClient
- Linux
- OpenSSL
- executor
- unquote
- OOM
- python2
- ssh
- CRT
- python3
- encoding
- supserset
- Celery
- OutOfMemory
- Spark
- distcp
- kerberos
- webhdfs
- install
- hadoop
- hive
- airflow
- Python
- Keygen
- setdefault
- pyhive
Archives
- Today
- Total
목록distcp (1)
복싱하는_개발자.dev
[hadoop] 하둡간 복사(distcp) & 버전별 포트
하둡 간 distcp를 이용하여 복사 시에 클러스터 버전에 따라 namenode, datanode 포트가 다르다. 복사 작업 시에 항상 우리팀의 클러스터와 타 부서의 클러스터의 버전을 확인해야 한다. hadoop2 / non-security 출발 서버 도착 서버 포트 namenode datanode namenode 8020 datanode datanode 50010 hadoop2 / security 출발 서버 도착 서버 포트 namenode datanode namenode 8020 datanode datanode 1004 hadoop3 / non-security 출발 서버 도착 서버 포트 namenode datanode namenode 8020 datanode datanode 9866
Hadoop
2022. 3. 2. 10:55