복싱하는_개발자.dev

보통 spark를 사용할 때는 하둡과 연동하여 직접 spark driver를 이용하여 쉽게 읽을 수 있다. 하지만 하둡 파일 시스템 내에 pickle 파일이 저장되어 있다면 해당 파일은 python 라이브러리의 pickle 명령어로 읽어야 한다. 이 때, 보안 하둡이 아닌 경우는 hdfs client 라이브러리인 InsecureClient 를 사용한다. (참고: https://hdfscli.readthedocs.io/en/latest/api.html) 하둡의 webhdfs 포트를 이용하여 붙으며 해당 클라이언트로 하둡과 연결되면 직접 파일을 읽을 수 있다. 하. 지. 만 보안 하둡일 경우 이야기가 달라진다...ㅠ InsecureClient 는 라이브러리 이름만 봐도 보안과는 거리가 멀어보이는 것 처럼....