[Spark] spark cluster vs client mode

스파크를 실행하기 위해서는 스파크가 어떤 환경에서 실행이 되는지, 우리가 만든 Job이 어떻게 실행 될 건지에 대한 옵션을 Spark 실행 시 선언 해주어야 한다.

 

 

1. master option

spark-submit --master {local/standalone/yarn/mesos/k8s}

* local : spark 사용 시 cluster 를 사용하지 않음.

              즉, 분산처리를 하지 않고 내가 지금 spark 를 실행시키는 지금 이 환경에서 작업을 수행시키겠다. 

* yarn / mesos / k8s: spark 사용 시 cluster 를 사용.

* --master 옵션을 선언하지 않았을 때, default 값은 standalone 이다.

 

2. deploy option

spark-submit --deploy-mode {client/cluster}

deploy-mode의 차이는 spark-driver 가 어느 위치에서 생성되는지에 대한 차이이다. 

 

* client mode: 실행을 호출한 곳(client)에서 spark driver 를 생성

* cluster mode: 실행을 호출한 곳(client)가 cluster container 에서 driver가 생성된다. 

* --deploy-mode의 default 값은 client 이다.