OpenSource/Spark 썸네일형 리스트형 [Trobule Shooting] Spark yarn-client 사용시 SparkContext 종료되는 이슈 Spark yarn-client 사용시 SparkContext 종료되는 이슈 Spark job을 클러스터 매니저를 통해 많이 실행하곤 하는데 그 중에 Yarn 클러스터 매니저, 특히 client모드로 사용시 어느 순간에 sc(SparkContext)가 종료되어 job을 실행할 수 없는 이슈가 발생해서 글로 남깁니다.크게 이슈가 없는 상황이라면 job을 재실행하면 되겠지만 하필 Zeppelin을 이용하여 이미 구축되어 있던 Yarn 위에서 동작을 하고 있었습니다.Zeppelin은 처음 SparkInterpreter를 실행하게 되면 binding 모드에 따라 계속 SparkSession을 유지하게 되어 있습니다. (참고: Zeppelin Documentation) 그림에서 보이듯이 Yarn client 모드.. 이전 1 다음
