[Spark] Cluster Sizing - 스파크 클러스터 사이즈 정하기

빅데이터 및 데이터 처리 작업이 계속해서 증가하면서 기업들은 데이터 처리 시스템을 효율적으로 설계하고 운영하기 위해 노력하고 있습니다. Apache Spark는 대용량 데이터 처리를 위한 오픈 소스 클러스터 컴퓨팅 프레임워크로서, 이러한 요구를 충족시키는데 매우 중요한 역할을 하고 있습니다. 그러나 Spark 클러스터를 효율적으로 구성하고 운영하기 위해서는 적절한 크기와 구성을 결정하는 것이 필수적입니다. 
 
이 글에서는 Spark 클러스터 크기를 결정하는 데 필요한 고려 사항과 접근 방법에 대해 다뤄보겠습니다. 이 게시글은 Ganesh Walavalkar의 Spark Cluster Sizing 게시글을 정리하며 작성된 글입니다.
 

Ask

데이터 증가량과 속도를 고려하면서 CPU와 메모리 인프라를 구성하고자 합니다.

Assumptions (or given)

1. 데이터 웨어하우스에 있는 데이터: 약 400TB, 월 증가량: 약 30TB
2. 일일 데이터 처리량: 약 300TB (New: 30TB + Historical: 270TB)
3. 1TB의 데이터를 처리하는 데에는 약 10분이 소요됩니다. 여기서 10분은 주관적인 숫자입니다. 예를 들어서 매일 300TB의 데이터를 처리하려면 50시간(300*10분, 매일 밤 빌드)가 소요됩니다. 10대의 머신을 사용해서 처리하면 50/10 -> 약 5시간으로 단축됩니다. data science 관련 작업, 외부 데이터 소스의 입출력, 주말 처리 및 오류 처리/재처리를 위한 충분한 공간을 가지고 있습니다. 
4. 데이터의 다양성/정확성은 계산에 영향을 미치지 않는다고 가정합니다.
5. 데이터는 로컬에 있으며 외부의 데이터를 가져오는데 많은 노력이 필요하지 않다고 가정합니다.

Response

Calculations — I (Starting with business requirements)

1. 노드당 Spark executor - 5 cores + 추가 1개 core (워커 노드의 OS와 execution management) = 총 6core
2. 노드당 Spark executor 메모리 - 24GB(executor 1개당) * 5개의 executor = 120GB. OS 및 execution management를 위한 추가 5GB(보통 2GB) 를 추가 = 총 125GB
3. 1TB의 데이터를 처리하는 데에는 “per core & 25 GB” 의 조합당 10분 ~ 15분이 소요됩니다. (이것은 매우 주관적입니다. 위의 가정 3번에 명시)
4. 300TB의 데이터를 처리하기 위해서는 300TB * 15분 = 4500분 or 75시간이 필요합니다.
5. 매일 밤 처리를 6시간 ~ 7시간 이내로 완료하기 위해서는 12대의 서버가 필요합니다. 합리적인 버퍼가 있으므로 12Core/24TB/256GB 램을 갖춘 10대의 서버로 클러스터를 구성할 수 있습니다.
6. 필요한 디스크 공간
    - 기존: 400TB, 증가분: 360TB (40TB*12), 총 ~800TB
7. 위의 5번과 같이 클러스터가 10대의 서버로 시작된다면, 총 800TB의 디스크 공간을 사용하기 위해서 각 서버당 80TB를 할당할 수 있다.
 
 Notes: (spark on yarn 으로 구성)
1. YARN은 리소스를 할당할 때 0.5 배수의 코어를 사용합니다. 따라서 1대의 서버당 요구되는 코어 수는 12개 입니다. 이는 6개의 원래 코어(1의 계산 결과)에 2를 곱한 값 입니다. YARN이 리소스를 할당할 때 사용하는 코어 단위 입니다. 한 서버에 10개의 코어가 있지만 YARN에서는 6개의 코어로 인식하고 리소스를 할당합니다. 
2. YARN은 리소스를 할당할 때 0.5배수의 메모리를 사용합니다. 1대의 서버당 요구되는 메모리는 256GB 입니다. 125GB의 메모리(2의 계산 결과)에 2 를 곱한 값입니다. YARN이 리소스를 할당할 때 사용하는 코어 단위 입니다.
 
서버를 계산하는 것은 계산의 시작점이 알기 어렵습니다. 예를 들어 300TB의 데이터를 처리하려면 20대에서 시작해야할까요? 30대에서 시작해야 할까요? 이러한 접근 방식은 여러 번의 반복 계산을 필요로 합니다.

Calculations— II (Starting with nodes)

1. node의 수 10
2. node당 코어 수 - 12
    - Spark application용 코어 수 6(0.5 YARN multiplier)
    - spark management + OS 용 코어수 - 5
3. node 당 메모리 - 256GB
    - spark application용 메모리(0.5 YARN multiplier) - 128GB
    - spark management + OS용 - 8GB
    - 코어당 남은 메모리 (120/5) 24GB
4. 클러스터에 사용 가능한 총 코어 수 - 50(5*10)*0.9 = 45 (0.1의 효율 손실을 고려함)
5. 클러스터의 사용 가능한 총 메모리 수 - 1.2TB (120GB * 10) * 0.9 = 1.08TB (0.1의 효율 손실을 고려함)
코어당 1TB의 데이터를 처리하는 데에 15분이라고 가정한다면, 이 클러스터는 시간당 노드당 4TB 즉 시간당 전체 클러스터에서 40TB를 처리할 수 있습니다. 300TB를 처리하는데에는 약 8시간이 소요될 수 있습니다. 
 

Putting it together

1. 12Core/Storage 24tb/memory 256GB 구성의 10대의 서버를 권장합니다.
2. 저장공간으로는 별도의 디스크 스토리지 서버를 고려할 수 있습니다.
 
클러스터 모드는 아래와 같이 구성됩니다.

Outro

이 게시글에서는 스파크 클러스터의 인프라 사이즈를 계산하기위한 순차적인 과정에 대해서 알아보았습니다. 단위 서버당 필요한 자원의 수를 계산하는 과정을 알아볼 수 있었습니다. 특정 데이터 단위를 기준으로 잡고 기준 시간을 구한 후에 전체 필요한 사양을 계산하는 방식으로 전체 사양을 계산해볼 수 있었습니다.