카프카 구축 시 참고사항 / 설치형 카프카, SaaS형 카프카 차이 및 장단점
카프카 구축 시 참고사항
클라우드 서비스 모델 종류
https://0songha0.github.io/op/2025-04-30-1
온프레미스, IaaS, PaaS, SaaS 개념을 정리한 글입니다.
운영 카프카 권장 하드웨어 사양
| RAM | 32GB (브로커 프로세스용 힙 메모리 6GB, 나머지는 데이터 입출력을 위한 OS 페이지 캐시 영역으로 활용) |
| CPU | 24 core (SSL 암호화 및 압축 기능 사용 시 더 높은 사양 필요) |
| 디스크 | RAID 10 디스크 (지연 및 데이터 손실 위험이 있어 NAS는 권장하지 않음) |
| 디스크 용량 | 하루 1TB 데이터 적재 시, 7일 7TB x 복제 수 용량 필요 |
| 파일시스템 | XFS 또는 ext4 |
개발용 카프카 권장 하드웨어 사양
| RAM | 16GB (브로커 프로세스용 힙 메모리 6GB) |
| CPU | 16 core |
설치형 카프카
온프레미스, IaaS 환경에서 카프카 클러스터를 직접 서버에 설치하여 사용합니다.
설치형 카프카 종류
- 컨플루언트 플랫폼 : 모니터링 툴 제공, 단계별 스토리지 기능 제공
- 아파치 카프카 (오픈소스 카프카) : 모니터링 툴 제공 X
- Kafka on Kubernetes (K8s)
아파치 카프카 모니터링 방법
JMX Exporter + Prometheus + Grafana 오픈소스 설치 및 구축이 필요합니다.
SaaS형 카프카
카프카 클러스터를 직접 설치하거나 관리하지 않고 바로 사용할 수 있습니다.
카프카 토픽 데이터를 SQL로 조회 및 처리할 수 있는 ksqlDB, 모니터링 툴 등은 옵션에 따라 제공합니다.
SaaS형 카프카 종류
| 컨플루언트 클라우드 | 엔터프라이즈 수준 보안 수준 제공, 데이터 적재 제한 없음 (디스크 용량 고민 X) |
| AWS MSK | AWS에서 제공하는 아파치 카프카 기반 SaaS. 모니터링 대시보드 제공, TLS인증 보안 설정 가능 |
SaaS형 카프카 장점
- Kafka 운영 노하우가 부족한 상태에서 빠르게 클러스터 인프라를 구축할 수 있습니다.
- 장애 브로커 발생 시 동일한 옵션의 새로운 브로커로 자동 교체되어 클러스터가 복구됩니다.
- 브로커 개수 변경 (스케일 아웃, 스케일 인) 을 대시보드에서 쉽게 할 수 있습니다.
- 큐 사이즈, 메시지 처리량, 레이턴시 등 브로커 수집 지표를 시각적으로 모니터링할 수 있습니다.
- 성능 저하, 장애 발생 시 알람을 자동 수신하여 빠른 대응이 가능합니다.
- SSL, SASL, ACL 등 보안 설정으로 암호화, 인증, 접근 권한 제어 기능을 제공합니다.
SaaS형 카프카 단점
- 법적으로 사용자 개인정보, 결제 정보 등을 클라우드에 저장하면 안 되는 금융, 의료, 공공기관 등에서는 사용이 제한됩니다.
- 시간당 인스턴스 사용 요금 (브로커 3대 기준 약 120만 원) + 스토리지 사용 요금 + 카프카 외부로 데이터 전송 시 발생하는 네트워크 전송 요금 등이 매달 부과됩니다.
- 모든 서버 최적화 옵션, 카프카 브로커 옵션을 제공하지는 않을 수 있습니다.
- 특정 클라우드 서비스 제공 업체에 종속성이 생길 수 있습니다.