개발자 노트

이번 글에서는 Amazon에서 제공하는 카프카 관리 서비스인 MSK와 EC2에서 직접 카프카를 설치했을 때의 장단점을 평가한다. 비교를 하게 된 목적은 AWS에서 데이터 처리를 위해 카프카가 필요할 때, 관리형 서비스인 MSK를 쓰면 편리하겠지만 가성비 관점도 포함하여 서비스 선택 시 도움이 되었으면 해서였다. 먼저 MSK를 생성하면 어떤 구조로 이루어져 있는지 보고 동일한 고가용성(HA)으로 EC2에 직접 카프카를 설치하는 방법을 소개한다. 그리고 구축한 MSK, EC2에서 동일한 트래픽의 데이터를 처리할 때 비용 계산을 한다. 마지막으로 운영 효율성 측면에서 비교한다. 1. 아키텍처 1.1 MSK 먼저 MSK의 아키텍처를 보자. MSK도 결국은 카프카이기 때문에 AWS 상에서의 네트워크 구조만 보면 ..

최근에 Cloud service를 활발하게 사용하는 곳이 많아졌다. Big Data 영역에서도 기존 On-Premise에서 Cloud 환경으로 대체되는 경우가 많아지고 있다. 그래서 On-Premise에서 쓰던 Application들이 Cloud 환경에서 무엇으로 대체되는지 검토를 해볼 필요가 있었다. Kafka를 사용하는 입장에서 Cloud의 1위 업체인 Amazon에서는 어떤 대체 서비스가 있는지 찾는게 첫번째 검토사항이었다. Kafka에 대한 설명에 대해서는 필자의 Kafka 내용을 추가하는 것으로 대체하도록 하고, 이 글에서는 Kafka와 비교가 가능한 Amazon Kinesis Stream을 설명하고자 한다. Kinesis Data Stream이란 무엇인가? Amazon 사이트의 설명을 참조하면..