카프카란?대용량 메시지 처리를 위한 오픈소스이다. 기존에는 end to end 연결 방 식의 아키텍처를 사용했다. 데이터 연동의 복잡성 증가했고, 각기 다른 데이터 파이프라인 연결구조 확장에 엄청난 노력필요 했다. 이를 해결하기 위해 kafka가 만들어졌다. 카프카의 구조 및 특징에 대해 알아보도록 하겠다. 카프카 구조 - 프로듀서 프로듀서란 브로커로 메시지를 보낼 개체이다. 카프카 브로커로 메시지를 보내기 위해 producer record를 작성해야 한다. producer record는 토픽, 파티션, 키, 밸류로 구성되어 있다. 토픽이란 브로커의 다양한 토픽 중 어디로 보낼지 설정하는 값이다. 밸류는 보내고자 하는 메시지를 의미한다. 토픽과 밸류는 필수 값으로 설정해야 한다. partitio..
