기술 블로그

카프카 버전 업그레이드 카프카 버전 업그레이드를 해야할 일이 생겨 버전별 차이 및 업그레이드 방법에대해 알아봤다. 자료는 kafka 공식 document에서 찾아보았다.  kafka broker와 kafka-clients만 업그레이드 해야 했기 때문에 kafka-connect와 streams는 업그레이드 내용을 찾아볼 때 제외하였다. 아래는 자료출처이다.    https://kafka.apache.org/downloads#2.0.0 Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.orghttps://kafka.apache.org/documentation/#upgrade_200_notable Apache KafkaApache ..

카프카란?대용량 메시지 처리를 위한 오픈소스이다. 기존에는 end to end 연결 방 식의 아키텍처를 사용했다. 데이터 연동의 복잡성 증가했고, 각기 다른 데이터 파이프라인 연결구조 확장에 엄청난 노력필요 했다. 이를 해결하기 위해 kafka가 만들어졌다.  카프카의 구조 및 특징에 대해 알아보도록 하겠다.  카프카 구조 - 프로듀서 프로듀서란 브로커로 메시지를 보낼 개체이다. 카프카 브로커로 메시지를 보내기 위해 producer record를 작성해야 한다. producer record는 토픽, 파티션, 키, 밸류로 구성되어 있다. 토픽이란 브로커의 다양한 토픽 중 어디로  보낼지 설정하는 값이다. 밸류는 보내고자 하는 메시지를 의미한다. 토픽과 밸류는 필수 값으로 설정해야 한다.   partitio..