사용중인 환경 OS : macOS Monterey 12.4 Docker 에 CentOS7 설치 후 Kafka 를 적용해보겠다. CentOS7 pull docker pull centos:7.9.2009 docker run --name mycent -i -t centos:7.9.2009 /bin/bash ## 컨테이너 접속 docker exec -it mycent /bin/bashApache Kafka 홈페이지 접속 후 kafka 다운로드 # 원하는 경로에서 wget https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz tar -xvf kafka_2.13-3.2.0.tgz # 필수 아님 mv kafka_2.13-3.2.0.tgz kafkaKafka 실행 cd..

전준엽님의 블로그를 보고 저의 생각정리 용으로 적었습니다. 출처 : https://galid1.tistory.com/793 Kafka - Kafka란? (Kafka의 구조와, 주요개념) Apache Kafka Apache Kafka의 각 구성요소와 구성요소들의 주요 개념을 알아보도록 하겠습니다. 어떤 기술의 특성을 이해하고, 구성요소를 이해하는것은, 해당 기술을 이용해 특정 기능을 구현할때 매 galid1.tistory.com Kafka란? pub-sub 모델의 메시지 큐 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼 사용 이유 대용량 데이터를 다룰 때 지연시간을 줄일 수 있기 때문 어디에 사용? Apache Kafka는 초당 수백만 개의 데이터 포인트를 처..

정의 AMQP를 구현한 오픈소스 메시지 브로커 특징 신뢰성 안정성, 영속성, 메시지 도착 유무 확인, 고가용성 유연한 라우팅 메시지는 큐에 도착하기 전에 exchange를 통해 라우트 된다. 여러가지 exchange 타입이 존재. 클러스터링 지역 네트워크 상에서 여러개의 RabbitMQ 서버들이 함께 클러스터링 되어 단일한 논리적 브로커를 생성 고가용 큐 큐는 클러스터내의 여러 머신들에 걸쳐 복제될 수 있는데, 이는 하드웨어 결함시에 메시지의 안전을 보장한다. 관리 UI 관리가 가능한 UI를 제공한다. 흐름 Producer와 Consumer의 결합이 느슨해진 것을 볼 수 있다. 각자의 역할만 하면 되기 때문이다. Producer가 메시지를 보내고 Exchange가 받아서 바인딩 된 Queue에 적재, 그..