CStory

Kafka CLI 정리topic 리스트 확인하기kafka-topics.sh --bootstrap-server 0.0.0.0:9092 --listtopic 생성하기kafka-topics.sh --create --topic --bootstrap-server 0.0.0.0:9092topic 확인하기kafka-topics.sh --describe --topic --bootstrap-server 0.0.0.0:9092topic에서 이벤트 읽기kafka-console-consumer.sh --topic --bootstrap-server 0.0.0.0:9092 --from-beginningtopic에 이벤트 쓰기키 없이 전송kafka-console-producer.sh --topic --bootstrap-se..

Kafka 기본 개념주요 기능pub-sub model을 지원하며 분산 메세지 큐이다.기본 적으로 클러스터를 구성한다.Topic을 중심으로 producer라고 하는 publisher, consumer(group)이라고 하는 subscriber로 데이터를 관리하고 처리한다.하나의 Topic은 복수 개의 partition으로 확장 가능하다.Kafka 해결하는 문제단일 메세지 큐가 가지는 scale과 속도 문제를 해결한다.클러스터 구성으로 HA, Fault tolerance를 자체적으로 해결한다.대용량 분산 메세지 처리에서 메세지 저장과 처리의 신뢰를 관리할 수 있는 메커니즘을 구현했다.대용량 데이터를 다루면서도 빠른 데이터 처리가 가능하게 한다.Kafka 서버 및 클라이언트고성능 TCP 네트워크 프로토콜을 통..

스트리밍 데이터 처리이벤트 스트리밍데이터베이스, 센서 및 모바일 장치와 같은 이벤트 소스에서 발생하는 실시간 데이터를 이벤트 스트림 형태로 캡처하고 저장 및 처리하는 방법ex) 상품 선택, 구매 클릭 등다양한 비즈니스 로직에서 발생하는 이벤트 데이터를 적합한 곳에 실시간으로 전달하는 기술사례은행, 증권 거래소 등에서 실시간으로 결제 및 금융 거래 처리물류 시스템에서 실시간으로 추적 및 모니터링데이터 플랫폼, 이벤트 중심 아키텍처 및 MSA 기반을 제공하기 위해Event Driven Architecture전통적인 Transactional Service 관점에서는 하나의 처리가 모두 완료되어야 상태 확인이 가능하다. 그리고 중간 과정이 많아질수록 실패할 가능성이 높아지고 사용자 경험에 좋지못한 영향을 준다...