728x90 Back-End/kafka7 [Kafka streams] Kafka streams 소개 참고 : 공식홈페이지 Apache Kafka - Introduction Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 1. 정의 kafka streams 는 실시간 서비스, MSA를 만드는 client 라이브러리이다. 2. 특징 input, output 데이터는 kafka cluster들에 저장된다. 카프카의 이점을 가지고 Java와 Scala 어플리케이션을 쉽게 쓰고 배포할 수 있다. 3. 장점 확장성있고, 내결함성이 있다. ( 즉, 데이터 손실 없음을 보장) 컨테이너, VM, 베어메탈, 클라우드에 배포 가능하다 규모에 상관없이 동일하게 실행 가능하다.(트래픽이 늘어날 경우 여러개를 실행하면 됨) kafka s.. 2023. 2. 23. [Kafka] 빠른 시작 예제 참고 : 공식홈페이지 Apache Kafka Quick Start Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 1. kafka 다운로드 Download - kafka압축 풀기 tar -xzf kafka_2.13-3.3.1.tgz cd kafka_2.13-3.3.1 2. kafka 환경변수 설정 및 실행 Java8 이상 설치돼 있어야 함 Zookeeper 와 KRaft 중 선택 가능한데, Zookeeper는 앞으로 점차 없앨 계획이라고 하니 KRaft로 설치 (1) Cluster UUID 생성 KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)" (2) 로그 폴더 포맷.. 2023. 2. 15. [Kafka] 카프카 소개 참고 : 공식홈페이지 Apache Kafka Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Kafka INTRODUCTION 1. 이벤트 스트리밍이란? 기술적으로 이벤트 스트리밍은 데이터베이스, 센서, 모바일 장치, 클라우드 서비스, 소프트웨어 응용 프로그램과 같은 이벤트 소스로부터 실시간으로 데이터를 캡처하는 작업이다. 예시) 나중에 검색할 수 있도록 지속적으로 저장 과거 혹은 실시간의 데이터에 반응하고, 데이터를 다루고 처리하는 것 이벤트 데이터를 다른 목적지로 보내는 것 2. 어디에 사용해야 하는가? 금융 산업 : 주식 교환, 은행, 보험 자동차 산업 : 자동차, 트럭 등 실시간 위치 추적 IoT : 센서 .. 2023. 2. 14. 이전 1 2 다음 728x90
