728x90 Back-End/kafka7 [Kafka streams] 아키텍쳐 참고 : 공식홈페이지 Apache Kafka - architecture Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Kafka Streams는 Kafka 생산자 및 소비자 라이브러리를 기반으로 구축하고 데이터 병렬 처리, 분산 조정, 내결함성, 운영 간소화를 제공하는 Kafka의 기본 기능을 활용하여 애플리케이션 개발을 간소화한니다. 1. Stream Partitions and Tasks Partition이 데이터 로컬리티, 탄력성, 확장성, 고성능 및 내결함성을 구현하는 것의 핵심이다. task는 kafka topic partition을 베이스로한 병렬처리 모델의 논리적인 단위이다. processor topo.. 2023. 2. 27. [Kafka streams] 컨셉 참고 : 공식홈페이지 Apache Kafka - Concepts Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 1. kafka streams란? kafka에 저장된 데이터를 분석하고 작업하기 위한 client library 확장을 할때는 작성한 application을 단지 여러개의 인스턴스를 실행하기면 하면 된다. kafka streams가 로드 밸런싱을 알아서 해준다. 2. kafka streams의 장점 간단하고 가벼운 library kafka를 제외하고 추가적인 종속성이 불필요하다. 확장시에도 추가적으로 할것이없다. 내결함성이다. (중간에 작업이 실패하더라도 재시도 및 정상 동작이 가능하다 - 내 의견) 1.. 2023. 2. 26. [Kafka streams] Tutorial 참고 : 공식홈페이지 Apache Kafka - tutorial Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 1. Maven 설치 (1) Maven 다운로드 Maven – Download Apache Maven 다운로드 링크 해당 압축파일을 풀고 해당 폴더를 C:\Program Files 에 위치시켜준다 (2) 환경변수 설정 내 PC 우클릭 → 속성 → 고급시스템 설정 → 고급 탭 → 환경변수 시스템 변수에 변수 이름 : MAVEN_HOME 변수 값 : C:\Program Files\apache-maven-3.9.0 를 추가해준다 Path 변수 편집 누른 후 %MAVEN_HOME%\bin 를 추가해준다 cmd를.. 2023. 2. 23. [Kafka streams] 데모 App 실행 참고 : 공식홈페이지 Apache Kafka - Run demo app Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 단어 카운팅 예시 코드 // Serializers/deserializers (serde) for String and Long types final Serde stringSerde = Serdes.String(); final Serde longSerde = Serdes.Long(); // Construct a `KStream` from the input topic "streams-plaintext-input", where message values // represent lines of text (.. 2023. 2. 23. 이전 1 2 다음 728x90
