728x90 전체 글163 [Kafka streams] 컨셉 참고 : 공식홈페이지 Apache Kafka - Concepts Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 1. kafka streams란? kafka에 저장된 데이터를 분석하고 작업하기 위한 client library 확장을 할때는 작성한 application을 단지 여러개의 인스턴스를 실행하기면 하면 된다. kafka streams가 로드 밸런싱을 알아서 해준다. 2. kafka streams의 장점 간단하고 가벼운 library kafka를 제외하고 추가적인 종속성이 불필요하다. 확장시에도 추가적으로 할것이없다. 내결함성이다. (중간에 작업이 실패하더라도 재시도 및 정상 동작이 가능하다 - 내 의견) 1.. 2023. 2. 26. [Kafka streams] Tutorial 참고 : 공식홈페이지 Apache Kafka - tutorial Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 1. Maven 설치 (1) Maven 다운로드 Maven – Download Apache Maven 다운로드 링크 해당 압축파일을 풀고 해당 폴더를 C:\Program Files 에 위치시켜준다 (2) 환경변수 설정 내 PC 우클릭 → 속성 → 고급시스템 설정 → 고급 탭 → 환경변수 시스템 변수에 변수 이름 : MAVEN_HOME 변수 값 : C:\Program Files\apache-maven-3.9.0 를 추가해준다 Path 변수 편집 누른 후 %MAVEN_HOME%\bin 를 추가해준다 cmd를.. 2023. 2. 23. [Kafka streams] 데모 App 실행 참고 : 공식홈페이지 Apache Kafka - Run demo app Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 단어 카운팅 예시 코드 // Serializers/deserializers (serde) for String and Long types final Serde stringSerde = Serdes.String(); final Serde longSerde = Serdes.Long(); // Construct a `KStream` from the input topic "streams-plaintext-input", where message values // represent lines of text (.. 2023. 2. 23. [Kafka streams] Kafka streams 소개 참고 : 공식홈페이지 Apache Kafka - Introduction Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 1. 정의 kafka streams 는 실시간 서비스, MSA를 만드는 client 라이브러리이다. 2. 특징 input, output 데이터는 kafka cluster들에 저장된다. 카프카의 이점을 가지고 Java와 Scala 어플리케이션을 쉽게 쓰고 배포할 수 있다. 3. 장점 확장성있고, 내결함성이 있다. ( 즉, 데이터 손실 없음을 보장) 컨테이너, VM, 베어메탈, 클라우드에 배포 가능하다 규모에 상관없이 동일하게 실행 가능하다.(트래픽이 늘어날 경우 여러개를 실행하면 됨) kafka s.. 2023. 2. 23. 이전 1 2 3 4 5 6 7 ··· 41 다음 728x90
