전체 글72 Kafka Stream 이란 Kafka Stream이란?Kafka Streams은 Apache Kafka에서 제공하는 스트림 처리 라이브러리이다.이를 통해 실시간 데이터 스트림(실시간으로 끊임없이 들어오는 데이터의 연속적인 흐름)을 쉽게 처리하고 변환하는 애플리케이션을 작성할 수 있다.Kafka Streams은 Kafka에 저장된 데이터를 처리하거나 데이터를 실시간으로 읽고 쓰는 데 사용되며, 다음과 같은 주요 특징을 갖는다:라이브러리 기반: 별도의 클러스터를 필요로 하지 않고, Java 애플리케이션 내부에 포함되어 실행된다.분산 처리: Kafka의 파티션 구조를 활용하여 확장 가능한 분산 처리가 가능하다.상태 관리: 스트림 처리 중 상태 정보를 저장하기 위해 RocksDB와 같은 내부 스토리지를 활용한다.배치 및 실시간 처리 통합.. 2024. 12. 5. Kafka 인스턴스 생성 과정 my_first_kafka의 보안 규칙에서인바운드 규칙 편집에서 추가해준다. kafka 의 9092portzookeeper의 2181 port 인스턴스를 연결해서 apt-get을 update한다ubuntu@ip-172-31-0-147:~$ sudo apt-get update ### root로 이동하고 jre를 설치한다.ubuntu@ip-172-31-0-147:~$ sudo suroot@ip-172-31-0-147:/home/ubuntu# apt-get install default-jre ### java 버전을 확인한다.root@ip-172-31-0-147:/home/ubuntu# java -versionopenjdk version "11.0.25" 2024-10-15OpenJDK Runtime Envir.. 2024. 11. 25. gradle build 에러 Mac 터미널에서 gradle build 를 하는데 에러가 발생했다. makefile 코드는 다음과 같다.# backend-build: Build the backendbackend-build: @echo "Building backend..." cd backend/Graphizer-Global && gradle build makefile이 있는 곳에서 backend-build를 실행했는데다음과 같은 에러가 발생했다.taekgyu@taekgyuui-MacBookAir DT_P_Graphizer_Global % make backend-buildBuilding backend...cd backend/Graphizer-Global && gradle build> Task :Common-Se.. 2024. 10. 31. Redis설치 및 Configuration(2) 현재인스턴스a : master인스터스b : slave상태인데인스턴스b를 이렇게 restart하면sudo service redis restart인스턴스b가 master로 되기 때문에다시 인스턴스b에서redis-cli 로replicaof master대상IP 6379 명령어로레디스를 slave로 만들어줘야한다.redis-cli> replicaof master의ip 6379그러면 다시 master의 redis-cli info 와 slave의 redis-cli info를 했을때명확히 master - slave 관계를 알수 있으며slave 에서 해당 명령어를 입력해도 master - slave 관계를 알 수 있다.tail -f /var/log/redis/redis-server.log참고로 sentinel.conf .. 2024. 8. 28. Redis설치 및 Configuration(1) 아키텍처 Redis Sentinel은 Redis의 고가용성(High Availability)을 위한 감시 및 자동 장애 조치 시스템이다.sentinel의 역할은master가 정상상태인지 확인하고 정상상태가 아니면 replica를 master로 전환해주는 역할참고로 페일오버(Failover) 는 장애 조치 기능으로 시스템 장애 이벤트 발생 시 하나 이상의 예비 백업 시스템(노드) 로 자동 전환되는 것을 말한다.즉, master가 내려가면 slave가 master 역할을 해줄 때 그게 failover 이다. ec2에서 redis 설치 명령어redis master-slave 환경을 셋팅하는 설정을 진행할 것이다.일단 인스턴스a가 있고 인스턴스a에서 해당 명령어를 실행한다.# root 계정으로 전환sudo su.. 2024. 8. 21. Redis 구조 및 성능 비교 Redis 구조 및 성능 비교: Stand-Alone부터 Cluster까지Redis 구조stand aloneRedis가 단일 인스턴스로 동작하는 방식.별도의 복제본이 없으므로, 장애 시 데이터 복구가 어렵고 가용성이 낮음.master-replicareplica가 master로 sync를 따라간다.Replica는 Master의 데이터를 실시간으로 복제하여 데이터를 보호함.장점: Master가 장애가 나더라도 Replica가 데이터를 유지함.단점: 자동 장애 조치가 없으며, 수동으로 장애 복구를 수행해야 함.sentinel ( 일반적으로 많이 선택하는 방식)master - replica구조 기반인데 master가 장애가 나면 replica를 master로 전환함그 사이에 원래 master를 복구 하고 rep.. 2024. 8. 16. 이전 1 2 3 4 5 ··· 12 다음
