개발일지/문제 해결

카프카 토픽 삭제할 때 문제

티에리앙리 2022. 9. 6. 14:55

현재 아마 zookeeper와 kafka 만 킨것 같다 커넥트까지 킨지는 모르겠음...

 

현재 기존에 있던 orders와 my_topic_users 토픽을 삭제하려고한다.

 

/c/Work/Kafka-practice/kafka 위치에서

$ ./bin/windows/kafka-topics.bat --bootstrap-server localhost:9092 --list 명령어로 토픽이름 확인하니까 잘나옴

__consumer_offsets
connect-configs
connect-offsets
connect-status
example-catalog-topic
my_topic_users
orders

 

/c/Work/Kafka-practice/kafka 위치에서

$ ./bin/windows/kafka-topics.bat --delete --topic orders --bootstrap-server localhost:9092 

명령어로 orders 토픽 삭제

(아무 일도 커맨드라인이 명령어 먹은것 처럼 일어남)

 

그러고 나서 다시

$ ./bin/windows/kafka-topics.bat --bootstrap-server localhost:9092 --list 명령어로 토픽 리스트를 보려고하는데..

아래와 같은 에러가 나서 검색해보니까

[2022-09-06 14:33:35,758] WARN [AdminClient clientId=adminclient-1] Connection to node -1 (localhost/127.0.0established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

 

현재는 위에 에러가 아니라

[2022-09-13 14:40:59,919] WARN [AdminClient clientId=adminclient-1] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

에러가 뜬다.

 

zookeeper 실행시킨다음

./bin/windows/kafka-server-start.bat ./config/server.properties 명령어로 kafka 실행시켜도 안켜진다...

 

/c/Work/Kafka-practice/kafka 경로에서

./config/server.properties 해당 파일에서 아래 처럼 주석 돼있는 부분이 있는데

#listeners=PLAINTEXT://:9092

이 부분을 주석 해제하고 저장한다.

listeners=PLAINTEXT://:9092

그래도 여전히 동일한 오류로 kafka는 안켜진다..

 

 

그래서 일단  listeners=PLAINTEXT://:9092 부분 다시 주석으로 원복 시키고

 

#advertised.listeners=PLAINTEXT://your.host.name:9092

이 부분을 주석 풀고 아래처럼 변경함

advertised.listeners=PLAINTEXT://localhost:9092

그래도 여전히 안됨..

 

kafka 실행시키면 에러나면서 꺼지는데

마지막에는 다음과 같은 에러가 발생합니다...

[2022-09-06 15:08:10,341] INFO [ReplicaAlterLogDirsManager on broker 0] Removed fetcher for partitions Set(orders-0) (kafka.server.ReplicaAlterLogDirsManager)
[2022-09-06 15:08:10,351] ERROR Shutdown broker because all log dirs in C:\tmp\kafka-logs have failed (kafka.log.LogManager)

 

 

일단 이상 태에서 

 /c/Work/Kafka-practice/kafka 경로에서 아래 파일 들어가서

$ vim config/server.properties

아래 경로가 log 있는 디렉토리이다.

log.dirs=/tmp/kafka-logs 

 

일단 윈도우의 C:\tmp

경로에 있는

kafka-logs 폴더와

zookeeper 폴더가 있는데

삭제한 토픽인 orders 관련 log를 삭제 해줘야한다.

orders 관련 log를 삭제 하고

다시 zookeeper와 kafka 다시 실행 해보면

kafka가 정상작동하는 것을 학인할 수 있다.