Kafka7 카프카 커넥트 설치 및 설정하기(Windows) 카프카 커넥트에 대해서 알아보고 설치하고 설정하는 방법을 알아보자 카프카 커넥트란 카프카 커넥트는 아파치 카프카와 다른 Data System간에 확장가능하고 안정적인 데이터 스트리밍을 위한 도구이다. 원래는 카프카에 데이터를 PUB하기 위해서는 프로듀서와 컨슈머가 필요했다 DB에 있는 데이터를 카프카로 Pub하는 프로듀서와 카프카의 데이터를 Sub하는 컨슈머가 있었다. 그런데 통합해야하는 DB가 100개가 있는 회사라면? 프로듀서도 100개가 개발 되어야 하고 컨슈머도 100개가 개발되어야 할것이다. 100개를 개발하는 비용도 많많치 않을테고 전부 DB이기 때문에 로직의 반복도 많을 것이다. 더 간편하게 효율적으로 데이터파이프라인을 구축하는 방법으로 Kafka Connect가 나온 것이다 Kafka Co.. 2022. 9. 1. 이전 1 2 다음
