개성있는 개발자 되기

Debezium MySQL CDC Connector 디비지움 커넥터는 카프카 개발자들이 만든 커넥터이다. MySql의 모든 Row-Level 변경사항을 모니터링하고 기록할 수 있다. MySql 서버에 접속한뒤, 일정하게 Database의 스탭샷을 읽어 들인다. 스냅샷을 읽은 후에는 MySQL 커밋된 변화를 감지하고 insert, update, delete 이벤트를 생성한다. 각각의 테이블에 일어나는 모든 이벤트들은 카프카 토픽으로 분산되서 쌓이고, application이랑 services 에서 이 토픽을 간편하게 컨슘할 수 있게 된다. 공식홈페이지 : https://www.confluent.io/hub/debezium/debezium-connector-mysql Confluent: Apache Kafka..

Debezium 이란 MySql 데이터 변경을 카프카로 전송해주는 오픈소스로 Debezium이 있다. 공식홈페이지 : https://debezium.io/documentation/reference/1.1/connectors/mysql.html Debezium Connector for MySQL :: Debezium Documentation Version: Select --> | debezium.io MySQL은 데이터베이스에 커밋된 모든 내용을 기록하는 bin log가 있다. 테이블 스키마 변경 내역도 로깅한다. 주로 데이터 복구나, 복제를 위해 활용된다. Debezium MySQL 커넥터는 이 빈로그를 읽어들여 row-level 인 INSERT, UPDATE, DELETE 오퍼레이션에 대한 변경이벤트를..

카프카 커넥트 카프카 커넥트는 아파치 카프카의 일부로 포함되어 있으며, 카프카와 데이터스토어 간에 데이터를 이동하기 위해 확장성과 신뢰성 있는 방법을 제공한다. 또한, 커넥터 플러그인을 개발하고 실행하기위해 RestAPI를 사용할 수 있다. 카프카 커넥트는 여러 개의 작업 프로세스(worker process)들로 실행된다. 그리고 커넥터 플러그인을 작업 프로세스에 설치한 후, RestAPI를 사용해서 특정 구성으로 실행되는 커넥터를 구성하고 관리한다. 커넥터에는 소스(source) 커넥터와 싱크(sink) 커넥터 두 종류가 있다. - 소스 커넥터 : 소스 시스템으로부터 데이터를 읽어서 커넥트 데이터 객체로 work process에 제공 - 싱크 커넥터 : work process로부터 커넥트 데이터 객체를..

Redis-Exporter에서 추출되는 Metrics 는 Redis의 INFO에 기반되어 있다. 더보기 redis> INFO # Server redis_version:999.999.999 redis_git_sha1:5babacad redis_git_dirty:0 redis_build_id:a31260535f820267 redis_mode:standalone os:Linux 4.8.0-1-amd64 x86_64 arch_bits:64 multiplexing_api:epoll atomicvar_api:atomic-builtin gcc_version:6.3.0 process_id:6777 run_id:8d252f66c3ef89bd60a060cf8dc5cfe3d511c5e4 tcp_port:6379 uptime..