개성있는 개발자 되기

mysql -h IP번호 -P 포트번호 -u 계정명 -p

Debezium MySQL CDC Connector 디비지움 커넥터는 카프카 개발자들이 만든 커넥터이다. MySql의 모든 Row-Level 변경사항을 모니터링하고 기록할 수 있다. MySql 서버에 접속한뒤, 일정하게 Database의 스탭샷을 읽어 들인다. 스냅샷을 읽은 후에는 MySQL 커밋된 변화를 감지하고 insert, update, delete 이벤트를 생성한다. 각각의 테이블에 일어나는 모든 이벤트들은 카프카 토픽으로 분산되서 쌓이고, application이랑 services 에서 이 토픽을 간편하게 컨슘할 수 있게 된다. 공식홈페이지 : https://www.confluent.io/hub/debezium/debezium-connector-mysql Confluent: Apache Kafka..

Debezium 이란 MySql 데이터 변경을 카프카로 전송해주는 오픈소스로 Debezium이 있다. 공식홈페이지 : https://debezium.io/documentation/reference/1.1/connectors/mysql.html Debezium Connector for MySQL :: Debezium Documentation Version: Select --> | debezium.io MySQL은 데이터베이스에 커밋된 모든 내용을 기록하는 bin log가 있다. 테이블 스키마 변경 내역도 로깅한다. 주로 데이터 복구나, 복제를 위해 활용된다. Debezium MySQL 커넥터는 이 빈로그를 읽어들여 row-level 인 INSERT, UPDATE, DELETE 오퍼레이션에 대한 변경이벤트를..

Binlog : 서버 내에서 발생되는 모든 변경내욕이 기록되는 파일 - PIT(시점복구)와 리플리케이션을 위해 활용된다. - 미세하지만 IO 부담을 가중시킨다. 빈로그 활성화 여부 확인 mysql> show variables like 'log_bin'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | binlog_format | MIXED | +---------------+-------+ 빈로그 포맷 MySQL 5.7.6 까지는 기본값이 statement 이고 그 이후 버전부터는 row 가 기본값이다. (예외적으로 클러스터는 mix) 빈로그 포맷은 동적변수이므로 DB가 가동중일때도 set 으로 변경할 수 있지만..