개성있는 개발자 되기

회사에서 Oracle DB가 메인이라, Oracle 데이터 변경사항을 카프카로 Produce해주는 기능을 찾아보다가 발견한게 Kafka Connector이다. 일전에 MySql Connector 는 설치를 해봤고, 비교적 간단했지만 Oracle은... 비용적 문제 포함해서 복잡한게 많아서 정리하고자 이 글을 쓴다. 아래 사이트 글이 Oracle 카프카 커넥터 관련해서 제일 잘 정리된 글이다. (5번은 읽어본 것 같다) https://rmoff.net/2018/12/12/streaming-data-from-oracle-into-kafka/ Streaming data from Oracle into Kafka rmoff.net 아래 글은 Query-Based 커넥터와 Log-Based 커넥터를 비교한 글이다...

이슈 요약 현상 : 잘 작동했던 consumer-group이 갑자기 작동이 안됨 사유 : 컨슈머 그룹에 오프셋정보가 조회되지 않음, 주키퍼 서버 한대가 제대로 올라오지 않음 해결방법 : 주키퍼 재시작 -> 오프셋 할당되는지 확인 이슈 상세 특정 컨슈머가 올라오지 않아서, 컨슈머가 잘 등록되었는 지 확인했는데, result 값이 아무것도 보이지 않았다. -- sh 실행 $ sh kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test --describe $ // 아무것도 없음 $ UI에서 보니까 문제가 있는건 확실했던게, consumer에 topic/partition이 아무것도 없었다. 구글링 해보니 Active한 consumer여도 ..

| 토픽 정보 확인 kafka-topics.sh --describe --zookeeper peter-zk001:2181 --topic peter Topic:peterPartitionCount:6ReplicationFactor:1Configs: Topic: peterPartition: 0Leader: 2Replicas: 2Isr: 2 Topic: peterPartition: 1Leader: 3Replicas: 3Isr: 3 Topic: peterPartition: 2Leader: 1Replicas: 1Isr: 1 Topic: peterPartition: 3Leader: 2Replicas: 2Isr: 2 Topic: peterPartition: 4Leader: 3Replicas: 3Isr: 3 Topic: ..

커넥터에서 보내는 메시지는 Key와 Value로 구성되어 있다. Key는 스키마 정보, Value는 변경된 실제 데이터로 보면된다. | Key : 스키마 정보 - 스키마에 대한 변경이 없으면 null { "schema": { "type": "struct", "name": "mysql-server-1.inventory.customers.Key", "optional": false, "fields": [ { "field": "id", "type": "int32", "optional": false } ] }, "payload": { "id": 1001 } } | Value : 실제 변경된 데이터 { "schema": { ... }, "payload": { "before": { "id": 1004, "first_..