[인턴] Airbyte OSS로 CDC 파이프라인 옮기기 (3) ‘succeeded’를 믿지 마라 — 파일럿에서 만난 4대 버그와 운영 독트린
33 스트림 파일럿 sync에서 만난 무단 스킵·가짜 succeeded·비대 JSON 컬럼 OOM·빈 state 전염. job status를 믿지 않고 destination count로만 판정하게 된 이유와, 대량 sync를 수렴 루프로 운영하게 된 기록
33 스트림 파일럿 sync에서 만난 무단 스킵·가짜 succeeded·비대 JSON 컬럼 OOM·빈 state 전염. job status를 믿지 않고 destination count로만 판정하게 된 이유와, 대량 sync를 수렴 루프로 운영하게 된 기록
abctl(kind) + 외부 RDS 메타DB + S3 스토리지 구성으로 Airbyte OSS를 EC2에 올리는 과정. Helm 차트 V2 키 규칙, bootloader/temporal/IMDS/리소스 부족까지 실제로 밟은 함정과 그 해결을 순서대로 정리한 기록
무료로 쓰던 Fivetran을 Airbyte OSS(abctl)로 대체하기 위한 사전 테스트. 왜 옮기려 했고, MySQL→Postgres CDC 미러링을 어떻게 재현하려 했는지에 대한 설계 기록
비개발자가 agent로 코드를 만들고 개발자가 검수하는 워크플로우에서, 테스트가 자꾸 빈약해지는 문제를 마주하며 다시 정리한 테스트 작성의 기준
토요일 새벽 알람과 Summary 카드의 빈 값이라는 두 증상을 추적하다가, ECS Fargate cutover 이후 collector가 옛 TG suffix를 그대로 보고 있었음을 발견한 디버깅 기록