[인턴] 블리츠다이나믹스 인턴십 기간 스케듈의 청사진
인턴십 청사진
블리츠다이나믹스 인턴십 기간 동안 크게 두 가지 영역에서 업무를 진행하게 된다.
- Server Infrastructure (서버 인프라)
- Data Engineering (데이터 엔지니어링)
두 영역 중 서버 인프라의 우선순위가 더 높다. 4월에 서비스 확장이 예정되어 있어, 이를 안정적으로 뒷받침할 인프라를 먼저 갖추는 것이 핵심이다.
Server Infrastructure
서버 인프라 영역에서는 클라우드 환경(AWS)을 기반으로 서버를 운영하고, 안정성과 유지보수성을 높이는 작업을 담당한다.
EC2 관리
Amazon EC2(Elastic Compute Cloud)는 AWS에서 제공하는 가상 서버 서비스다. 물리 서버를 직접 구매하거나 관리할 필요 없이, 필요한 만큼 컴퓨팅 자원을 클라우드에서 빌려 사용할 수 있다.
인턴십에서는 현재 운영 중인 EC2 인스턴스들을 관리하는 역할을 맡는다. 이는 인스턴스의 상태 확인, 스펙 조정, 보안 그룹 설정 등 서버의 전반적인 운영·유지보수를 포함한다.
AWS CloudWatch + Datadog을 이용한 모니터링 구축
서비스가 안정적으로 운영되려면 서버의 상태를 실시간으로 파악할 수 있어야 한다. 이를 위해 두 가지 모니터링 도구를 함께 활용한다.
- AWS CloudWatch: AWS 네이티브 모니터링 서비스로, EC2의 CPU 사용률, 메모리, 네트워크 트래픽 등 기본적인 메트릭을 수집하고 경보(Alarm)를 설정할 수 있다.
- Datadog: CloudWatch보다 더 풍부한 시각화와 분석 기능을 제공하는 상용 모니터링 플랫폼이다. 여러 서비스의 메트릭을 통합 대시보드에서 한눈에 확인하고, 이상 징후 발생 시 알림을 받을 수 있다.
두 도구를 연동하여 AWS 인프라 전반에 대한 가시성을 확보하고, 문제 발생 시 빠르게 대응할 수 있는 모니터링 체계를 구축하는 것이 목표다.
IaaC: AWS CloudFormation을 활용한 인프라 자동화
IaaC(Infrastructure as a Code)란 서버, 네트워크, 데이터베이스 등 인프라 구성을 코드로 정의하고 관리하는 방식이다. 수동으로 콘솔에서 클릭하며 설정하는 것이 아니라, 코드로 선언한 상태를 자동으로 프로비저닝하기 때문에 재현성, 일관성, 버전 관리가 가능해진다.
AWS CloudFormation은 AWS에서 공식으로 제공하는 IaaC 서비스로, YAML 또는 JSON 형식의 템플릿 파일을 작성하면 해당 파일에 정의된 인프라를 자동으로 생성·변경·삭제해 준다.
이를 통해 기대할 수 있는 효과는 다음과 같다.
- 인프라 설정의 코드화로 실수 감소 및 반복 작업 자동화
- 팀 내 인프라 구성의 표준화 및 문서화
- 변경 이력을 Git으로 관리하여 롤백 용이
Data Engineering
데이터 엔지니어링 영역에서는 데이터를 수집하고 가공하여 분석에 활용할 수 있는 형태로 만드는 파이프라인을 구축한다.
Airbyte를 사용한 데이터 추출
Airbyte는 오픈소스 데이터 통합(EL, Extract & Load) 플랫폼이다. 다양한 데이터 소스(데이터베이스, SaaS 서비스, API 등)에서 데이터를 추출하여 데이터 웨어하우스나 데이터 레이크로 적재하는 작업을 GUI 기반으로 손쉽게 설정할 수 있다.
Airbyte는 수백 가지의 커넥터를 기본으로 제공하기 때문에, 소스와 목적지를 선택하고 인증 정보만 입력하면 복잡한 파이프라인을 빠르게 구성할 수 있다는 장점이 있다.
DBT를 이용한 데이터 마트 구축
DBT(Data Build Tool)는 데이터 웨어하우스 내에서 데이터를 변환(Transform)하는 오픈소스 도구다. SQL을 작성하듯이 모델을 정의하면, DBT가 의존관계를 파악하여 올바른 순서로 변환 작업을 실행해 준다.
데이터 마트(Data Mart)란 특정 부서나 분석 목적에 맞게 정제·집계된 데이터 집합이다. DBT를 활용하면 다음을 달성할 수 있다.
- 원시 데이터(Raw Data)를 비즈니스 로직에 맞게 정제
- 반복적인 집계 쿼리를 모델로 관리하여 재사용성 확보
- 데이터 변환 과정의 테스트 및 문서화 자동화
Airbyte로 수집한 데이터를 DBT로 가공하는 흐름은 현대적인 ELT(Extract → Load → Transform) 파이프라인의 전형적인 구성이다.
전체 흐름 요약
[데이터 소스] → Airbyte (Extract & Load) → [데이터 웨어하우스] → DBT (Transform) → [데이터 마트]
[AWS 인프라]
├── EC2 (서버 운영)
├── CloudWatch + Datadog (모니터링)
└── CloudFormation (IaaC, 인프라 자동화)
인프라를 안정적으로 갖춘 뒤, 그 위에서 데이터 파이프라인을 구축하는 순서로 인턴십을 진행할 예정이다.
Leave a comment