주요업무
[주요업무]
• 레이크하우스 위에 변환·모델링 레이어를 설계하고 구현합니다. 테스트와 문서를 코드와 함께 관리해 변경을 안전하게 만듭니다.
• 자주 반복되는 데이터 조회를 도구로 만들어, 필요한 사람이 직접 뽑아 쓸 수 있는 환경을 구축합니다. 지표 정의와 데이터 출처를 한곳에서 확인할 수 있게 합니다.
• CDC 파이프라인을 운영하며 대상 도메인을 넓히고, 소스 팀과 스키마 변경 규칙을 맞춰 백필·재처리를 안전하게 수행합니다.
• 데이터의 신선도·양·정확성을 검증 체계로 관리하고, 파이프라인의 지연·처리량·안정성을 측정해 개선합니다.
• 파티셔닝·파일 포맷·쿼리 최적화로 조회 성능과 비용을 개선합니다.
• 데이터를 쓰는 사람들과 직접 이야기해 무엇이 필요한지 정의합니다.
• AI로 데이터 맥락 파악과 변환 로직·문서 작업을 처리합니다.
[기술 스택]
• 파이프라인 : Kafka, Flink CDC, Airflow
• 스토리지·쿼리 : Iceberg, Athena, Druid, OpenSearch, Aurora MySQL·PostgreSQL, DynamoDB, Redis
• 분석·시각화 : Superset, Grafana
• 클라우드 : AWS
• 컨테이너·오케스트레이션 : ECS, EKS, k3s, Helm
• IaC·CI/CD : Terraform, AWS CDK, Atlantis, GitHub Actions, ArgoCD
• 언어 : Python, Kotlin/Java, SQL
• 관측·운영 : Datadog, Prometheus, CloudWatch
• 협업 관련 : Git, Asana, Slack, Confluence