주요업무
- 온프레미스 데이터 플랫폼 거버넌스 체계 구축·운영
- 데이터 표준, 메타데이터 및 데이터 품질 관리 체계 구축
- 데이터 카탈로그 및 데이터 계보 관리 체계 구축
- 데이터 접근제어 및 보안 정책 운영
- 데이터 관련 컴플라이언스를 반영한 플랫폼 운영 정책 수립 및 이행
- 온프레미스 데이터 입수 파이프라인 개발·운영
- 다양한 데이터 소스의 수집 및 적재 파이프라인 개발
- Batch/Streaming 기반 데이터 처리
- 데이터 파이프라인 모니터링 및 장애 대응
- 대규모 온프레미스 데이터 플랫폼 저장 및 컴퓨팅 영역 최적화
- HDFS 저장영역 운영 및 최적화
- YARN 컴퓨팅 자원 운영 및 효율화
- 데이터 플랫폼 안정성 분석 및 운영 방식 고도화
- 성능/장애 분석 및 안정성 개선
- 운영 자동화 및 모니터링 체계 개선
#주요 기술 스택: Hadoop, HDFS, Hive, Trino, Kafka, Flink, Spark, Airflow, Kubernetes, SQL, Python, Apache Ranger