Databricks Lakehouse Platform을 기반으로 안정적이고 확장 가능한 데이터 플랫폼과 파이프라인을 설계·구축·운영합니다. 데이터 품질과 거버넌스를 강화하고, 다양한 비즈니스 데이터를 분석 및 의사결정에 활용할 수 있는 신뢰도 높은 데이터로 전환합니다.
주요 업무
• Databricks Lakehouse Platform 기반 데이터 파이프라인 및 데이터 제품 설계·개발·운영
• PySpark, Spark SQL, Delta Lake를 활용한 배치 및 스트리밍 데이터 처리
• Delta Live Tables 및 Databricks Workflows 기반 프로덕션 파이프라인 구축·관리
• Unity Catalog를 활용한 데이터 접근 권한, 카탈로그 및 데이터 리니지 관리
• 다양한 데이터 소스의 추출·변환·적재(ETL) 프로세스 구축 및 최적화
• Databricks와 AWS S3, Redshift, Glue 등 클라우드 서비스 연동
• 데이터 품질, 파이프라인 성능 및 플랫폼 장애에 대한 모니터링과 근본 원인 분석
• 재사용 가능한 데이터 엔지니어링 프레임워크와 CI/CD·테스트·배포 자동화 체계 구축
자격 요건
• 데이터 플랫폼 및 파이프라인 설계·구축·운영을 포함한 데이터 엔지니어링 경력 5년 이상 ~ 15년 미만
• Databricks를 실제 업무에 활용하여 데이터 파이프라인 또는 데이터 플랫폼을 구축·운영한 경험 필수
• Delta Lake, Unity Catalog, Databricks Workflows, Delta Live Tables 등 Databricks 주요 기능에 대한 실무 경험
• Python, PySpark 및 SQL을 활용한 대규모 데이터 처리·변환 및 성능 최적화 경험
• 배치 및 스트리밍 데이터 파이프라인의 모니터링, 오류 처리, 복구 및 데이터 품질 관리 경험
• AWS 기반 데이터 환경과 관계형·NoSQL 데이터베이스에 대한 이해 및 연동 경험
• Git, 자동화 테스트, CI/CD 및 배포·환경 관리 등 소프트웨어 엔지니어링 역량
• 비즈니스 요구사항을 안정적이고 확장 가능한 데이터 기술 구조로 구체화할 수 있는 커뮤니케이션 역량
• 비즈니스 영어 활용 가능자