자격 요건
• 데이터 엔지니어링 관련 5년 이상의 실무 경험
• Python 활용 능력 (pandas, numpy, boto3, pyspark 등)
• AwS 데이터 서비스 (Glue, S3, Athena, Data Catalog) 운영 경험 3년 이상
• SQL 고급 활용 및 복잡한 쿼리 최적화 능력
• ETL/ELT 프로세스 설계 및 대용량 데이터 처리 경험
• 데이터 웨어하우스 및 데이터 레이크 아키텍처 설계 경험
• 통계적 분석 및 알고리즘 구현 경험 (규모 추정, 이상치 탐지 등)
• 모델링 및 비즈니스 로직 구현 능력
• 리눅스 환경에서의 개발 및 운영 경험
• Git을 활용한 협업 및 코드 관리 경험
[필요 역량]
• 대용량 데이터 처리 및 성능 최적화에 대한 깊은 이해
• 복잡한 비즈니스 요구사항을 데이터 파이프라인으로 구현하는 능력
• 데이터 품질과 신뢰성에 대한 높은 기준과 책임감
• 클라우드 네이티브 아키텍처 설계 및 구현 능력
• 팀 리딩 및 주니어 개발자 멘토링 능력
• 새로운 기술 트렌드 파악 및 빠른 학습 능력
• 다앙한 이해 관계자와의 원활한 커뮤니케이션 능력
[기술 스택]
• 언어 : Python, SQL, Scala(우대), R(통계분석용 우대)
• AWS AU|*: Glue, S3, Athena, Data Catalog, Redshift, Kinesis, Lambda, Step Functions
• 빅데이터 처리 : Apache Spark, PySpark, Pandas
• 152|%: Apache Kafka, Amazon Kinesis
• 워크플로우 : Apache Airflow, AWS Step Functions
• GO|E|O|A: Amazon Redshift, RDS(PostgreSQL, MySQL), DynamoDB
• BI £7: Tableau, Power BI, QuickSight, Looker
• 알고리즘/분석 : scikit-learn, numpy, scipy, statsmodels
• 인프라 : Docker, Kubernetes, Terraform
• 모니터링 : Cloudwatch, Grafana, DataDog
• 버전 관리 : Git, GitHub/GitLab
• 테이블 포맷 : Delta Lake, Apache Iceberg(우대)
• 데이터 변환 : dbt(data build tool)