자격 요건
• 대용량 데이터 파이프라인의 구축, 개발 경험이 있으신 분이 필요합니다.
• 빅데이터 프레임워크 (Hadoop, Kafka, Spark, Flink 등)의 활용 경험이 있으신 분이 필요합니다.
• 워크플로우 (airflow, luigi 등)의 구축, 개발 경험이 있으신 분이 필요합니다.
[기술 스택]
• Data Processing & Transformation : Spark, Kafka, Flink...
• Data Storage : S3, Iceberg, Kafka, Schema Registry, Elasticsearch, MongoDB
• Interactive Query Service : Athena, Presto
• Orchestration : Airflow
• Data Governance : AWS Lake Formation
• Data Visualisation : Kibana, Redash, Superset
• DataWarehouse
• AI 개발 툴 : Claude Code, Cursor, Copilot, ChatGPT 등