설계-제조 통합 AX 전문기업 위즈코어입니다.
제조 AX 플랫폼 개발을 함께하실 ML 데이터 엔지니어를 모십니다.
주요업무
• 메달리온(Bronze / Silver / Gold) 레이어 설계 · 운영 및 Iceberg 테이블 관리
• Compaction · Snapshot retention · Partition 전략 수립
• Kafka → Flink / Spark → Iceberg → Feature Store E2E 파이프라인 운영
• K8s 기반 Spark / Trino 실행 환경 운영 및 쿼리 성능 최적화
• 베어메탈 오브젝트 스토리지 운영 — 디스크 장애 대응, 용량 계획
• Ground Truth 적재 파이프라인 — 라벨 지연 · 정정 반영
• Iceberg 스냅샷 기반 학습 데이터셋 버저닝 및 재현성 확보
• 데이터 품질 검증 자동화, 카탈로그 · 리니지 추적, 온 · 오프라인 피처 정합성 검증
자격 요건
• 데이터 엔지니어링 실무 경험 2~15년
• Spark 대용량 데이터 처리 실무
• Kubernetes에서 Spark 또는 Trino 운영 경험
• 오픈 테이블 포맷(Iceberg / Delta Lake / Hudi 등) 운영 경험
• Kafka 기반 스트리밍 파이프라인 구축 · 운영
• S3 호환 오브젝트 스토리지 처리, Linux · 디스크 트러블슈팅
우대사항
• Iceberg 직접 운영, Trino 튜닝, Flink 경험
• 데이터 품질 프레임워크 도입 경험
• ML 학습 데이터셋 관리 경험
• 데이터 카탈로그 · 리니지 추적 체계 구축 경험