직무 Summary
넥스트증권 AI데이터플랫폼팀과 함께 금융 데이터 플랫폼의 기반 인프라(Databricks·Kafka·EKS·RDS)를 운영할 Data Engineer (Data Platform, 경력)를 모집합니다. Databricks 레이크하우스(Delta Lake·Unity Catalog), Confluent Kafka 클러스터, 데이터 서비스·API·배치 워커를 실행하는 EKS 클러스터, 서비스 데이터를 저장하는 RDS를 직접 운영합니다. 환경 분리·권한·비용·용량·백업·복구를 관리하고 이 구성을 Terraform과 CI/CD로 코드화합니다. 운영 중인 Kafka·Databricks·EKS·RDS 워크로드의 안정성 기준과 장애 복구·멀티 환경 확장 절차를 팀 표준으로 정립하는 자리입니다.
주요업무
• 레이크하우스 플랫폼 설계·운영: Databricks Delta Lake·Unity Catalog 기반 레이크하우스의 스토리지·컴퓨트·카탈로그 구조를 설계하고 환경 분리·권한·비용·성능을 관리합니다.
• Kafka 플랫폼 운영: Confluent Kafka 클러스터(브로커·Schema Registry·Kafka Connect 클러스터)를 구축·운영합니다. 토픽·ACL·쿼터·보존 정책과 멀티 환경 구성을 관리하고 처리량·지연·장애 복구·버전 업그레이드를 책임집니다.
• 서비스 인프라 운영(EKS·RDS): 데이터 서비스·API·배치 워커가 동작하는 EKS 클러스터와 RDS 인스턴스를 운영합니다. 버전 업그레이드·노드와 용량 관리·백업·복구·보안 패치·비용을 책임지고 장애에 대응합니다.
• 파이프라인 실행 플랫폼: Financial Data DE·DAE가 개발한 배치·스트리밍 파이프라인이 동작하는 실행 환경(컴퓨트·스케줄러·오케스트레이션·관측)을 운영하고 재처리·백필을 수행할 수 있는 운영 도구와 절차를 제공합니다.
• 데이터 품질·거버넌스 플랫폼: 데이터 담당자가 정의한 품질 규칙을 파이프라인에 적용하고 결과를 모니터링할 수 있도록 공통 품질 게이트와 운영 도구를 제공합니다. 카탈로그·리니지 수집 기반과 권한 적용 자동화를 운영하고 데이터별 계약·메타데이터·접근 요건은 데이터 담당자와 협의해 반영합니다.
• IaC·환경 자동화: Terraform 등 IaC와 CI/CD로 데이터 인프라·워크스페이스·권한·네트워크 구성을 코드화하고 환경 복제·확장을 자동화합니다.
• 플랫폼 안정성·온콜: 모니터링·알림·런북을 정비하고 공통 플랫폼·인프라 장애의 온콜 rotation에 참여합니다. 개별 파이프라인의 처리 로직·데이터 품질 장애는 해당 데이터 담당자와 협업해 복구하고 사후 개선을 주도합니다.
• 다운스트림 플랫폼 지원: 데이터를 사용하는 서비스·분석·AI/ML 팀이 안정적으로 데이터를 소비하도록 플랫폼 인터페이스·가용성과 전송 지연 기준·운영 가이드를 제공합니다.
자격 요건
• 5년 이상의 데이터 엔지니어 또는 데이터 플랫폼 엔지니어 경력
• Python, Java, Kotlin 중 하나 이상의 프로그래밍 언어에 능숙하신 분
• Apache Spark 또는 Databricks 등 대용량 처리 플랫폼을 프로덕션에서 운영해보신 분
• 대용량 데이터 처리와 분산 시스템을 이해하고 계신 분
• 배치·스트리밍 파이프라인의 실행 환경(스케줄러·오케스트레이션·관측)을 운영하고 장애 시 재처리·백필을 지원해보신 분
• AWS 등 퍼블릭 클라우드에서 데이터 인프라를 구축·운영해보신 분
• 다음 중 1개 이상을 프로덕션에서 직접 운영해보신 분
- EKS 등 Kubernetes 클러스터(배포·업그레이드·노드 관리·모니터링·장애 대응)
- RDS 등 관리형 RDBMS(PostgreSQL, MySQL 등)(백업·복구·성능 튜닝·보안 설정)
• Terraform 등 IaC로 인프라를 코드화하고 CI/CD와 함께 운영해보신 분
• 모니터링·알림·온콜 등 프로덕션 운영 경험이 있으신 분
우대사항
• Kafka 클러스터(Schema Registry·Kafka Connect·ksqlDB 등)를 프로덕션에서 설계·운영하고 처리량·지연·장애 복구·업그레이드를 직접 다뤄보신 분
• 배치·스트리밍 파이프라인을 직접 설계·운영하고 재처리·백필·멱등성을 확보해보신 분
• Databricks(Delta Lake, Unity Catalog, DLT) 또는 유사 레이크하우스 플랫폼을 멀티 환경으로 운영해보신 분
• Helm·Argo CD 등 GitOps 기반 Kubernetes 배포 자동화 경험이 있으신 분
• RDS·Aurora PostgreSQL에서 Multi-AZ 구성·읽기 복제본 운영·PITR 복구를 설계하고 운영해보신 분
• 멀티 클러스터·미러링·환경 복제 등 플랫폼 확장을 설계해보신 분
• 데이터 계약·리니지·카탈로그·품질 도구(dbt, OpenLineage, Great Expectations 등)를 플랫폼에 연동해보신 분
• 증권·은행·카드사 등 금융·규제 환경에서 데이터 플랫폼을 운영해보신 분
• 전자금융감독규정, ISMS-P 등 금융 규제·보안 요구사항을 인프라 설계에 반영해보신 분
• 데이터를 사용하는 서비스·분석·AI/ML 팀과 플랫폼 SLA를 합의하고 운영해보신 분
• AI 코딩 에이전트(Claude Code, Codex, Cursor 등)를 활용한 Agentic Engineering 경험 또는 관심이 있으신 분
채용절차
■ 채용 과정
• 서류접수 → 1차 인터뷰 → 2차 인터뷰 → 처우논의 → 최종합격
• 전형 단계 중 필요 시, 사전 동의 후 레퍼런스 체크 진행
• 장애인 및 국가보훈대상자는 지원 시 관련법에 따라 우대함
■ 제출 서류 (필수)
· 국문 이력서 및 자기소개서(자유 양식) 제출
· (선택) GitHub/기술 블로그/포트폴리오 링크 첨부
기타안내
[유의사항]
· 상기 영입 절차는 기본 프로세스이며, 회사의 사정에 따라 전형 절차가 추가 또는 변경될 수 있습니다.
· 세부 사항(지원 자격, 전형 방식 등)은 공고별로 상이하며, 지원자는 공고 내용을 충분히 확인할 책임이 있습니다.
· 지원서 및 제출 자료에 기재된 내용이 사실과 다르거나 허위로 판명될 경우, 전형 진행 중 또는 합격 이후라도 채용이 취소될 수 있습니다.
· 전형 진행 과정에서 필요 시, 지원자의 사전 동의를 받아 레퍼런스 체크 등 추가 검증 절차가 진행될 수 있습니다.
· 장애인 및 국가보훈대상자는 관련 법령에 따라 우대합니다.
· 원활한 채용 운영을 위해 동일 기간 내 복수 포지션에 대한 동시 지원은 제한될 수 있습니다.
· 본 채용은 수시채용으로 진행되며, 적합한 인재 채용 시 공고는 사전 고지 없이 조기 마감될 수 있습니다.
· 면접 방식 및 소요 시간은 전형 단계 및 상황에 따라 변경될 수 있습니다.
· 복지 및 혜택은 회사의 내부 규정, 취업규칙 및 개별 근로계약에 따라 변경 또는 제한될 수 있으며, 근로 형태에 따라 적용 범위가 상이할 수 있습니다.