주요업무
⚙️ 크라우드웍스 AI 연구개발본부 데이터플랫폼팀은
기업의 다양한 정형·비정형 데이터를 수집하고, 파싱·청킹·임베딩·인덱싱하여 검색, RAG, LLM, Agent 등 AI 서비스에서 활용할 수 있도록 데이터 파이프라인을 개발하고 있습니다.
Backend Engineer는 데이터가 수집되어 AI가 활용 가능한 형태로 만들어지는 전체 흐름을 설계하고 구현합니다.
단순한 API 개발을 넘어 대량의 문서를 안정적으로 처리하기 위한 비동기 작업 구조, 데이터 처리 상태와 이력 관리, 재처리와 장애 복구, 검색 시스템 연계 등 데이터 파이프라인 전반의 백엔드 아키텍처를 다룹니다.
다양한 데이터와 처리 환경에서도 확장 가능하고 안정적인 플랫폼을 만들고, 새로운 데이터 처리 방식과 AI 기술을 실제 제품에 적용할 수 있는 구조를 함께 고민하는 포지션입니다.
• Java / Spring Boot 기반 데이터 플랫폼 백엔드 서비스 설계 및 개발
• 데이터 수집, 파싱, 청킹, 임베딩, 인덱싱으로 이어지는 End-to-End 데이터 파이프라인 설계 및 구현
• 대량 데이터 처리를 위한 비동기·분산 작업 구조 및 워크플로우 설계
• 데이터 처리 상태, 이력, 리니지 및 재처리 구조 설계
• OpenSearch 등 검색·Vector Search 시스템과의 연계 구조 설계 및 개발
• 장애 복구, 재시도, 중복 처리 방지 등 안정적인 데이터 처리 구조 설계
• 시스템의 성능, 확장성, 운영 안정성을 지속적으로 분석하고 개선
• 데이터 플랫폼의 기술적 문제를 정의하고 새로운 기술의 적용 가능성을 검토