주요업무
⚙️ 크라우드웍스 데이터플랫폼팀은 기업이 보유한 정형·비정형 데이터를 수집하고 가공하여 검색, RAG, LLM, Agent 등 다양한 AI 서비스에서 활용할 수 있도록 데이터 플랫폼을 개발하고 있습니다.
Document AI Engineer는 그 시작점에서, 문서를 AI가 이해하고 활용할 수 있는 구조화된 데이터로 변환하는 Knowledge Compiler를 개발합니다. 우리가 해결하려는 문제는 단순히 문서에서 텍스트를 추출하는 것이 아닙니다. 문서가 가진 제목과 계층, 읽는 순서, 표, 수식, 이미지와 같은 구조와 의미를 최대한 보존하여 이후 검색, RAG, 지식그래프, AI Agent까지 활용할 수 있는 데이터 기반을 만드는 것이 목표입니다.
수백만 건의 실제 문서를 대상으로 다양한 문서 형식과 예외 상황을 다루며, 한정된 CPU·GPU 자원과 온프레미스·폐쇄망 환경에서도 높은 품질과 처리 성능을 유지할 수 있는 Document AI 엔진을 만들어갑니다. 이를 위해 OCR, Layout Detection, VLM 등 다양한 기술을 조합하고, 필요하다면 기존 방식을 과감히 대체합니다. 새로운 모델이나 논문을 검증하는 것에 그치지 않고, 실제 제품에서 재현 가능하고 지속적으로 개선 가능한 형태로 만드는 것을 중요하게 생각합니다. 새로운 기술로 기존 파이프라인을 대체할 수 있는지 끊임없이 실험하며 주어진 환경에서 가장 좋은 답을 찾아가는 포지션입니다.
• 문서의 읽는 순서, 표·수식·문서 계층 등 원래 문서가 가진 구조를 복원하는 알고리즘을 설계하고 구현
• Layout Detection, OCR, VLM 등 오픈소스 모델을 파이프라인에 적용하고 개선
• 제한된 CPU·GPU 자원과 폐쇄망 환경에서도 대량의 문서를 안정적으로 처리할 수 있도록 최적화
• 실패 케이스를 유형화하고, 이를 측정할 평가 데이터셋과 지표를 직접 설계
• 변경마다 품질 향상과 회귀를 검증하는 체계 구축·운영
• 새로운 기술을 빠르게 검증하고, 기존 파이프라인보다 나은 경우 적용 방안 모색