주요업무
🔹현재 우리가 풀고 있는 문제들이에요.
• 인간의 합의 수준에 도달하는 Hallucination Detection: 전문 평가자들조차 약 90%의 경우에만 의견이 일치한다면, 검증에서의 진전이 무엇을 의미하는지, 그리고 어떻게 그 수준에 도달할 수 있는가?
• 에이전트 행동 변화의 조기 경보: 장기 실행 에이전트가 실패하기 전에 runtime signal을 통해 실패를 예측하는 방법
• 멀티 에이전트 시스템의 안전성과 보안: 단일 에이전트 분석만으로는 포착할 수 없는, 에이전트 간 상호작용에서 발생하는 실패와 공격을 이해하고 방어하는 방법
• 확장 가능한 Human Oversight: AI의 출력이 이를 검증할 수 있는 사람의 수를 훨씬 넘어서는 상황에서, 제한된 전문가 검토를 가장 효과적으로 활용하는 방법
• Detector와 Judge를 위한 Confidence Calibration: 신뢰도 점수가 실제 의미하는 바와 일치하도록 만들어, 개입과 escalation이 적절한 threshold에서 발생하도록 하는 방법
• 검증 가능한 Trust Task를 위한 Small Model Post-training: 단순한 reward 설계가 실패하는 상황에서 GRPO와 같은 RL 기반 방법을 활용하고, ensemble 전략을 통해 신호를 다시 확보하는 방법
🔹이 역할에서 주도하게 될 일들이에요.
• Hallucination Detection, Guardrails, Jailbreak와 Prompt Injection 방어, Agent Behavioral Drift를 아우르는 Runtime Trust Layer 연구 방향 정의 및 주도
• 0.2초 SLA, 온프레미스 배포, 규제 데이터 제약 아래 작은 모델이 큰 모델을 넘어서는 training, evaluation, inference 기법 개발
• AI Trust와 Agent Safety 연구에서 기준점(reference point)이 될 만큼 엄밀한 데이터셋, 벤치마크, 평가 프로토콜 설계
• 최상위 학회(NeurIPS, ICML, ICLR, ACL, EMNLP)에 논문 발표 및 글로벌 연구 커뮤니티에서 티냅스를 대표함.
• Applied AI 엔지니어와 연구 결과의 배포 시스템 전환, 프로덕션 실패 사례의 연구 질문화