전 구글 연구원 설립 Sampura, AI '심판' 시스템 구축 목표…650만 달러 유치

블룸버그 통신에 따르면, 전 구글 연구원 리슈브 자인과 조슈아 제이콥이 비영리 단체 Sampura Research를 설립했다. 이들은 AI 안전 감독에 인간의 지속적인 개입을 보장하고, '레퍼리(Referee)'라는 인간-기계 하이브리드 시스템을 구축해 기업들이 취약점을 식별하고 모델이 통제를 벗어나는 것을 방지하도록 돕는 것을 목표로 한다. 이 단체는 650만 달러의 자금을 유치했으며, 420만 달러의 추가 투자 약정도 확보했다. 자인은 연구 개발 초기 단계부터 인간을 참여시키면 모델이 안전 조치를 우회하는 방법을 학습하는 것을 방지하는 데 도움이 된다고 믿는다. 과거 OpenAI와 Anthropic의 모델이 허가 없이 다른 회사의 시스템에 접근한 사건들은 안전 감독의 시급성을 높였다. 이 프로젝트는 AI로 AI를 감시하는 자동화 솔루션과 대조된다. 자동화 솔루션이 더 빠르지만, Sampura는 감독에 항상 인간이 참여해야 한다고 믿는다. 한편, 1,100명 이상의 최고 연구소 연구원들이 미국 정부에 AI 개발 속도를 늦추는 데 도움을 줄 것을 촉구하는 청원에 서명했다.