"너무 모호해서 더 까다로운" LLM의 허점 5가지

LLM(대규모 언어 모델)은 무수히 많은 회사 업무를 처리할 수 있다는 장밋빛 전망을 제시하지만, IT 경영진은 LLM이 아주 작은 자극에도 가드레일과 기타 제한을 무시하는, 극히 연약한 기술이라는 사실을 깨닫고 있다.

예를 들어 최종 사용자가 실수로(또는 공격자가 악의적으로) LLM 쿼리 창에 너무 많은 데이터를 입력하는 경우 오류 메시지가 반환되지 않고, 시스템이 충돌하는 듯한 모습도 보이지 않는다. 그러나 LLM은 그 즉시 프로그램된 사항을 무시하고 모든 가드레일을 무력화하는 경우가 많다.

해커원(HackerOne)의 선임 솔루션 설계자인 데인 셔레츠는 "LLM과 관련된 가장 큰 위협은 쉬운 오버플로우다. LLM에 너무 많은 정보를 제공하면 오버플로우가 발생해서 시스템 프롬프트, 학습한 내용, 미세 조정한 내용을 모두 잊는다”라고 말했다. (AI 연구 스타트업으로 클로드(Claude) LLM 제품군을 만든 앤트로픽(Anthropic)은 보안 허점을 자세히 다룬 글을 올렸다.

(하략)