AI 여러 대가 서로 대화하면서 알아서 일을 처리하게 만들어볼까 하다가 멈췄습니다. 걸린 게 두 가지였어요.
하나는 비용입니다. 사람이 안 보는 사이에 둘이 주거니 받거니 하면 그날 쓸 수 있는 양을 한 번에 다 태울 수 있습니다. 다른 하나는 더 고약한데, 대화가 길어지면 AI 는 앞부분을 요약해서 줄입니다. 그게 계속 반복되면 처음에 준 지시가 어디까지 남아 있는지 아무도 모르게 됩니다.
그래서 물었습니다. 이걸 실제로 하는 사람들은 무엇으로 멈추게 하고 있을까.
논문 쪽에서는 AI 가 안 멈추는 현상을 정면으로 다룬 연구와, 긴 대화를 요약해서 줄일 때 무엇이 사라지는지를 측정한 연구를 봤습니다.
도구 쪽에서는 여러 AI 를 묶어 쓰는 프레임워크들이 기본으로 무엇을 막아두고 있는지를 확인했습니다.
검색 결과 요약만 보고 쓰지 않았습니다. 수치는 원문을 직접 열어 확인한 것만 적었고, 확인이 안 된 건 아래에 따로 적어뒀습니다.
둘이 서로에게 공을 넘기며 끝나지 않는 걸 핑퐁이라고 부릅니다. 각자 자기 몫을 끝낸 다음 “이건 네 일인 것 같은데” 하고 넘기다가 도는 것은 뜨거운 감자라고 하고요.
“되먹임 경로가 효과적으로 묶여 있지 않으면, 에이전트는 모델 호출·도구·작업 전환·에이전트 간 인계를 반복해서 실행할 수 있다.”
출처: When Agents Do Not Stop — AI가 안 멈추는 구조를 훑은 연구
쉽게 말하면 끝을 정해둔 사람이 없어서 그렇습니다. AI 가 고장나서 생기는 게 아니에요.
받으면 답해야 하고, 끝났다고 선언할 쪽이 아무도 없으면 계속 넘깁니다.
같은 연구가 공개된 AI 프로그램 저장소 6,549곳을 자동으로 훑었습니다.
의심 사례 74건이 나왔고, 사람이 직접 확인해 47개 프로젝트에서 68건을 사고로 확정했습니다. 남의 얘기가 아니라는 뜻입니다.
대부분의 도구에 최대 몇 번까지라는 설정이 있습니다. 그런데 그 장치는 횟수만 셉니다.
같은 말을 열 번 반복하는 것과 열 걸음 전진하는 것을 구분하지 못합니다. 열 번까지 허용하면 같은 소리를 열 번 하는 데 다 쓸 수 있다는 뜻이에요.
그래서 권장되는 건 횟수 제한에 더해, 같은 행동이 반복되는지 보는 장치를 같이 거는 것이었습니다.
대화가 길어지면 AI 는 앞부분을 요약해서 줄입니다. 한 연구가 모델 일곱 종류, 1,323번의 작업으로 이걸 쟀습니다.
“화면에 보이는 동안에는 에이전트가 확실히 지키던 규칙이, 요약 과정에서 조용히 사라질 수 있다. 그리고 같은 에이전트가 나중에 금지된 동작을 하게 된다.”
출처: Governance Decay — 요약이 안전 규칙을 지우는 과정
요약이 지우는 건 옛날 얘기가 아니라 하지 말라고 해둔 것이었습니다.
더 고약한 건 지워진 쪽이 자기가 뭘 잃었는지 모른다는 점입니다. 규칙이 있었다는 사실 자체가 같이 사라지니까요.
처방은 단순했습니다. 지켜야 할 규칙만 요약 대상에서 빼두고, 매번 다시 붙이면 위반이 0% 로 돌아왔습니다.
자라게 두었다가 넘칠 때 요약해서 줄이는 쪽이 치료입니다. 애초에 길어지지 않게 구조로 묶어두는 쪽이 예방이고요.
요약 비용도 안 들고 잃는 것도 없다는 점에서, 예방 쪽이 낫다는 게 공통된 정리였습니다.
①②③④⑥ 이 맞았습니다.
특히 ⑥ 이 그랬습니다. 바깥 자료 대부분이 많은 사용자에게 서비스하는 제품을 전제합니다. 그쪽은 대화 기록을 비용으로 보기 때문에, 적당히 잊게 하자는 쪽이 자연스러운 처방이 됩니다.
한 사람과 오래 쌓아가는 식으로 쓰는 경우라면 그 처방을 그대로 가져오면 손해입니다.
⑤ 를 새로 배울 건 알아채는 법이라고 적었는데, 반만 맞았습니다.
제가 진짜로 모르고 있던 건 ④ 였습니다. 요약이 정보를 잃는다는 건 알고 있었고, 그래서 비용 문제로 생각하고 있었습니다.
먼저 사라지는 게 지시사항이고 그게 숫자로 측정돼 있다는 건 몰랐습니다. 비용 문제가 아니라 통제 문제였습니다.
제가 처음 세웠던 안전장치는 세 개였습니다. 각자 한도를 넘으면 빠지게 하고, 조용해지면 해산하고, 사람이 한마디 하면 끝내는 것.
그런데 찾아보고 나서 다시 보니 셋 다 정작 제일 위험한 경우에 안 걸립니다. 한도는 다시 시작하면 초기화되고, 안 멈추는 대화는 애초에 조용해지지 않고, 사람은 그 시각에 자리에 없습니다.
그래서 순서를 바꿨습니다. 언제 멈출까를 정하는 대신, 계속 돌 수 없는 구조로 만든다 쪽입니다.
멈추는 규칙은 지켜야 서는 거라 안 지켜지면 그만인데, 연료가 없으면 읽지 않아도 섭니다.