생각하는 동안 전투는 계속됩니다: 스타크래프트가 묻는 AI의 판단 속도

핵심 요약

• 실시간 게임에서는 AI가 판단하는 데 걸리는 시간도 성능을 좌우합니다.
• 상황을 관측하고 행동에 옮기기까지 오래 걸리면, 처음에는 맞았던 명령도 쓸모없어질 수 있습니다.
• 에이전트를 평가할 때는 승률과 함께 게임 속도와 자동 제어 범위를 살펴야 합니다.
• 장기 계획과 즉각적인 대응을 나누는 설계는 판단 지연을 다루는 한 가지 방법입니다.

AI에게 답변을 받는 데서 더 나아가 실제 행동까지 맡기려면 정확도와 함께 판단에 걸리는 시간도 따져야 합니다. 아무리 정확한 판단이라도 너무 늦으면 소용이 없기 때문입니다. 스타크래프트: 브루드 워를 보면 그 이유를 쉽게 알 수 있습니다.

좋은 전략에도 유효 시간이 있습니다

스타크래프트에서는 상대가 내 생각이 끝날 때까지 기다려주지 않습니다. 병력을 어디로 보낼지 고민하는 사이에도 적은 움직이고, 공격받는 유닛의 체력은 줄어듭니다.

LLM, 즉 대규모 언어 모델을 쓰는 에이전트도 마찬가지입니다. 상황을 전달받은 에이전트가 행동을 정해 게임에 명령을 내리기까지는 시간이 걸립니다. 게임을 멈추지 않는다면 그동안에도 전투는 계속됩니다.

예를 들어 “병력을 뒤로 빼야 한다”는 판단은 정확할 수 있습니다. 하지만 명령이 도착하기 전에 병력이 전멸했다면 소용이 없습니다. 전략이 맞았는지와 제때 실행했는지를 함께 살펴야 합니다.

3초 전의 정답이 지금은 오답일 수 있습니다

전투 상황을 관측한 뒤 명령을 내리기까지 3초가 걸린다고 가정해 보겠습니다. AI는 적 병력이 흩어져 있다는 정보를 보고 공격하기로 합니다. 그런데 그사이 적이 합류했다면, 공격 명령 때문에 불리한 상황에서 싸움을 시작할 수 있습니다.

이때는 손이 느린 것만이 문제가 아닙니다. 판단의 근거로 삼았던 상황 자체가 이미 달라진 겁니다.

여기서 말하는 추론 지연은 모델이 답을 만들기까지 걸리는 시간입니다. 실제로 행동하기까지는 관측 정보를 정리하고 명령을 전달하는 시간도 더해집니다. 모델의 응답 속도만 재서는 에이전트가 실제로 얼마나 늦게 움직이는지 알기 어렵습니다.

더 오래 생각하면 더 나은 판단을 내릴 수도 있습니다. 하지만 실시간 환경에서는 생각하는 동안에도 상황이 바뀌어, 처음 받은 정보가 쓸모없어질 수 있습니다. 더 고민할 가치가 있는 순간과 일단 움직여야 하는 순간을 구분해야 합니다.

승률을 보기 전에 시계부터 확인해야 합니다

브루드 워로 LLM 에이전트를 평가한다면 먼저 추론 중에도 게임이 진행되는지를 확인해야 합니다. 게임을 멈춰두면 전략을 고르는 능력을 살펴보기 좋습니다. 게임이 계속된다면 얼마나 빨리 판단하는지도 결과에 영향을 줍니다.

게임 속도도 중요합니다. 응답에 걸리는 시간이 같아도 게임이 빠르게 진행될수록 AI가 대응할 여유는 줄어듭니다. 시간 조건이 서로 다른데 승률만 놓고 비교하면 결과를 잘못 해석할 수 있습니다.

AI가 어디까지 직접 조작하는지도 살펴야 합니다. “이 지역을 공격하라”는 명령을 내린 뒤 이동과 교전은 별도 프로그램이 처리할 수도 있고, AI가 유닛의 세부 행동까지 일일이 지시할 수도 있습니다. 두 방식에서 AI가 해내야 할 일은 다릅니다.

그래서 “AI가 스타크래프트를 못한다”는 평가만으로는 어디를 고쳐야 할지 알기 어렵습니다. 전략을 잘못 고른 건지, 맞는 명령을 늦게 내린 건지부터 살펴야 합니다. 조작 과정에 문제가 없었는지도 따로 확인해야 합니다.

모든 순간을 깊이 생각할 필요는 없습니다

판단이 늦어지는 문제에 대처하려면 장기 계획과 즉각 대응을 분리하는 방법을 생각해 볼 수 있습니다. LLM은 생산 방향이나 공격 목표처럼 비교적 긴 시간을 내다봐야 하는 판단을 맡습니다. 당장 공격받는 유닛을 피하게 하는 일은 빠르게 작동하는 제어 프로그램에 맡길 수 있습니다.

회사로 치면 사업 방향을 정하는 회의와 현장의 긴급 대응을 구분하는 셈입니다. 무슨 일이든 회의를 거쳐야 움직일 수 있다면 작은 문제에도 대응이 늦어집니다.

역할을 나눈다고 문제가 모두 풀리지는 않습니다. 현장에서 급히 취한 행동이 전체 전략과 어긋날 수도 있습니다. 어떤 행동은 곧바로 실행해도 되는지, 어떤 상황에서는 상위 계획을 다시 요청해야 하는지 정해야 합니다.

평가할 때도 전체 시스템이 거둔 성과와 LLM이 맡아서 해낸 일을 구분해야 합니다. 승률이 올랐더라도 모델이 판단을 잘해서인지, 제어 프로그램이 빠르게 움직여서인지에 따라 그 결과를 다르게 해석해야 하기 때문입니다.

스타크래프트에서는 좋은 판단도 때를 놓치면 소용이 없습니다. 실제로 움직이는 에이전트라면 답을 잘 내는 것만큼 제때 행동하는 능력도 갖춰야 합니다. AI에게 일을 맡길 때는 정답률과 함께 “얼마나 늦게 도착한 정답인가”도 따져야 합니다.