상대 말의 정체를 모르는 AI, 적은 연산으로도 강해질까

핵심 요약

• 스트라테고에서는 상대 말의 위치를 알아도 정체까지 알 수는 없습니다.
• 믿음 모델은 관찰한 행동을 바탕으로 숨겨진 정보를 추정하고, 새 단서에 따라 추정을 바꿉니다.
• 강화학습에서는 당장의 이득뿐 아니라 이후 판단에 도움이 되는 행동도 배울 수 있습니다.
• 적은 연산으로 강하다는 주장은 학습 비용과 실제 플레이 비용을 나눠 봐야 판단할 수 있습니다.
• 게임에서의 실력을 현실에 적용하려면 규칙 변화와 잘못된 추정에도 대응해야 합니다.

AI가 결정을 내려야 하는데 필요한 정보가 전부 주어지지 않을 때가 있습니다. 스트라테고 AI Ataraxos도 이런 어려움을 안고 있습니다. 상대 말의 정체를 모르는 상태에서 좋은 판단을 배우고, 그 실력을 적은 연산으로 발휘할 수 있을까요?

말의 위치는 보이는데, 무엇인지는 모릅니다

체스에서는 상대의 퀸과 폰을 구분할 수 있습니다. 스트라테고에서는 상대 말이 어디 있는지는 보여도 어떤 계급인지는 처음부터 알 수 없습니다. 전투로 말의 정체가 드러나기 전까지는 움직임과 배치를 보고 추측해야 합니다.

이런 게임을 불완전 정보 게임이라고 부릅니다. 계산해야 할 경우의 수가 많아서만은 아닙니다. 계산을 시작하려 해도 현재 상황의 일부가 숨겨져 있기 때문입니다.

그래서 눈앞의 말이 약해 보인다고 공격하는 게 늘 좋은 선택은 아닙니다. 실제로는 강한 말일 수도 있고, 상대가 일부러 유인하고 있을 수도 있습니다. 좋은 수를 찾으려면 먼저 “지금 무엇과 마주하고 있는가”부터 판단해야 합니다.

믿음 모델은 여러 가능성을 따져봅니다

이때 쓸 수 있는 방법이 믿음 모델, 즉 belief model입니다. 관찰한 정보를 바탕으로 숨겨진 상태를 추정하는 모델입니다. 여기서 ‘믿음’은 확신이라기보다 여러 가능성에 각각 매긴 확률에 가깝습니다.

예를 들어 스트라테고의 폭탄은 움직이지 않습니다. 상대 말이 움직였다면 그 말이 폭탄일 가능성은 제외할 수 있습니다. 반대로 아직 움직이지 않았다는 이유만으로 폭탄이라고 단정할 수는 없습니다.

같은 관찰이라도 후보에 따라 의미가 다릅니다. 어떤 후보는 완전히 지울 수 있지만, 다른 후보가 맞는지 판단할 때는 약한 단서에 그칠 수 있습니다.

상대가 특정 말을 적극적으로 전진시킨다고 해보겠습니다. 강한 말일 가능성을 생각할 수 있지만, 허세일 가능성도 남겨둬야 합니다. 행동을 보고 추정을 바꾸면서도 상대의 의도를 안다고 단정해서는 안 됩니다.

믿음 모델은 대체로 이런 원리로 작동합니다. 특정 AI가 이 원리를 얼마나 잘 구현했는지는 성능을 따로 평가해 확인해야 합니다.

강화학습에서는 정보를 얻는 행동도 가치가 있습니다

믿음 모델로 상황을 추정했다면, 강화학습으로는 그 상황에서 어떤 행동을 선택할지 배울 수 있습니다. 행동한 뒤 받은 보상을 바탕으로 더 나은 선택을 하도록 배우는 방식입니다.

스트라테고에서는 말 하나를 잃는 행동도 나중에 도움이 될 수 있습니다. 전투를 통해 상대의 중요한 말이 무엇인지 알아내면, 이후 공격과 방어를 더 정확히 계획할 수 있기 때문입니다.

물론 말을 잃었다고 해서 모두 좋은 탐색은 아닙니다. 그렇게 얻은 정보가 다음 판단에 실제로 도움이 되어야 합니다. 당장 입은 손해보다 나중에 얻는 이득이 커야 하는 셈입니다.

강화학습으로 이런 선택을 배우려면 정보를 얻는 행동이 최종 보상에 어떻게 도움이 되는지 연결할 수 있어야 합니다. 승리에 보상을 준다고 유용한 탐색 전략이 저절로 생기지는 않습니다. 충분한 경험을 쌓게 하고 학습 과정도 적절히 설계해야 합니다.

이렇게 보면 AI의 실력에는 이미 아는 정보를 잘 활용하는 능력과 함께 무엇을 더 알아봐야 하는지 판단하는 능력도 포함될 수 있습니다. 정보를 얻기 위해 어떤 행동을 택하느냐도 실력의 일부가 되는 겁니다.

‘적은 연산’은 학습과 플레이를 나눠 봐야 합니다

이런 능력을 적은 비용으로 얻을 수 있다면 쓸 수 있는 곳도 늘어납니다. 다만 비용이 적게 든다는 말을 판단하려면 어느 과정에서 얼마나 썼는지부터 살펴봐야 합니다.

학습 비용은 AI가 실력을 갖추는 데 들인 자원입니다. 추론 비용은 학습을 마친 AI가 실제로 한 수를 선택할 때 쓰는 자원입니다. 훈련에는 많은 비용이 들었어도 실제 플레이에는 적게 들 수 있고, 반대일 수도 있습니다.

믿음 모델을 쓴다고 계산 비용이 저절로 줄지는 않습니다. 가능성이 낮은 상황에 쓰는 계산을 줄이는 데는 도움이 될 수 있지만, 추정이 틀리면 중요한 경우를 놓칠 수 있습니다. 모델 자체를 실행하는 데도 비용이 듭니다.

Ataraxos의 경쟁력을 평가할 때도 승률과 비용을 함께 봐야 합니다. 챔피언을 이겼다는 결과가 나오더라도 대국 수와 초기 배치 조건을 살펴야 합니다. 수를 선택하는 데 허용된 시간도 판단에 영향을 줍니다. 한 번 이긴 결과와 여러 조건에서 거듭 우위를 보인 결과는 근거로서 무게가 다릅니다.

현실에서는 게임 규칙까지 흔들립니다

스트라테고에서는 상대 말의 정체가 숨겨져 있어도 말의 종류와 전투 규칙은 정해져 있습니다. 무엇을 모르는지 그 범위는 비교적 분명합니다.

현실에서는 그 범위마저 달라집니다. 고객의 행동이 바뀌거나 센서가 고장 날 수 있습니다. 예전에는 없던 상황도 나타나므로, 기존 후보 중 하나를 맞히는 능력만으로는 충분하지 않을 수 있습니다.

예를 들어 설비 고장을 진단하는 시스템을 생각해보겠습니다. 여러 원인의 가능성을 따져본 뒤 추가 검사를 고르는 방식은 믿음 모델과 닮았습니다. 하지만 후보 목록에 없는 고장이라면, 기존 원인 중 하나를 높은 확률로 골라도 판단은 틀립니다.

현실에 적용할 때는 “가장 그럴듯한 답은 무엇인가”와 함께 “현재 가정으로 설명할 수 있는 상황인가”도 물어야 합니다. 확신이 부족할 때 추가 정보를 요청하거나 판단을 보류할 수 있어야 합니다.

스트라테고 AI가 숨겨진 정보를 끝내 모두 알아내야만 좋은 판단을 할 수 있는 것은 아닙니다. 불확실성이 남아 있어도 감당할 수 있는 비용 안에서 좋은 선택을 이어갈 수 있어야 합니다. 현실에서 AI에게 판단을 맡길 때도 필요한 능력입니다.