AI는 시그모이드 곡선이라는 위안, 정말 안심해도 될까

요즘 AI 업계에서 가장 자주 들리는 위안의 말이 있습니다. “결국 모든 기술은 시그모이드 곡선이야. 지금은 가파르지만 곧 평평해질 거야.” 그런데 Astral Codex Ten의 Scott Alexander가 이 위안에 대해 차분하게 반박을 내놓았고, 그 논리가 꽤 묵직합니다.

시그모이드라는 안도의 서사

시그모이드 곡선은 S자 모양입니다. 처음엔 느리게, 중간에 폭발적으로, 그리고 어느 시점부터는 다시 완만해지는 그래프인데요. 무어의 법칙도, 자동차 속도도, 비행기 고도도 결국 이 곡선을 따랐습니다.

그래서 많은 사람들이 말합니다. AI도 마찬가지일 거라고. GPT-3에서 GPT-4로 갈 때의 도약은 인상적이었지만, 어느 순간엔 데이터도, 연산도, 알고리즘 개선도 한계에 부딪힐 거라고요. “걱정하지 마라, 곧 평평해질 것이다”가 핵심 메시지입니다.

이 주장에는 일종의 심리적 안도가 깔려 있습니다. AGI가 정말 가까이 왔다는 불안, 일자리가 사라질 거라는 공포, 인류가 통제력을 잃을 거라는 두려움. 이 모든 것에 대해 시그모이드는 “괜찮아, 자연이 알아서 멈춰줄 거야"라고 속삭이는 거죠.

Scott Alexander의 반박: 어느 지점에서 멈추느냐가 핵심

문제는 시그모이드가 평탄해지는 지점이 어디인지 아무도 모른다는 겁니다. Alexander의 핵심 논점이 바로 여기에 있습니다.

비행기를 예로 들어보면 명확합니다. 비행기 속도는 시그모이드 곡선을 그렸고, 결국 음속 근처에서 평탄해졌습니다. 그런데 만약 비행기가 평탄해진 지점이 시속 10km였다면? 인류 문명은 완전히 달라졌을 겁니다. 반대로 광속 근처에서 평탄해졌다면, 그것도 다른 세상이었겠죠.

AI도 마찬가지입니다. 시그모이드가 “평균적인 대학원생 수준”에서 멈출 수도 있고, “역사상 모든 천재를 합친 수준”에서 멈출 수도 있습니다. 두 시나리오의 결과는 천지 차이인데요. 곡선의 모양만 보고 안심하는 건 마치 비행기가 시그모이드를 그린다는 사실만 알고 그게 시속 10km인지 음속인지 모르는 채로 항공사 주식을 사는 것과 비슷합니다.

우리는 곡선 위 어디쯤에 있는가

Alexander가 지적하는 또 다른 문제는 현재 위치를 모른다는 점입니다. AI 능력 곡선 위에서 우리는 지금 어디에 있을까요? 가파른 상승 구간의 시작? 한복판? 아니면 이미 변곡점을 지난 끝자락?

이 질문에 자신 있게 답할 수 있는 사람은 거의 없습니다. 벤치마크 점수는 계속 갱신되고 있지만, 그게 곡선의 어느 지점인지는 측정할 도구가 없는데요. 어떤 연구자들은 이미 한계가 보인다고 하고, 다른 연구자들은 이제 막 시작이라고 합니다.

여기서 시그모이드라는 위안의 한계가 드러납니다. “언젠가 평탄해진다”는 명제는 참일 수 있지만, “그게 언제이고 어느 능력 수준에서인가"라는 질문에는 아무 답도 주지 못합니다. 그저 형태에 대한 약속일 뿐이죠.

시그모이드들의 시그모이드

더 흥미로운 관점도 있습니다. 기술 진보는 단일한 시그모이드가 아니라, 여러 시그모이드가 연속적으로 쌓이는 구조라는 시각입니다.

증기기관이 평탄해질 때 내연기관이 시작됐고, 진공관이 멈출 때 트랜지스터가 등장했죠. AI에서도 마찬가지일 수 있습니다. 트랜스포머가 한계에 도달해도, 다른 패러다임이 그 위에 새로운 곡선을 시작할 수 있다는 겁니다. 이 경우 “결국 평탄해진다"는 위안은 더욱 공허해집니다. 하나의 시그모이드가 끝나는 자리에서 다른 시그모이드가 시작되니까요.

Alexander의 글이 매서운 이유가 여기 있습니다. 시그모이드 자체는 위안이 될 수 없습니다. 위안이 되려면 “어떤 능력 수준에서, 얼마나 오래, 다음 패러다임이 시작되지 않으면서 평탄해지는가”까지 답해야 하는데, 그건 아무도 모릅니다.

우리에게 남는 것

결국 시그모이드 곡선론은 AI 안전 논의에서 그리 든든한 방패가 되지 못합니다. 그것은 형태에 대한 관찰일 뿐, 위치와 수준에 대한 예측이 아니기 때문인데요. 정말 중요한 질문은 곡선의 모양이 아니라 “그 곡선이 어디서 멈추는가"입니다.

여러분은 어떻게 보시나요? AI가 곧 평탄해질 거라는 직관, 그게 근거 있는 분석인지 아니면 그저 안심하고 싶은 마음인지. 한 번쯤 솔직하게 점검해볼 만한 질문 같습니다.