AI에 관한 짧은 생각
들어가며
AI가 무섭도록 빠르게 발전하면서, 개발자인 나 역시 아주 큰 불안함을 느낀다. 작년 초 까지만 해도 그다지 실감하지 못했었는데 확실히 1년 사이에 너무 많은 발전이 이루어 졌다고 느껴진다. 이젠 개발자의 대체가 코앞에 보이는 듯 하다.
하지만 AI를 조금 더 가까이에서 지켜보면서, 단순히 선형적으로 성능이 좋아지는 그림과는 다른 패턴이 보이는 것 같다. 내가 AI 모델 개발자는 아니다보니 자세히 아는 것은 아니지만, AI의 발전은 병목 지점을 만나고, 이를 해결하면 폭발적인 성능 향상으로 이어지는 것 같아 보인다.
이 글은 그 관점에서 정리한, 지금 AI가 마주하고 있는 두 가지 핵심 병목에 대한 생각이다. 지금 내가 보기에, 현재 AI는 최소 두 가지 큰 병목 앞에 서 있다.
1. 하드웨어, 특히 메모리 병목
최근 AI 시스템에서 가장 눈에 띄는 변화는 연산량보다 메모리의 중요성인 것 같다.
- DRAM/HBM 가격은 빠르게 상승하고 있고
- 컨텍스트 길이, KV cache, retrieval 등 “얼마나 많이 기억할 수 있는가”가 성능을 좌우한다
- 최근 연구들 역시 “모델이 똑똑해졌다”기보다는
“더 많은 정보를 유지할 수 있을 때 전혀 다른 행동을 보인다”는 방향을 암시한다
이건 알고리즘의 문제를 넘어선 물리적·경제적 한계에 가까운 문제다.
메모리가 늘어나면 성능이 좋아지지만,
- 비용이 폭증하고
- 전력 소모가 커진다
메모리와 에너지의 병목은 조만간 반드시 벽에 부딪힐 수밖에 없다고 생각하는데, 동시에 이 벽을 넘는 순간, AI는 한 차원 더 발전하게 될 것 같다.
2. AI의 사고 과정은 너무 비효율적이다
또 다른 병목은 사고(추론) 방식에 있다고 느낀다.
인간의 뇌를 생각해보자.
- 우리는 대부분의 판단을 무의식에 맡긴다
- 의식적인 사고는 정말 중요하거나 낯선 문제에만 사용한다
- 즉, “생각하지 않아도 될 것”을 걸러내는 시스템이 이미 존재한다
반면 현재의 AI는 다르다.
- 인간이라면 거의 무의식적으로 처리할 일들까지
- 토큰 단위의 명시적 연산으로 하나하나 처리한다
- 결과적으로 필요 이상으로 많은 생각(연산)을 한다
LLM inference engine들의 Prefix caching 기법도 비슷한 결로 볼 수 있을 것 같고, 최근 DeepSeek에서 발표한 Engram 기법은 모델 차원에서 이런 비효율을 줄이는 시도 중 하나라고 보여진다. 이는 비단 언어 모델 뿐만 아니라 VLM 이나 Physical AI 분야에서선 더욱더 해결되어야 할 선행과제가 아닐까?
다음 도약은 모델 뿐만 아니라 시스템과 함께 올 것 같다.
이 두 병목을 보면 공통점이 있다.
- 둘 다 모델 개선만으로는 해결되지 않을 수 있다
- 하드웨어, 시스템, 비용, 트레이드오프의 문제다
그래서 나는 AI의 다음 큰 변화가
- 메모리를 어떻게 쓰는가
- 언제 생각하고, 언제 생각하지 않는가
- 사고 과정을 어떻게 압축하고 생략하는가
같은 시스템적 변화가 수반될 수 밖에 없다고 본다.
개발자로서의 개인적인 생각
AI 때문에 개발자가 대체될 것이라는 말은 어느 정도 사실이다.
하지만 모든 개발자가 같은 속도로 대체되지는 않을 것이다.
- 결과물을 만드는 개발자보다
- AI가 막히는 지점을 이해하는 개발자
- 성능이 아니라 비용과 비효율을 보는 개발자
- 올바른 판단을 내릴 수 있는 개발자
가 더 오래 살아남지 않을까.
이 글은 명확한 결론을 내리기보다는,
지금 내가 보고 있는 “막힘의 형태”를 기록해 두기 위한 메모에 가깝다.
몇 년 뒤에 다시 읽었을 때, 이 중 일부라도 맞아 있다면 꽤 흥미로운 기록이 될 것 같다.