Kimi K3와 AI 경쟁 - AI Benchmark 비교와 성능 분석

또 한 번의 '차이나 쇼크' - Kimi K3는 무엇인가

 2026년 7월 16일, 중국 문샷AI(Moonshot AI)가 플래그십 모델 Kimi K3를 공개했다. 직원 300명 규모의 스타트업이 내놓은 이 모델의 스펙은 2.8조(2.8T) 파라미터, 100만 토큰 컨텍스트, 네이티브 멀티모달(이미지·비디오 입력)이며, 7월 27일까지 가중치 전체를 공개(오픈웨이트)하겠다고 약속했다. 공개되면 딥시크 V4 Pro(1.6T)를 제치고 역대 최대 오픈웨이트 모델이 된다.  

 시장이 놀란 건 모델의 크기가 아니라 성능이다. 제3자 평가기관 Artificial Analysis(이하 AA)의 인텔리전스 인덱스에서 K3는 57.1점으로 전체 4위(테스트 설정 기준, 모델 패밀리 기준으로는 3위)에 올랐다. 앞에 있는 건 Claude Fable 5(59.9)와 GPT-5.6 Sol(58.9)뿐이고, Claude Opus 4.8(약 56)과 GPT-5.5(약 55)를 제쳤다. 에이전트 실무 능력을 재는 GDPval-AA v2에서는 Elo 1,668로 전작 K2.6(1,190)에서 수직 상승하며 GPT-5.5(1,494)와 Opus 4.8(1,600)을 앞섰고, Zapier 업무 자동화 평가(AutomationBench-AA)에서는 53%로 1위, LMArena 프런트엔드 코드 아레나에서도 1위를 기록했다.

 불과 일주일 전 리서치 기관 세미어낼리시스(SemiAnalysis)가 "중국 랩들은 프런티어에 도달하기엔 컴퓨트가 너무 부족하다"고 썼는데, 며칠 만에 그 반례가 나온 셈이다. 미국의 칩 수출통제 속에서 나온 결과라는 점이 논쟁을 다시 불붙였다. 문샷은 커널 최적화 벤치마크를 엔비디아 H200과 "이름을 밝히지 않은 대체 벤더 GPGPU"에서 돌렸다고만 밝혔고, 자체 컴파일러(MiniTriton)는 대중국 수출용 다운그레이드 카드인 L20에서 비교했다. 학습 하드웨어의 실체는 회색지대로 남아 있다.

 

그런데 토큰은 얼마나 쓰는 걸까

 K3에서 개인적으로 가장 흥미로웠던 부분은 토큰 경제학이다. K3는 추론 강도가 'max' 하나로 고정되어 있어 간단한 질문에도 추론 토큰을 만 단위로 태운다. 한 개발자의 테스트에서는 "hi" 한 마디가 86토큰으로 과금되어, 약 85토큰의 숨겨진 시스템 프롬프트가 청구에 포함되는 것으로 추정되기도 했다. 명목 단가와 실효 비용의 괴리가 있는 모델이라는 뜻이다.

 그런데 전작과 비교하면 방향은 오히려 개선이다. AA 인덱스 9개 평가 전체를 완주하는 데 K3는 약 1.32억 개의 출력 토큰을 썼는데, 이는 K2.6(약 1.66억 개)보다 21% 적으면서 점수는 전 영역에서 더 높다. 토큰을 덜 쓰고 더 똑똑해진 것이다. 대신 단가를 올렸다. 출력 토큰 가격이 K2.6의 $4/1M에서 $15/1M로 3.75배가 됐고, 이는 서구 미드레인지 모델(Claude Sonnet 5)과 같은 가격대다. "초저가 중국 AI 시대의 종료 신호"라는 해석이 나오는 이유다. 종합하면 태스크당 비용은 $0.94로, GPT-5.6 Sol($1.04)과 비슷하고 Opus 4.8($1.80)의 절반 수준이다. 

 K3는 출시 직후, AA에서 미국 모델 2개에 이어 Top 3에 위치하는 높은 점수를 달성했다는 점이 엄청난 주목을 받으면서, 사용량이 급증했고, Compute 자원이 부족해 신규 가입을 일시 중단했다. 이 가격에 이 수요를 감당하지 못한다는 방증으로, 뒤에서 다룰 '가격표의 지속가능성' 문제와 연결된다.

 

 AA가 뭔데? - 요즘 모델 순위의 심판

 이쯤에서 위 순위의 출처인 Artificial Analysis를 짚고 가자. 요즘 국내외 모델사들이 "AA 몇 위" "AAII 몇 점"을 앞다퉈 인용하는데, 정작 이 기관이 뭘 어떻게 재는지는 잘 알려져 있지 않다. AA는 마이카 힐-스미스와 조지 캐머런이 시드니에서 사이드 프로젝트로 시작해, AI그랜트(냇 프리드먼·다니엘 그로스)의 시드 투자를 받아 성장한 독립 벤치마킹 전문 회사다(현재 본사 샌프란시스코). 핵심 원칙은 하나다. 모델사가 제출한 점수를 받는 게 아니라, 각 모델의 공개 API를 AA가 직접 호출해 동일한 하니스(harness), 동일한 조건에서 돌린다. 공동창업자의 표현을 빌리면 "돈을 내도 점수를 좋게 만들 수 없다."

 대표 지표인 인텔리전스 인덱스 v4.1은 9개 평가로 구성된다. GDPval-AA v2(미국 GDP 기여 직업군 44종의 실무 태스크, 인간 전문가=Elo 1000 기준, 최대 가중치 20%), τ³-Banking(은행 업무 에이전트), Terminal-Bench 2.1(터미널 작업), SciCode, AA-LCR(장문맥 추론), AA-Omniscience(사실성 - 정답 가점·환각 감점·기권 무벌점), Humanity's Last Exam, GPQA Diamond, CritPt다. 카테고리 가중치는 에이전트 34%, 코딩 24%, 과학추론 24%, 일반지식 18%로, 챗봇 똑똑함이 아니라 '자율 업무 수행 능력' 쪽으로 기울어진 지표다.

 점수대가 50점대로 낮은 것도 의도된 설계다. 기존 벤치마크가 포화되어 프런티어 모델 간 변별력을 잃자, 2026년 1월 v4.0 개편에서 커브를 어렵게 재조정했다(이전 척도 73점 → 새 척도 50점 이하). 그래서 작년 점수와 올해 점수는 직접 비교하면 안 된다. 국내 모델사들의 "몇 점, 몇 위" 발표가 서로 엇갈려 보이는 이유의 상당 부분이 이 척도 단절이다. 알리바바의 Qwen3.7 Max(5월 출시, 당시 v4.0 기준 56.6점으로 중국 1위)를 아래 비교에서 조심스럽게 다루는 것도 같은 이유다.

 

AA의 한계 - '정답을 맞추는 능력'에 초점이 맞춰진 지표

 여기서부터가 이 글에서 하고 싶은 얘기다. AA 인텔리전스 인덱스는 순수하게 결과물의 품질만 잰다. 답이 맞았는지, 태스크를 완수했는지가 점수의 전부이고, 그 답을 내는 데 30초가 걸렸는지 10분이 걸렸는지, 토큰과 전력을 얼마나 태웠는지는 점수에 반영되지 않는다.

 이 설계가 만드는 왜곡이 있다. 시간·비용 페널티가 없으니 추론 토큰을 무제한으로 태워 점수를 '구매'할 수 있다는 것이다. 리더보드에 GPT-5.5 (xhigh), Opus 4.8 (max)처럼 추론 설정이 괄호로 병기되는 이유가 이것이고, K3의 max 고정 추론도 같은 맥락이다. 벤더 입장에서 리더보드 제출용으로 최대 추론 설정을 거는 건 합리적 전략이다. 그래서 지능 점수 단독으로 모델을 고르는 건 반쪽짜리 의사결정이다. 실제 배포 시장에서는 같은 55점이라도 "빠르고 싸게 55점"과 "느리고 비싸게 55점"이 완전히 다른 상품이기 때문이다. 효율을 같이 봐야 한다.

 

 효율은 어떻게 비교하나

 효율 비교는 한 사이트에서 원스톱으로 되지 않는다. 성격이 다른 데이터를 '모델'이라는 키로 조인해야 하는데, 실무적으로 비교하는 방법을 정리해보자.

1단계: AA 안에서의 조합. AA는 지능 점수 옆에 태스크당 비용, 출력 속도(tokens/s), 첫 토큰 지연(TTFT)을 함께 발표한다. 특히 태스크당 비용은 명목 단가가 아니라 AA가 평가를 돌리며 실측한 토큰 소비량(입력·캐시·추론·응답)에 단가를 곱해 인덱스 가중치로 가중평균한 값이라, 모델의 복잡함까지 반영된 실효 숫자다. 같은 오픈웨이트 모델도 호스팅 제공사별로 정밀도(FP8/FP4 양자화)와 속도가 달라 엔드포인트별로 따로 측정된다.

 다만 한계를 정확히 알아야 한다. 이 비용에서 토큰 소비량은 AA의 독립 실측이지만, 단가는 벤더가 정한 가격표다. 즉 이 지표는 '생산원가'가 아니라 '구매자가 실제로 내는 돈'이다. 쓰는 입장에서는 맞는 지표지만, 그 가격이 지속가능한지(아키텍처 효율인지 전략적 덤핑인지)는 이 숫자로 판별할 수 없다.

2단계: 하드웨어 위에서의 실측 - InferenceMAX. "이 모델을 이 칩에서 돌리면 어떻게 되나"를 재는 독립 벤치마크는 세미어낼리시스의 InferenceMAX가 사실상 표준이 되어가고 있다. 오픈소스(Apache 2.0)로 수백 개 하드웨어×소프트웨어 조합을 매일 밤 최신 스택으로 재측정하고, GB200 NVL72·AMD MI355X 등 대형 시스템을 포함한 GPU 플릿에서 돌아가며, OpenAI·마이크로소프트·PyTorch 재단이 지지를 표명했다. 지표 체계가 실무용으로 잘 짜여 있다. GPU당 처리량(tokens/s/GPU)과 사용자당 체감 속도(tokens/s/user)의 파레토 곡선이 기본이고, 최종 지표는 총소유비용 기준 100만 토큰당 달러(TCO/1M tokens)와 전력당 토큰(tokens/MW)이다.

 InferenceMAX의 방법론 문서에는 디테일이 있다. 상면임대료와 전기료가 TCO의 20% 미만이고 대부분은 하드웨어 벤더 마진이라, 전성비 20% 차이가 TCO로는 4% 이하 차이라는 것. "전성비 우위" 마케팅을 할인해서 들어야 하는 근거다. 또 소프트웨어 성숙에 따라 같은 칩의 토큰당 원가가 두 달 만에 5배 떨어진 사례(B200에서 gpt-oss 기준 100만 토큰당 2센트 도달)가 보여주듯, 칩 간 비교는 스냅샷이 아니라 시계열 추세로 봐야 한다. 따라서, 어떤 일을 할 때의 원가는 다음처럼 산정해볼 수 있다.

 태스크당 실효 원가 = (태스크당 토큰 수: AA 실측) × (토큰당 하드웨어 원가: InferenceMAX 또는 자체 PoC 실측) ÷ (품질 보정: 배포 정밀도에서 지능 점수 유지 확인)

이 공식의 중요한 전제가 있다. 2항을 채울 수 있는 건 오픈웨이트 모델뿐이다. 가중치가 공개되어야 대상 하드웨어에서 직접 돌려 실측할 수 있고, 제3자 호스팅사들이 붙어 시장가격이 형성된다. 폐쇄형 모델(GPT, Claude, Qwen Max)은 API 가격이 유일한 대리변수이고, 원가 구조는 영구 블랙박스다. 그리고 이 모든 데이터에 NPU는 사실상 없다. AA는 API 뒤의 하드웨어를 모르고, InferenceMAX는 GPU 중심이다. NPU 관점의 효율은 MLPerf 제출 실적과 직접 PoC로만 확인할 수 있다는 것, 이게 현재 데이터 지형의 정직한 경계선이다.

 

효율까지 고려하면 어떤 모델이 우수한가

 이제 두 축을 겹쳐 보자. "효율까지 고려한 최고"를 지표로 정의하면, 파레토 프런티어(같은 비용에 더 똑똑하거나, 같은 지능에 더 싼 모델의 집합)에 누가 남느냐다.

(Qwen3.7 Max는 v4.0 척도 56.6점이라 위 v4.1 수치와 직접 비교 불가하여 제외. 단가는 $2.50/$7.50)

 프런티어는 Fable 5 → GPT-5.6 Sol → K3 → GLM-5.2 → DeepSeek V4 Pro로 이어지고, Opus 4.8은 K3나 Sol 보다 더 성능이 안 좋은 영역에 있다.

 절대 성능이 목적함수라면 Fable 5다. 인덱스, GDPval(1,760), 장기 지식노동 평가 전부 1위다. API 기준 종합 효율 1위는 GPT-5.6 Sol이다. Fable 대비 1점 차이를 약 1/3 비용에 제공한다. 저렴한 모델은 DeepSeek V4 Pro다. 태스크당 $0.04는 K3의 약 1/23, Fable의 약 1/70인데, 이 가격이 덤핑이 아니라 아키텍처(뒤에서 설명)에서 나온다는 점이 중요하다. 분류·추출·요약·대량 백그라운드 에이전트처럼 44점이면 충분한 워크로드에서는 대안이 없다.

 K3의 가치는 평균 지표가 아니라 옵션에 있다. 첫째, 7/27 가중치 공개 시 57점대 지능의 유일한 오픈웨이트가 되어 데이터 주권·온프레미스 수요를 독점한다(단, 권장 서빙이 가속기 64개 이상 슈퍼노드라 대형 인프라를 보유해야 한다). 둘째, 캐시히트 입력 $0.30/1M(90% 할인)이라 프롬프트 재사용이 많은 에이전트 루프에서 실효 단가가 표보다 크게 내려간다. 셋째, 코딩·자동화 특화 1위 타이틀들. 반면 중위값 이하의 생성 속도와 max 고정 추론 때문에 대화형 용도로는 부적합하다.

 

 그런데 그 '1점'은 얼마짜리인가 (항상 궁금하던 포인트) - 상용화 관점의 함의

여기서 파레토 분석의 맹점을 짚어야 한다. 비용 축은 정밀한데 가치 축은 "점수=가치"로 뭉개져 있다. 1점의 실제 가치는 선형이 아니다. 이 1점을 올리기 위해서 어떤 점을 희생해야 하고, 얼마나 많은 돈이 드는걸까?

 먼저 공급 측 비용부터 생각해보면, 위 데이터로 지능의 한계비용을 계산하면 극단적으로 볼록하다. 44점에서 48점(추정)으로 가는 데 비용 8배($0.04→$0.32), 48에서 57로 약 3배, 그런데 58.9에서 59.9로 가는 '마지막 1점'에 다시 2.6배($1.04→$2.75)가 든다. 준프런티어 지능의 가격은 붕괴했는데(AA 스스로 "near-frontier 지능의 가격이 붕괴했다"고 표현했고, 인덱스 50점 이상 랩이 6월 초 2곳에서 7월 6곳으로 늘었다), 최상단 1~2점은 여전히 프리미엄이 유지된다. 조금 더 쉽게 얘기하면, '충분히 쓸만한 AI 모델을 달성하기 위한 경쟁은 끝났고, 고부가 시장을 먹을 최고의 모델을 가리는 경쟁만 남았다.'

수요 측 가치는 왜 그 프리미엄을 지불하는가로 설명된다. 세 가지 메커니즘이 있다.

첫째, 가치가 임계값형이다. 사람의 검수 없이 결과물을 그대로 쓸 수 있는 문턱을 넘는 순간, 태스크의 경제 가치는 0에서 인건비 대체분 전액으로 점프한다. 문턱 아래에서의 5점 상승은 가치가 거의 없고, 문턱을 걸치는 1점은 시장 하나를 연다. 그래서 용도별로 1점의 가격이 다르다. 챗봇·요약에서 50점과 57점은 사용자가 구분하지 못하니 1점 가치가 0에 수렴하고, 자율 코딩·전문 지식노동에서는 최고점 모델만 팔린다.

둘째, 시장이 이미 가격으로 답하고 있다. 마지막 1점에 태스크당 2.6배를 받는데도 Fable 5가 팔린다는 것 자체가, 최상단 1점의 지불용의가격이 태스크당 $1.7 이상이라는 현시선호다.

 셋째, 에이전트 작업에서 점수 차이는 복리로 증폭된다. 인덱스 점수는 태스크 성공률의 가중평균인데, 50스텝짜리 자율 작업의 완주율은 스텝당 신뢰도의 50제곱이다. 스텝당 98%면 완주율 36%, 99%면 61% - 겉보기 1%p 차이가 최종 성과에서 배 가까운 차이가 된다. Fable 5와 K3의 GDPval 격차(1,760 vs 1,668)가 인덱스 2.8점 차이보다 실무에서 크게 느껴지는 이유다.

 상용화 관점의 함의를 정리하면 이렇다. '충분히 좋은 모델'은 빠르게 Commodity가 된다. 44~50점 구간은 이미 여러 기업이 따라왔고 가격은 바닥을 향한다. 이 구간의 사업은 모델 성능이 아니라 유통(클라우드 번들, 온프레미스, 규제산업 인증)과 서빙 원가로 승부가 갈린다. 반면 프런티어 1~2점은 승자독식형 프리미엄 시장이다. 검수 없는 자율 작업이라는 임계값을 누가 먼저, 어떤 도메인에서 넘느냐가 가격 결정력의 원천이고, 그래서 랩들은 한계비용이 폭증하는 걸 알면서도 마지막 1점에 투자를 집중한다. 모델 시장은 "커모디티화되는 몸통"과 "프리미엄이 유지되는 머리"로 이분화되고 있고, 투자 관점에서는 어느 쪽 게임에 노출된 회사인지를 먼저 물어야 한다

 

 그 1점을 올리기 위해, 그리고 원가를 낮추기 위해 - 각 사의 연구 방향

그러면 각 사는 정확도와 효율을 각각 어떻게 올리고 있나. 공개된 기술 문서 기준으로 정리하면 두 축의 연구 지도가 그려진다.

정확도(점수)를 올리는 연구

1. 스케일과 데이터 품질. 여전히 작동한다. 딥시크 V4는 32조 토큰 이상을 사전학습했는데, 주목할 건 코퍼스를 긴 문서·과학 논문·에이전트 상호작용 기록 쪽으로 의도적으로 가중했다는 점이다. 요즘 사전학습 경쟁의 실체는 크롤링 총량이 아니라 합성 데이터, 필터링, 커리큘럼 설계 같은 데이터 엔지니어링이다.
2. 강화학습 사후훈련. 지난 2년 정답률 상승분의 최대 지분이다. 수학·코드처럼 정답이 기계적으로 채점되는 영역에서 검증 가능한 보상으로 대규모 RL을 도는 방식(RLVR)이 추론 성능 도약의 엔진이었고, 딥시크의 GRPO 계열 알고리즘이 대표적이다. 최근 프런티어는 이를 에이전트 영역으로 확장 중이다. 실제 터미널·브라우저·코드베이스 환경에서 태스크를 완수하면 보상을 주는 장기 에이전트 RL - GLM-5.2의 8시간 자율 코딩, Qwen3.7의 35시간 자율 커널 최적화(1,158회 툴 콜, Triton 대비 기하평균 10배 속도 향상) 같은 능력이 여기서 나온다. AA가 에이전트에 34% 가중치를 두는 지금, 점수를 실질적으로 가르는 건 이 RL 파이프라인의 품질이다.
3. 테스트타임 컴퓨트. 같은 가중치라도 생각 토큰을 더 태우면 점수가 오른다. 추론 예산의 단계화(max/xhigh/high), 여러 번 풀고 답을 고르는 반복 샘플링이 제도화됐다.
4. 정확도형 아키텍처. 딥시크의 Engram 조건부 메모리가 주요 예시다. 사실 지식 검색과 추론에 같은 어텐션을 쓰는 병목을 겨냥해, 지식을 연산이 아닌 룩업 테이블로 옮기는 접근이다. 벤치마크 3~5점 향상, 니들인헤이스택 정확도 84.2%→97%(27B 모델 기준)를 만들었고, 희소 용량의 20~25%를 전문가에서 메모리로 재배치하는 게 최적이라는 U자형 스케일링 법칙까지 제시했다. 그 외 mHC(초대형 레이어 스택의 신호 전파 안정화), Muon 옵티마이저(수렴 속도·안정성), MTP(멀티토큰 예측)가 같은 예산에서 더 낮은 손실에 도달하게 하는 장치들이다.

 

효율(원가)을 낮추는 연구

1. MoE 초희소화. K3는 2.8T 파라미터에 896개 전문가 중 16개만 활성화한다. 딥시크·GLM·MiniMax·Qwen 모두 활성 비율이 5% 안팎으로 수렴 중이다. "총 파라미터는 지식 저장소, 활성 파라미터는 연산"이라는 분리가 확립됐다. 다만 전문가 수는 많을수록 좋은 게 아니다. 쪼갤수록 라우팅 부하 불균형 문제가 커지고(K3가 'Stable' LatentMoE라는 이름에 방점을 찍은 이유), 위의 U자형 법칙이 보여주듯 마지막 예산은 전문가보다 룩업 메모리에 쓰는 게 낫다는 게 확인됐으며, 추론 시에는 전문가 분산에 따른 all-to-all 트래픽과 배치 크기 요구가 비용으로 돌아온다.
2. 어텐션 재설계. 표준 트랜스포머의 쿼드라틱 병목을 깨는 세 유파가 경쟁 중이다. 압축·선택형(딥시크 CSA/HCA — 100만 토큰에서 토큰당 FLOPs 27%, KV캐시 10%로 감축), 선형·상태형(Kimi Delta Attention - 100만 토큰 컨텍스트에서 최대 6.3배 빠른 디코딩, MiniMax MSA — 토큰당 연산 1/20), 슬라이딩 윈도우 교차형. 순수 선형은 검색 성능이 약하지만 소수의 풀 어텐션을 섞은 하이브리드가 순수 소프트맥스를 능가한다는 게 확인되며 하이브리드가 사실상 표준이 됐다.
3. 저정밀도. FP8 학습을 넘어 딥시크 V4가 전문가 파라미터 FP4 학습을 상용화했다.
4. 서빙 스택 내재화. 문샷의 자체 학습 스택 Mooncake, 밑바닥부터 만든 컴파일러 MiniTriton, vLLM 기여 캐싱, 프롬프트 캐시히트 90% 할인 같은 것들. 오픈웨이트 시대에 모델사의 방어벽은 서빙 노하우로 이동하고 있다.

 주목할 점은 두 축이 등가교환된다는 것이다. 학습 효율 25% 개선은 같은 예산으로 25% 더 학습한 모델과 등가이고, 토큰이 싸질수록 테스트타임 Compute 가성비가 좋아진다. Compute 자원이 부족한 중국 랩들이 효율 혁신에 집중한 것은 이 환전 창구를 통해 정확도를 산 것이다.

 

반도체·서버 업계에 미치는 영향 - 수요 총량이 아니라 구성의 재편

위 기술 트렌드를 하드웨어 수요로 번역하면, 결론은 "연산 총량 감소"가 아니라 "수요 구성의 재편"이다.

 첫째, 연산↓·메모리↑의 비대칭이 심화된다. 효율 기술들의 공통 효과는 토큰당 FLOPs를 깎는 것이다(딥시크 73% 감축, MSA 1/20). 그런데 KV캐시 압축에도 불구하고 100만 토큰 컨텍스트가 전 서비스 기본값이 되고 에이전트가 세션당 토큰을 수십 배 태우면, 절대 메모리 수요는 다시 차오른다. 디코딩은 더 극단적인 메모리 바운드 워크로드가 되고, 칩의 가치 서열에서 FLOPS 대비 메모리 대역폭·용량의 프리미엄이 올라간다. HBM 관점에서는 "토큰당 캐시는 줄지만 토큰 총량이 그 이상 는다"는 제번스형 상쇄로 읽는 게 맞다고 본다.

둘째, MoE 초희소화는 그 자체가 인터커넥트 수요다. 수백 개 전문가가 수십 개 칩에 분산되면 토큰마다 전문가 라우팅 all-to-all 트래픽이 발생하고, 그래서 K3의 권장 서빙이 전문가 병렬 트래픽을 하나의 고대역폭 도메인에 가두는 64개 이상 가속기 슈퍼노드다. 스케일업 도메인 크기가 모델 아키텍처의 함수가 된 것이고, 엔비디아가 NVL72에서 더 큰 도메인으로, 화웨이가 클라우드매트릭스 384에서 8,192개 칩을 묶은 아틀라스 950 슈퍼포드로 가는 경쟁의 수요 측 원인이 바로 이 트렌드다. 단기는 구리 백플레인, 도메인이 랙을 넘는 순간부터 광 스케일업(CPO/OCS)이다. 연산 단위가 칩에서 랙으로 올라가면 서버 설계의 무게중심도 보드에서 랙 백플레인·전력밀도·냉각(800V HVDC, 액체·액침냉각)으로 옮겨간다.

 셋째, FP4가 하드웨어 요구 스펙이 됐다. 딥시크의 FP4 학습 상용화로 블랙웰~루빈의 FP4 텐서코어가 필수가 됐고, 추론 칩·NPU 설계에서도 FP4/FP8 네이티브 지원이 경쟁 변수다. 저정밀도 표준화는 공정 열위를 포맷으로 일부 만회할 수 있다는 점에서 중국 칩 진영에도 유리하게 작용하는 양면성이 있다.

넷째, 계층 메모리의 부활 신호. Engram처럼 지식을 룩업으로 옮기면 워크로드가 추천시스템과 비슷해진다 - 거대한 용량, 낮은 연산 강도. HBM이 아니라 용량 계층 메모리의 일감이고, 실제로 희소 어텐션 LLM의 KV캐시를 CXL로 분리하는 시스템 연구가 나오기 시작했다. 프리필(연산 바운드)과 디코드(메모리 바운드)를 다른 하드웨어에 배치하고 KV캐시를 HBM-DRAM-CXL/SSD 계층으로 내리는 분리형(disaggregated) 서빙과 맞물리면, 서버는 균질한 GPU 노드의 나열에서 역할별 이기종 노드+메모리 패브릭으로 분화한다.

 다섯째, 선형 어텐션의 확산은 추론 칩 판을 흔든다. KV캐시가 자라지 않는 고정 상태 디코딩은 세션당 메모리를 극적으로 줄여, 대용량 HBM 없이 장문맥을 서빙하는 길을 연다. SRAM 기반 초고속 추론 칩과 온디바이스에 구조적 순풍이다. 압축형 vs 선형형 어텐션의 승자가 어느 쪽이냐에 따라 메모리 수요의 질(용량 중심 vs 대역폭 중심)이 갈리는 분기점이라, 계속 추적할 가치가 있다.

 여섯째, 소프트웨어 자급이 하드웨어 전환 비용을 낮춘다. 프런티어 랩들이 커널·컴파일러를 자급하기 시작하면서(MiniTriton, 자체 CUDA 커널 라이브러리 공개), 대체 칩의 진입 장벽이 내려간다. 여기에 AI가 커널을 직접 짜는 루프(Qwen3.7의 35시간 자율 커널 최적화가 자사 자체 가속기용이었다는 점, K3의 48시간 자율 칩 설계 데모)가 겹치면 신생 칩의 소프트웨어 생태계 구축 기간이 단축된다. CUDA 해자의 전면 붕괴는 아니지만 선택적 침식은 진행형이다.

 

 미·중 모델 경쟁, 그리고 다른 나라들의 선택지

경쟁 구도를 요약하면, 격차는 6~12개월로 압축됐고 가격 격차는 그보다 빠르게 좁혀지고 있다. 그리고 전략이 X자로 교차 중이다. 오픈소스의 상징이던 알리바바는 플래그십(Qwen3.7 Max)을 처음으로 폐쇄형으로 돌렸고, 문샷은 2.8T 모델의 가중치를 풀며 오픈웨이트를 최상단까지 밀어올렸다. 전자는 클라우드 락인과 API 마진, 후자는 생태계 장악 후 서빙 수익이라는 서로 다른 수익화 실험이다.

규제도 쌍방향이 됐다. 미국의 칩 수출통제에 더해, K3 출시 이후 미국에서는 오픈소스 AI 행정명령과 관련 입법 논의가 나오고 있고, 중국도 자국산 첨단 AI 모델의 해외 접근 제한을 검토 중이라는 보도가 나왔다. 흥미로운 역풍도 관찰된다. 규제가 촘촘해질수록 제3국 시장은 통제 밖의 오픈소스·현지 맞춤형 모델로 눈을 돌리고, 저렴하고 성능 좋은 중국 오픈웨이트가 그 공백을 채운다는 것이다. 경쟁의 축이 "누가 최고 모델을 만드나"에서 "누구의 모델이 글로벌 디폴트 인프라가 되나"로 이동 중이며, 이 게임에서는 오픈웨이트+저가격이 구조적으로 유리하다.

하드웨어 쪽 중국의 진도도 '증명 단계'로 넘어갔다. 지푸AI가 화웨이 어센드만으로 멀티모달 모델의 전 학습 사이클을 완료했고, Z.AI는 전량 중국산 실리콘으로 1GW 클러스터를 구축했으며, 화웨이는 어센드 950 8,192개를 묶은 아틀라스 950 슈퍼포드를 공개했다(성능 수치는 자체 발표로 제3자 검증 전). 중국 기업 설문에서는 어센드 910B/C의 도입·평가 비율(65%)이 엔비디아 H20/L20(47%)을 앞섰다는 결과도 나왔다. 딥시크의 자체 칩 개발 보도, 알리바바의 자체 가속기(전우 M890)까지 겹치면 모델-칩 수직계열화가 동시다발로 진행 중이다.

그러면 다른 나라들은 어떻게 대응할까. 개인적인 생각은 이렇다. 미·중을 제외한 국가들에게 프런티어 정면 승부는 이미 예산 게임이 아니게 됐다. 대신 세 가지 현실적 경로가 보인다.

1. 소버린 미드티어 전략. 44~50점대 '충분히 좋은' 구간은 Commodity가 됐으므로, 이 구간을 자국어·자국 데이터·규제산업 요건에 맞춰 확보하는 것이다. 한국의 독자 AI 파운데이션 모델(독파모) 사업이 정확히 이 트랙이다. LG AI연구원·SK텔레콤·업스테이지가 성과 보고서를 제출했고 모티프테크놀로지스가 이달 말 개발을 마치면 8월 2차 평가에서 4팀이 3팀으로 압축된다. 참고로 업스테이지는 오픈소스 모델 '솔라 오픈2' 프리뷰가 AAII 44.4점을 기록했다고 발표했는데, 이 숫자가 리더보드에서 확인되면 미·중 제외 1위권이라는 주장이 산술적으로 성립한다. 미·중을 빼면 프런티어 경쟁자가 사실상 프랑스 미스트랄 정도만 남는 얇은 분모라는 점은 감안해야 하지만, 미·중 모델을 쓸 수 없거나 쓰기 싫은 정부·규제산업 시장에서 "그 외 최고"는 실질적 세일즈 포인트다.
2. 중국 오픈웨이트 위에 올라타기. 가중치를 받아 파인튜닝·증류로 주권형 모델을 만드는 경로. 비용은 최소지만 기반 모델의 지정학 리스크(향후 중국의 모델 수출통제 가능성)를 안는다.
3. 인프라·소부장 특화. 모델 레이어의 가치가 인프라 레이어로 밀려나는 흐름(오픈웨이트 확산 = 모델 접근료의 무력화, 서빙·하드웨어 사업의 강화)을 활용해, 메모리·인터커넥트·전력·패키징에서 포지션을 강화하는 것.

 

투자 관점 정리 - 상장주와 VC

상장주와 VC 관점에서 어떤 것들에 영향을 미칠지 고민해보자.

 메모리. 이번 사이클의 핵심 질문은 "총량"이 아니라 "질"이다. 아키텍처 트렌드는 HBM의 셀링 포인트를 용량에서 대역폭으로 옮기고 있고(디코딩의 메모리 바운드 심화), 동시에 선형 어텐션 확산은 반대 방향의 힘이다. HBM4 전환기의 대역폭 스펙 경쟁, 그리고 중국 시장의 구조적 이탈(어센드 클러스터 표준화 시 CXMT 물량 우선) 속에서 중국 제외 수요만으로 사이클이 정당화되는지가 국내 메모리 밸류에이션의 관건이다.

인터커넥트·광. MoE 초희소화 → 슈퍼노드 대형화 → 스케일업 대역폭이라는 인과사슬은 이번 분석에서 가장 확신이 높아진 부분이다. 스위치·리타이머 ASIC, 광모듈·CPO 밸류체인, 그리고 상류의 InP 광원·포토닉스 SOI 병목이 관찰 대상이다. 분리형 서빙의 확산은 랙 간 패브릭(이더넷 스위칭) 수요도 함께 키운다.

전력·열. 랙 전력밀도 상승은 아키텍처가 만드는 구조적 수요다. 전력기기(변압기·스위치기어), 800V HVDC 관련, 액체냉각 밸류체인은 모델 효율화와 무관하게 - 정확히는 효율화가 토큰 수요를 키울수록 - 수혜가 이어지는 구간이다.

GPU·파운드리. K3 쇼크 같은 이벤트 드리븐 조정은 "컴퓨트 모트 서사"의 취약성을 보여주지만, 추론 수요의 총량 논리는 유지된다고 본다. 다만  엔비디아 단일 종목에서 패브릭·메모리·전력으로 수혜가 퍼지는 방향이 이번 사이클의 알파 포인트라는 게 개인적 판단이다. TSMC는 미·중 어느 쪽이 이겨도 첨단 공정 수요를 받는 포지션이나, 중국 자급 진도가 빨라질수록 중화권 노출 리스크는 커진다.

 

VC: 어떤 인사이트로 투자할 것인가

1. 모델 업체를 검토할 때, 실사의 질문이 바뀔 것 같다. 단순히 "AA 몇 점이냐"가 아니라 (a) 검증 가능 보상 RL 환경을 자체 구축할 역량이 있는가(점수의 원천), (b) 데이터 파이프라인이 자산인가 외주인가, (c) 오픈웨이트 전략이라면 공개한 것과 과금하는 것 사이의 전환 장치(서빙 원가 우위, 클라우드 락인, 엔터프라이즈 수주)가 무엇인가다. 허깅페이스 다운로드 수가 아니라 다운로드의 유료 전환율을 물어야 한다. 
2. 모델 학습 속도와 호흡이 빨리지면서, 학습 파이프라인 분석이 필요해보인다. 정확도 경쟁이 RL로 넘어가면서 RL 환경·샌드박스 인프라(에이전트 훈련용 시뮬레이션 환경, 검증기)가 중요할 것 같다. 효율 경쟁 쪽에서는 새 어텐션 연산자가 나올 때마다 커널·컴파일러·서빙 최적화 수요가 재생성되는 구조라, 학습 파이프라인을 빠르게 셋팅할 수 있는 팀이 주목받을 것 같다.
3. NPU·추론 칩 스타트업도 최신의 AI 모델을 지원해야 하기 때문에 큰 영향을 받을 것 같다. FP4와 초희소 MoE 라우팅, 델타넷/희소 어텐션 커널이 컴파일러 스택에서 실제로 도는가 (2026년 중심의 모델). InferenceMAX 방식의 공개 재현 가능한 tokens/s/GPU·TCO 실측을 제시할 수 있는가. 그리고 타깃 모델이 무엇인가 - 온프레미스 시장의 실수요는 자체 서빙 가능한 중형 모델(수십 B급)이며, 슈퍼노드급 플래그십 서빙은 대형 인프라 보유자의 게임이다.

 

Conclusion

 Kimi의 K3를 보면서 들었던 생각은 "중국이 이겼다"라거나 "가성비 모델이 나와서 메모리 수요가 줄어든다"가 아니다. 지능의 가격 구조가 드러났다는 것이다. 준프런티어 지능은 Commodity가 되어 가격이 붕괴하고 있고, 마지막 1~2점은 볼록한 한계비용에도 프리미엄이 유지되며, 그 프리미엄의 근거는 '검수 불필요' 임계값이다. 조금 더 쉽게 얘기하면, '충분히 쓸만한 AI 모델을 달성하기 위한 경쟁은 끝났고, 고부가 시장을 먹을 최고의 모델을 가리는 경쟁만 남았다.' 사람의 검수 없이 결과물을 그대로 쓸 수 있는 문턱을 넘는 순간, 태스크의 경제 가치는 0에서 인건비 대체분 전액으로 점프한다. 문턱 아래에서의 5점 상승은 가치가 거의 없고, 문턱을 걸치는 1점은 시장 하나를 연다. 그래서 용도별로 1점의 가격이 다르다. 챗봇·요약에서 50점과 57점은 사용자가 구분하지 못하니 1점 가치가 0에 수렴하고, 자율 코딩·전문 지식노동에서는 최고점 모델만 팔린다.

 최종 승자가 되기 위한 미국과 중국의 경쟁에서는 상대를 꺾기위한 마지막 1점을 위해, 막대한 연구개발비를 지출하고 있다. 더 나아가, 이를 구동할 하드웨어 경쟁에서도 거대 AI를 돌리기 위한 메모리와 MoE를 위한 인터커텍트, 전력, 계층 메모리 등이 통합적으로 경쟁을 시작했다. 벤치마크 점수는 이 큰 그림의 입구일 뿐이다. 점수를 볼 때는 심판(AA)이 무엇을 중점적으로 보는지, 무엇을 간과하고 있는지 (효율·하드웨어)를 같이 봐야 한다. 투자는 AA 점수가 아니라 그 아래의 원가 구조와 수요자가 점수 1점, 토큰 비용에 얼마를 지불할지를 깊게 고민해봐야 할 필요가 있다는 생각을 했다.