AI 인프라 자금, 훈련용 GPU에서 추론 칩으로 이동

AI 인프라 시장의 자금 흐름이 대형 모델을 학습시키는 고가 GPU에서, 이미 학습된 모델을 빠르고 싸게 실행하는 추론 전용 칩으로 넓어지고 있다. 테크크런치 보도에 따르면 AI 추론 클라우드 스타트업 General Compute는 투자사 Upper90로부터 4억 달러 규모의 대출을 확보했다. 회사는 이 자금을 SambaNova의 추론용 반도체 확보에 투입해 AI 서비스를 운영하는 데 필요한 클라우드 용량을 키울 계획이다.

이번 거래가 주목받는 이유는 담보의 성격이다. 최근 몇 년간 AI 인프라 금융은 엔비디아 GPU의 잔존 가치와 수요를 전제로 빠르게 성장했다. 반면 General Compute가 내세운 자산은 모델 훈련보다 추론에 특화된 칩이다. 추론은 챗봇 답변 생성, 코딩 보조, 이미지 분석처럼 사용자가 실제로 AI를 호출할 때 반복적으로 발생하는 작업이다. AI 사용량이 늘수록 기업이 부담하는 토큰 비용과 전력 비용도 커진다.

훈련보다 운영 비용을 보는 투자

General Compute는 전통적인 범용 클라우드가 아니라 AI 작업에 맞춘 네오클라우드를 표방한다. 회사가 도입하려는 SN50 칩은 전력 효율이 높고, 고가의 수랭식 냉각 장비 없이 더 다양한 데이터센터에 배치할 수 있다는 점을 강점으로 내세운다. 회사 측은 GPU 기반 클라우드보다 추론 속도가 크게 개선될 수 있다고 주장한다. 핵심은 최고 성능의 모델을 학습시키는 경쟁이 아니라, 이미 충분히 성능이 검증된 모델을 더 낮은 비용으로 대량 제공하는 경쟁이다.

Upper90의 선택도 이런 변화와 맞물린다. 이 회사는 과거 에너지 기반 데이터센터 기업 Crusoe의 GPU 구매를 지원하며 고성능 칩 담보 금융의 초기 사례를 만들었다. 당시에는 GPU 감가상각과 수요 지속성에 대한 불확실성이 커 전통 금융권이 조심스러웠지만, 이후 CoreWeave 같은 기업이 칩 기반 대출을 사업 모델로 키우면서 시장의 인식이 달라졌다. 이제 Upper90은 GPU 시장이 어느 정도 이해되고 과잉 구매 우려까지 제기되는 단계에 들어섰다고 보고, 다음 투자처로 추론 인프라를 바라보고 있다.

오픈소스 모델 확산이 만든 수요

추론 칩에 대한 관심은 오픈소스 AI 모델의 확산과도 연결된다. 기업 입장에서는 모든 업무에 최첨단 폐쇄형 대형언어모델을 쓸 필요가 없다. 특정 업무에서는 공개 모델이나 경량화된 모델을 자체 환경에서 돌리는 편이 비용, 통제, 응답 속도 면에서 유리할 수 있다. OpenRouter, Fireworks처럼 다양한 모델 접근을 제공하는 기업들이 높은 평가를 받는 것도 이 흐름을 반영한다.

새로운 모델들이 코딩과 추론 벤치마크에서 빠르게 성능을 끌어올리면서, 인프라 기업에는 또 다른 기회가 생겼다. 사용자는 모델 선택지를 넓히고 싶어 하고, 기업 고객은 안정적인 비용 구조를 원한다. 이때 엔비디아 GPU만으로 모든 수요를 처리하는 구조는 비용과 공급 측면에서 부담이 될 수 있다. Groq, Cerebras, AMD 기반 인프라 기업 TensorWave 등 대체 칩 생태계가 주목받는 배경도 여기에 있다.

엔비디아 독점 구조에 균열 가능성

General Compute의 Finn Puklowski 최고경영자는 이번 거래를 단순한 스타트업 자금 조달이 아니라, 자본이 엔비디아 중심의 독점적 지배 구조 밖으로 조직되기 시작했다는 신호로 해석했다. 실제로 AI 훈련용 GPU 시장에서는 엔비디아가 압도적인 지위를 유지하고 있지만, 추론 영역은 전력 효율, 지연 시간, 배치 환경, 모델 종류에 따라 다양한 반도체가 경쟁할 여지가 있다.

다만 추론 칩 담보 금융이 곧바로 주류가 된다고 단정하기는 이르다. 담보가 되는 칩의 중고 가치, 소프트웨어 생태계의 성숙도, 고객 확보 속도, 모델 트렌드 변화가 모두 리스크다. 특정 칩이 빠르게 구식이 되거나 개발자 도구가 충분히 확산되지 않으면 금융 구조도 흔들릴 수 있다. 그럼에도 4억 달러 규모의 대출은 투자자들이 AI 인프라의 다음 병목을 학습 단계가 아닌 운영 단계에서 찾기 시작했다는 점을 보여준다.

AI 산업의 경쟁은 이제 더 큰 모델을 누가 먼저 만드는가에만 머물지 않는다. 매일 수많은 요청을 얼마나 싸고 빠르게 처리하느냐가 기업 도입의 핵심 조건으로 떠오르고 있다. 이번 거래는 추론 비용을 낮추는 반도체와 클라우드 사업자가 AI 생태계의 새로운 금융 자산으로 평가받기 시작했음을 보여주는 사례다.