OpenAI 맞춤형 ASIC 칩, 단 9개월 만에 엔비디아 블랙웰 추월?

원문 작성: 동징

원문 출처: 월스트리트CN

OpenAI의 첫 자체 개발 칩 '할라페뇨(Jalapeño)'가 등장하며 AI 칩 산업의 기존 판도를 숨 가쁘게 뒤흔들고 있다. 이는 단순한 제품 출시가 아니라, AI가 칩 설계 방식을 근본적으로 바꾸고 있다는 신호다.

월스트리트CN 기사에 따르면, 블룸버그는 8월 25일 OpenAI가 할라페뇨가 단위 전력당 처리하는 AI 작업량과 응답 속도라는 두 가지 핵심 지표에서 엔비디아의 GB300을 앞선다고 밝혔다고 보도했다. 브로드컴과 협력해 개발한 이 칩은 AI 추론 단계에 특화되어 있으며, 빠르면 올해 말부터 실제 사용에 투입될 예정이다. OpenAI 칩 부문 책임자 리처드 호는 할라페뇨가 700와트의 낮은 전력 소모로 강력한 성능을 제공해 데이터센터 전기 비용을 크게 줄이는 데 도움이 된다고 말했다.

반도체 리서치 기업 세미애널리시스(SemiAnalysis)에 따르면, 이 칩은 설계 시작부터 테이프아웃까지 약 16개월밖에 걸리지 않았으며, 핵심인 CoWoS 패키징 테이프아웃 노드는 2025년 11월에 완료되었다. 이는 불과 9개월 전으로, 업계 일반적인 18~36개월 주기보다 훨씬 짧다.

세미애널리시스 연구진은 OpenAI 연구소를 직접 방문하여 자체 벤치마크 스위트인 InferenceX로 할라페뇨를 테스트했다. 결론은 단호했다. 이 칩은 와트당 성능(perf/W)에서 이전에 테스트한 모든 엔비디아, AMD, 구글 칩을 능가했다.

더욱 주목할 점은 할라페뇨가 추측 디코딩(speculative decoding)이나 프리필-디코드 분리(PDD)를 활성화하지 않은 상태에서 이 결과를 달성한 반면, 비교 대상 칩들은 모두 최적 구성을 실행하고 있었다는 것이다.

유명 반도체 애널리스트 딜런 파텔이 "블랙웰만 무너진 게 아니라 엔비디아의 루빈 칩마저 추월당했다"고 직설적으로 말한 것도 무리가 아니다.

애널리스트들은 이 결과가 엔비디아의 시장 지위에 직접적인 도전이 되며, AI 칩 경쟁 구도를 재평가하도록 강요한다고 분석한다.

벤치마크 데이터: 할라페뇨, 여러 핵심 지표에서 블랙웰 압도

세미애널리시스의 테스트 결과에 따르면, 할라페뇨의 추론 효율성 우위는 상당히 뚜렷하다.

GPT-OSS 120B 모델에서 할라페뇨는 초당 약 1,459토큰을 출력하는 반면, 엔비디아 GB200은 535토큰에 그친다. 엔드투엔드 지연 시간 측면에서 할라페뇨는 작업을 단 1.65초 만에 완료하는 반면, GB300은 거의 6초가 걸려 3.6배 차이가 난다. 높은 상호작용 시나리오에서 GB300을 가장 빠른 디코딩 속도(초당 169토큰)로 밀어붙일 때, 할라페뇨의 처리량은 104.3배 더 높다.

데이터센터 에너지 효율의 핵심 지표인 초당 메가와트당 토큰 수에서 할라페뇨는 GPT-OSS 모델에서 약 5,300만 토큰/MW/s를 달성하는 반면, GB200 NVL72는 약 1,000만에 그친다.

세미애널리시스는 이 지표가 사실상 줄당 생산 토큰 수와 동일하며, 데이터센터의 수익 상한을 직접 결정한다고 지적한다. 전력이 컴퓨팅 파워를 제약하는 시대에 이러한 우위는 특히 중요하다.

시스템 수준 비용 관점에서 세미애널리시스가 전력 공급, 냉각, 네트워킹을 모두 반영한 결과, 할라페뇨의 칩당 시간당 총소유비용(TCO)은 약 1.56달러로 H100의 1.55달러와 거의 비슷한 반면, 엔비디아 베라 루빈은 3.61달러에 달한다.

다만 세미애널리시스는 몇 가지 중요한 단서도 함께 제시했다.

첫째, 테스트에 사용된 모델은 현재 가장 최첨단 모델이 아니다. 엔비디아와 AMD는 더 큰 규모의 모델(예: DeepSeek V4 Pro, Kimi K3)에서 AgentX 스위트 기반 결과를 발표했지만, 할라페뇨는 아직 AgentX 테스트를 완료하지 못했다. AgentX 스위트는 멀티턴 및 장문 컨텍스트 워크로드가 있는 실제 프로덕션 환경의 성능을 더 잘 반영한다.

둘째, 더 공정한 비교는 블랙웰이 아니라 동일하게 HBM4를 사용하는 엔비디아 베라 루빈과의 비교다. 베라 루빈의 와트당 성능은 GB200 NVL72의 약 5.4배이며, 할라페뇨와 비교하면 토큰당 총소유비용(TCO)이 거의 동일하다.

셋째, 할라페뇨는 아직 엔지니어링 샘플 단계이며, 양산은 2027년에야 점진적으로 확대될 것으로 예상된다.

AI 설계 칩: GPT-Astra와 Codex의 플라이휠 효과

할라페뇨가 놀라운 속도로 개발된 핵심 이유는 AI 도구의 깊은 관여다. 세미애널리시스에 따르면, OpenAI는 칩 설계 과정에서 널리 주목받는 GPT-Astra를 포함한 내부 AI 모델을 광범위하게 사용했다.

소셜 플랫폼 X 사용자 앤드류 커런은 OpenAI 정보를 인용해 GPT-Astra가 할라페뇨 R&D 전반에 깊이 관여했다고 지적했다.

"팀은 Codex와 GPT-Astra를 사용해 원래 할라페뇨 양산 계획에 없던 세 가지 오픈소스 모델을 두 달 만에 고성능으로 튜닝했습니다."

이는 AI가 칩 설계 자체를 가속화할 뿐만 아니라 칩이 지원할 수 있는 모델 범위도 빠르게 확장하고 있음을 의미한다.

세미애널리시스의 데이터는 이러한 기여를 더욱 수치화한다.

AI 지원 설계로 SIMD 유닛 면적은 8%, 매트릭스 엔진 면적은 10% 감소했으며, 타이밍과 전력 소모 측면에서도 초기 버전보다 우수한 성능을 보였다.

소프트웨어 수준에서 OpenAI는 내부 확장 버전의 Codex를 사용해 할라페뇨 커널을 작성했으며, 일부 커널 코드는 약 3,000줄에 달한다. 성능에 가장 중요한 어텐션 메커니즘과 MoE 모듈에서 AI 생성 코드는 최고 수준의 인간 엔지니어 구현보다 1.5~1.8배 빨랐다.

세미애널리시스의 평가는 날카롭다. 엔비디아 GPU에서 실행되는 OpenAI 모델(예: GPT-5.6 Sol)이 CUDA 해자에 실질적인 위협이 되는 칩을 설계하는 데 사용되고 있다. "엔비디아의 자체 GPU가 잠재적 후계자를 실시간으로 키우고 있는 셈이다."

아키텍처 분석: '범용'이 더 빠른 이유는?

외부에서는 일반적으로 할라페뇨가 OpenAI 자체 모델에 깊이 맞춤화된 칩이라고 추정했지만, 세미애널리시스의 결론은 정반대다. 할라페뇨는 AI 추론을 위한 범용 칩으로, 다양한 모델과 워크로드를 실행할 수 있으며, Codex로 포팅된 게임 둠(Doom)까지 구동할 수 있다.

아키텍처 수준에서 할라페뇨의 핵심 설계 철학은 '고정 지연 시간 제거'다. 복잡한 메모리 계층 구조에 의존하는 GPU와 달리, 할라페뇨는 컴퓨팅 코어를 HBM 슬라이스에 직접 바인딩하고, 코어는 전용 고대역폭 집합 네트워크를 통해 동기화되어 메모리 접근 지연 시간을 크게 줄인다.

또한 할라페뇨는 다른 가속기에서 흔히 사용하는 소프트웨어 관리 스크래치패드 대신 비순차 실행(OoO) 코어와 L1 캐시를 결합하여, 소규모 배치 및 저지연 시나리오에서 하드웨어 이론적 최고치에 근접할 수 있다.

메모리 대역폭 측면에서 할라페뇨는 HBM4를 사용하여 단일 패키지 메모리 대역폭 15.4TB/s를 달성했으며, 와트당 HBM 대역폭은 22로, 엔비디아 루빈의 11.1, GB300의 5.71을 크게 앞선다.

세미애널리시스는 할라페뇨의 HBM4 핀 속도가 10Gbps에 달해 엔비디아 루빈의 9.6Gbps보다 약간 높으며, HBM 공급업체는 삼성일 수 있다고 언급했다.

주목할 점은 할라페뇨가 프리필-디코드 분리(PDD)를 구현하지 않기로 선택했다는 것이다. 세미애널리시스는 자세한 설명을 제공했다.

실제 프로덕션 환경에서는 입출력 비율, 동시성, 캐시 적중률 등의 매개변수가 지속적으로 변한다. 고정 풀링은 전역 활용도를 낮추는 반면, 동종 리소스 풀은 트래픽 변화에 유연하게 대응하고 지연 시간에 민감한 요청과 높은 처리량의 배치 처리 간에 동적으로 할당할 수 있다.

CUDA 해자: 이미 균열이 보이나?

세미애널리시스 보고서는 무거운 판단을 내린다. CUDA 해자는 이미 죽었을 수 있다는 것이다.

근거는 소프트웨어 램프업 속도 비교에 있다. 엔비디아 루빈의 CoWoS 테이프아웃은 할라페뇨보다 한 달 먼저 완료되었지만, 지금까지 루빈의 공개 벤치마크 데이터는 CoreWeave의 엔지니어링 샘플에서 나온 것뿐이다. 엔비디아는 OpenAI처럼 제3자에게 무료 테스트를 위해 연구소를 개방하지 않았다. 세미애널리시스는 이것이 하드웨어 격차가 아니라 소프트웨어 성숙도 격차를 반영한다고 본다.

소프트웨어 스택을 처음부터 구축함으로써 OpenAI는 역사적 부담을 덜고 더 깔끔한 아키텍처 결정을 내릴 수 있었다. OpenAI는 자체 커널 프로그래밍 언어 Gluon(Triton 기반)과 'Teacup'이라는 내부 추론 엔진을 사용하며, Codex를 활용해 커널을 빠르게 튜닝한다. 세미애널리시스는 2주도 안 되어 특정 상호작용 속도에서 할라페뇨의 처리량이 2배 이상 향상되었고, 8일 만에 팀이 텐서 병렬화를 TP8에서 TP32로 확장하여 랙 전체에 걸친 풀랙 배포를 달성했다고 관찰했다.

그러나 세미애널리시스는 현재 테스트가 비교적 단순한 8k1k 워크로드만 다루고 있으며, 아직 AgentX 멀티턴 장문 컨텍스트 테스트를 완료하지 못했다고 분명히 지적한다. 더 복잡한 에이전트 워크로드에서는 라우터와 프리픽스 캐시 같은 구성 요소의 성능이 새로운 과제가 될 것이다.

다음 단계: B0 이미 팹 투입, 10GW 로드맵 전개 중

할라페뇨의 이야기는 아직 끝나지 않았다.

세미애널리시스에 따르면, 공개 테스트된 모든 샘플은 A0 스테핑이며, B0 스테핑은 이미 팹에 투입되었고 A0 대비 와트당 성능이 약 25% 향상될 것으로 예상된다. B0의 단일 컴퓨트 다이는 TDP 700W를 유지하면서 13.4 PFLOPs의 MXFP4 컴퓨팅 성능을 제공할 것이다.

시스템 수준에서 OpenAI는 셀레스티카(Celestica)와 협력하여 완전한 랙 솔루션을 설계했다. 각 ASIC 캐비닛에는 128개의 할라페뇨 칩이 탑재되며, 듀얼 캐비닛 시스템의 총 전력 소비는 약 160kW로 엔비디아 GB300 듀얼 와이드 캐비닛과 비슷하다.

대규모 배포를 위해 단일 스케일아웃 네트워크 도메인은 16개 랙에 걸쳐 최대 2,048개의 할라페뇨 XPU를 연결할 수 있다. 양산에 대해 세미애널리시스는 2027년에 점진적인 램프업을 예상하며, 다음 이정표는 100MW 배포 규모다.

더 큰 전략적 그림은 OpenAI와 브로드컴이 10GW 규모의 맞춤형 가속기 협력 계약을 체결했다는 것이다. 이는 원자력 발전소 10기 전체 출력과 맞먹는 규모다.

월스트리트CN 기사에 따르면, OpenAI 칩 부문 책임자 리처드 호는 회사가 인프라 비용을 효과적으로 절감할 수 있는 전력 및 비용 수준에 도달했으며, "이것은 첫걸음에 불과하다"고 말했다. 그는 또한 엔비디아가 여전히 중요한 파트너이며, OpenAI의 컴퓨팅 파워 수요가 막대하기 때문에 단기적으로 기존 공급업체를 포기하지 않을 것이라고 강조했다.

애널리스트들은 할라페뇨의 의미가 오늘날 얼마나 많은 엔비디아 칩을 대체할 수 있는지가 아니라, 이전에 널리 의심받던 것을 증명했다는 데 있다고 지적한다. AI 기업이 AI 도구를 사용하여 기록적인 시간 안에 진정으로 경쟁력 있는 칩을 만들었다는 것이다. 이 플라이휠이 돌기 시작했다.