HBM
에이치비엠
메모리 반도체 분야에서 쓰이는 High Bandwidth Memory(고대역폭 메모리)의 약자로, D램 칩을 수직으로 쌓고 실리콘 관통 전극(TSV)으로 연결해 프로세서와 데이터를 초광폭 통로로 주고받는 메모리입니다. 국제 표준화 기구 JEDEC이 규격을 정하며, 2025년 4월 확정된 HBM4 표준은 2,048비트 인터페이스로 스택당 최대 2TB/s 대역폭을 냅니다. LLM 추론 속도가 메모리 대역폭에 좌우되면서 AI 가속기의 핵심 부품이 됐습니다.
쉽게 말하면?
에이치비엠(HBM, High Bandwidth Memory)은 아파트처럼 위로 쌓아 올린 메모리입니다. 단층 주택(일반 D램)을 넓게 짓는 대신 고층으로 쌓고 초고속 엘리베이터(TSV)를 뚫어, GPU가 데이터를 훨씬 빠르게 꺼내 쓰게 해 줘요. AI가 답 한 토큰을 만들 때마다 수백억 개 파라미터를 반복해서 읽어야 하므로, 이 꺼내 쓰는 속도가 곧 AI 속도가 됩니다. SK하이닉스와 삼성전자가 세계 시장을 이끄는 품목이기도 합니다.
한 줄로 비유하면?
도서관 서고를 옆으로 늘리는 대신 책장을 높이 쌓고 초고속 엘리베이터를 설치해, 사서(GPU)가 책을 꺼내는 속도를 끌어올린 구조입니다.
어디에 쓰이나?
케이스 1SK하이닉스(한국) — 12단 HBM3E 세계 최초 양산
SK하이닉스는 2024년 9월 세계 최초로 12단 36GB HBM3E 양산을 시작했습니다 [2]. D램 칩을 기존보다 40% 얇게 만들어 12단을 쌓았습니다 [2]. 2025년 9월에는 HBM4 개발 완료와 양산 준비를 역시 세계 최초로 발표했습니다 [3]. 2025년 1분기에는 D램 매출 점유율 36%로 처음 1위에 올랐습니다 [6].
도입효과: HBM3E 12단 용량 36GB·동작 속도 9.6Gbps(양산 시점 업계 최대·최고 기준) [2], HBM 시장점유율 70%(2025년 1분기, Counterpoint 집계) [6]
케이스 2NVIDIA — 세계 최초 HBM3E 탑재 GPU H200
NVIDIA는 2023년 11월 세계 최초로 HBM3E를 실은 GPU H200을 발표했습니다 [4]. HBM3E 141GB, 대역폭 4.8TB/s 구성입니다 [4]. 생성형 AI와 LLM 가속을 전면에 내세웠습니다 [4].
도입효과: 메모리 용량 141GB·대역폭 4.8TB/s — 전전세대 A100 대비 용량 약 2배·대역폭 2.4배(공식 발표 기준) [4]
케이스 3삼성전자(한국) — 18개월 만의 퀄 통과와 2026년 완판
삼성전자의 12단 HBM3E는 2025년 9월 NVIDIA 품질 검증을 통과했습니다 [7]. 개발 완료 후 약 18개월에 걸친 보완 끝의 통과였습니다 [7]. 2025년 3분기부터 NVIDIA 공급을 시작했고, 2026년 HBM 공급 물량은 선주문으로 이미 소진됐다고 밝혔습니다 [7].
도입효과: 2026년 HBM 공급 물량 완판(2025년 10월 실적 발표 기준), HBM4는 11Gbps 동작 시연 [7]
케이스 4AMD — MI300X의 용량 우위 전략
AMD는 AI 가속기 MI300X에 HBM3 192GB를 실었습니다 [5]. 피크 메모리 대역폭은 5.3TB/s입니다 [5]. 대형 모델을 더 적은 가속기에 올리는 용량 우위 전략을 폈습니다 [5].
도입효과: 메모리 용량 192GB·대역폭 5.3TB/s(공식 스펙, AMD 자체 비교 기준 경쟁 제품 대비 용량 2.4배) [5]
주의할 점은?
오늘 바로 해보기
01. AMD MI300X 공식 페이지에서 메모리 타입·용량·대역폭 세 항목을 찾아 적습니다 [5].
02. NVIDIA H200 발표문에서 '141GB·4.8TB/s' 문장을 찾아 두 가속기를 표로 비교합니다 [4].
03. JEDEC의 HBM3(819GB/s)와 HBM4(2TB/s) 발표문을 놓고 3년 사이 대역폭이 몇 배 늘었는지 계산합니다 [1][8].
04. SK하이닉스 뉴스룸에서 'Llama 3 70B 파라미터를 초당 35회 읽는다'는 예시를 찾아, 대역폭이 곧 생성 속도인 이유를 정리합니다 [2].
05. AI 가속기 기사에서 'HBM 몇 단, 몇 GB' 표현이 나오면 세대(HBM3E·HBM4)와 적층 수를 구분해 읽는 연습을 합니다.
한계와 진화
한계는 만들기 어렵고 비싸다는 점입니다. 수요가 공급을 계속 앞질러 삼성전자조차 증설에도 2026년 물량이 선주문으로 소진됐습니다 [7]. 고객 인증 문턱도 높습니다. 삼성전자 12단 HBM3E는 개발 완료 후 약 18개월의 보완을 거쳐서야 NVIDIA 검증을 통과했습니다 [7]. 얇게 깎은 칩을 12단 이상 쌓는 공정 특성상 발열과 수율 관리가 난제로 꼽힙니다 [2].
진화의 중심은 HBM4입니다. 2025년 4월 JEDEC 표준이 확정됐고(2,048비트·스택당 2TB/s·최대 64GB) [1], SK하이닉스는 같은 해 9월 세계 최초로 개발 완료·양산 준비를 마쳤습니다 [3]. 표준(8Gbps)을 넘는 10Gbps 동작을 구현했고, 적용 시 AI 서비스 성능이 최대 69% 개선될 것으로 전망했습니다 [3]. 삼성전자는 TSMC와 협력해 11Gbps 시연으로 맞서고 있습니다 [7]. 경쟁이 심해지면서 고객 맞춤형(커스텀) HBM으로 진화하는 흐름입니다.
참고 자료
- JEDEC and Industry Leaders Collaborate to Release JESD270-4 HBM4 Standard — 표준기구 보도자료·JEDEC·2025 — https://www.jedec.org/news/pressreleases/jedec%C2%AE-and-industry-leaders-collaborate-release-jesd270-4-hbm4-standard-advancing
- SK hynix Begins Volume Production of the World's First 12-Layer HBM3E — 공식 뉴스룸·SK하이닉스·2024 — https://news.skhynix.com/en/sk-hynix-begins-volume-production-of-the-world-first-12-layer-hbm3e/
- SK hynix Completes World's First HBM4 Development and Readies Mass Production — 공식 보도자료·SK하이닉스(PR Newswire)·2025 — https://www.prnewswire.com/news-releases/sk-hynix-completes-worlds-first-hbm4-development-and-readies-mass-production-302554538.html
- NVIDIA Supercharges Hopper, the World's Leading AI Computing Platform — 공식 뉴스룸·NVIDIA·2023 — https://nvidianews.nvidia.com/news/nvidia-supercharges-hopper-the-worlds-leading-ai-computing-platform
- AMD Instinct MI300X Accelerators — 공식 제품 문서·AMD·2026(접속 기준) — https://www.amd.com/en/products/accelerators/instinct/mi300/mi300x.html
- SK Hynix Takes Top Spot For First Time on Continued HBM Demand — 시장조사·Counterpoint Research·2025 — https://counterpointresearch.com/en/insights/post-insight-research-notes-blogs-sk-hynix-takes-top-spot-for-first-time-on-continued-hbm-demand
- Samsung sells out 2026 HBM supply / Samsung clears Nvidia hurdle for 12-layer HBM3E — 경제지·The Korea Economic Daily·2025 — https://www.kedglobal.com/earnings/newsView/ked202510300005
- JEDEC Publishes HBM3 Update to High Bandwidth Memory Standard — 표준기구 보도자료·JEDEC·2022 — https://www.jedec.org/news/pressreleases/jedec-publishes-hbm3-update-high-bandwidth-memory-hbm-standard
대표 출처
표준 문서 (2025) · JEDEC, JESD270-4 HBM4 표준 발표이 페이지에 대한 의견을 남겨주세요
여러분의 의견은 다음 갱신에 반영됩니다.