HBM이란? 일반 RAM·VRAM과 차이, AI에서 중요한 이유 총정리

ChatGPT 같은 AI가 발전할 때마다 NVIDIA GPU 이야기가 따라옵니다. 그런데 반도체 뉴스를 조금 더 읽으면 GPU 옆에 꼭 붙는 낯선 단어가 있습니다. 삼성전자와 SK하이닉스가 경쟁하고, 공급이 부족하면 AI 칩 가격까지 흔든다는 HBM입니다.

HBM은 High Bandwidth Memory, 우리말로 고대역폭 메모리입니다. 한 문장으로 말하면 많은 데이터를 한꺼번에 GPU로 보내기 위해 여러 DRAM을 층층이 쌓고 GPU 가까이에 배치한 메모리입니다. GPU보다 계산을 잘하는 부품이 아니라, 빠른 GPU가 놀지 않도록 데이터를 넓은 통로로 공급하는 부품입니다.

위키 대리입니다. 이 주제의 구조부터 짚어드릴게요. GPU를 초고속 요리사라고 생각해 봅시다. 요리사 1,000명을 고용했는데 식재료가 좁은 문 하나로 들어오면 주방은 빨라지지 않습니다. HBM은 요리사를 더 고용하는 기술이 아니라 냉장창고를 주방 옆으로 옮기고 식재료 통로를 수천 갈래로 넓히는 기술에 가깝습니다.

HBM 뜻, 왜 ‘대역폭’이 중요한가

컴퓨터의 계산은 보통 저장장치에서 데이터를 꺼내 메모리에 올리고, CPU나 GPU가 이를 읽어 처리하는 순서로 진행됩니다. 여기서 대역폭은 일정 시간에 메모리와 프로세서 사이를 오갈 수 있는 데이터의 양입니다. 고속도로로 치면 최고속도가 아니라 차선 수와 통과량에 가깝습니다.

메모리에서 대역폭을 거쳐 GPU로 데이터가 전달되며 병목이 생기는 과정을 설명한 도표.

생성형 AI는 거대한 모델의 가중치와 중간 계산값을 계속 읽고 씁니다. GPU 내부 계산기가 아무리 많아도 필요한 값이 제때 도착하지 않으면 대기합니다. 이를 메모리 병목 또는 메모리 벽이라고 부릅니다. AI 가속기의 성능을 볼 때 연산량만큼 메모리 용량과 대역폭을 함께 보는 이유입니다.

NVIDIA H200 공식 페이지도 HBM3E 메모리를 핵심 사양으로 제시합니다. H200이 이전 세대보다 더 큰 언어모델과 데이터셋을 처리하는 데 메모리 용량과 대역폭을 함께 강조하는 것은 우연이 아닙니다.

NVIDIA가 H200 AI 가속기와 HBM3E 메모리 사양을 소개하는 공식 제품 페이지 화면.

일반 RAM·VRAM·HBM은 무엇이 다른가

RAM은 CPU가 실행 중인 프로그램과 데이터를 올려두는 시스템 메모리를 흔히 뜻합니다. 데스크톱에서는 길쭉한 DIMM 모듈을 메인보드 슬롯에 꽂습니다. 용량을 늘리기 쉽고 범용적이지만 CPU와 떨어져 있고 연결 폭에는 한계가 있습니다.

VRAM은 그래픽 처리장치가 쓰는 비디오 메모리의 기능적 이름입니다. 소비자 그래픽카드는 주로 GDDR 메모리 칩 여러 개를 GPU 주변 기판에 배치합니다. 따라서 HBM도 GPU가 사용한다면 VRAM의 한 종류입니다. 검색에서 자주 보이는 ‘HBM과 VRAM 차이’는 엄밀히 말하면 HBM과 GDDR 방식의 차이에 가깝습니다.

일반 RAM, GDDR 방식 VRAM과 HBM의 배치와 용도를 비교한 도표.

GDDR은 비교적 단순한 기판 구성과 비용 면에서 강점이 있어 게이밍 그래픽카드에 널리 쓰입니다. HBM은 메모리 칩을 수직으로 쌓고 GPU와 함께 고급 패키지 안에 넣어 훨씬 많은 연결을 짧게 구성합니다. 대역폭과 전력효율, 공간 활용에 유리하지만 제조와 패키징이 복잡하고 비쌉니다. 그래서 모든 PC 메모리가 HBM으로 바뀌는 것은 아닙니다.

HBM은 왜 층층이 쌓을까

HBM의 눈에 띄는 특징은 적층입니다. 얇게 만든 DRAM 다이를 여러 장 포개고 TSV(Through-Silicon Via)라는 수직 통로로 연결합니다. 엘리베이터가 건물 각 층을 바로 잇듯 실리콘을 관통하는 연결이 신호와 전력을 위아래로 전달합니다.

여러 DRAM 다이와 베이스 다이를 수직으로 쌓아 GPU 옆에 연결하는 HBM 구조.

쌓기만 해서는 끝나지 않습니다. HBM 스택과 GPU를 인터포저나 첨단 패키징 기술로 매우 가깝게 연결해야 합니다. 연결 거리가 짧고 통로가 넓으면 낮은 속도의 신호를 아주 많이 병렬로 보낼 수 있어 높은 총대역폭과 전력효율을 얻습니다.

반대로 난도도 올라갑니다. 다이 여러 장 가운데 하나에 문제가 생기거나 적층·접합이 실패하면 완성품 수율이 떨어질 수 있습니다. 열을 빼내는 설계와 패키지 뒤틀림, GPU와 HBM을 함께 조립할 생산능력도 필요합니다. 그래서 HBM 경쟁은 DRAM 셀만 잘 만드는 경쟁이 아니라 적층·검사·패키징과 고객 인증까지 포함합니다.

실제 HBM은 어떻게 생겼나

SK하이닉스 뉴스룸의 HBM 자료는 HBM 세대와 적층 기술, AI 메모리 제품을 실제 제품 이미지로 보여줍니다. SK하이닉스가 AI 붐 이전부터 HBM 개발을 이어온 점은 지금의 경쟁력을 설명하는 중요한 배경입니다. 다만 과거 투자 서사를 현재의 모든 공급계약이나 점유율로 곧장 확대하면 안 됩니다.

SK하이닉스 뉴스룸이 실제 HBM 제품과 기술을 소개하는 공식 화면.

삼성전자 반도체 HBM 공식 페이지 역시 HBM을 AI와 고성능컴퓨팅용 고대역폭 메모리로 소개합니다. 삼성은 메모리 제조뿐 아니라 파운드리와 첨단 패키징까지 갖춘 만큼 HBM4 시대의 베이스 다이와 통합 역량을 강조합니다.

삼성전자 반도체가 HBM 제품군과 적용 분야를 소개하는 공식 화면.

Micron의 HBM 공식 제품 페이지도 HBM3E를 AI 가속기용 메모리로 제시합니다. HBM 시장을 삼성전자와 SK하이닉스 두 회사만의 경쟁으로 설명하면 빠지는 축입니다. 실제 공급 경쟁에는 Micron도 참여하며, 고객별 인증과 제품 세대에 따라 구도가 달라집니다.

Micron이 HBM 제품의 성능과 AI 적용 분야를 설명하는 공식 화면.

AI가 커질수록 HBM이 더 필요한 이유

첫째는 모델 크기입니다. GPU가 계산할 모델 가중치가 메모리에 들어가야 합니다. 용량이 모자라면 여러 GPU로 나누고 통신해야 해 비용과 지연이 늘어납니다. 둘째는 학습입니다. 학습 과정에는 가중치뿐 아니라 그래디언트, 옵티마이저 상태와 중간 활성값까지 저장하므로 메모리 요구량이 큽니다.

셋째는 추론입니다. 사용자가 동시에 늘고 대화 문맥이 길어지면 KV 캐시가 커집니다. HBM 용량과 대역폭이 부족하면 비싼 GPU의 연산기가 쉬거나 서비스가 처리할 수 있는 동시 요청이 줄어듭니다. 넷째는 전력입니다. 데이터 이동은 큰 전력을 씁니다. 메모리를 가까이 두고 넓은 저속 병렬 연결을 쓰는 HBM은 데이터센터의 성능당 전력비를 낮추는 데 유리합니다.

따라서 HBM 부족이 AI 칩 공급과 가격에 영향을 줄 수 있다는 설명은 구조적으로 타당합니다. 다만 특정 중국 AI 칩 업체가 20~50% 가격을 올렸다는 오늘 보도는 업체별 공지, 적용 제품과 시점을 확인해야 합니다. 가격 인상 원인에는 HBM 외에도 파운드리, 패키징, 수요와 수출규제 등이 섞일 수 있으므로 이 글에서는 HBM 하나가 전부의 원인이라고 단정하지 않습니다.

HBM3E와 HBM4는 무엇인가

HBM3E는 HBM3를 확장한 세대로 현재 고성능 AI 가속기에서 용량과 속도 경쟁의 중심입니다. HBM4는 더 넓은 인터페이스와 높은 대역폭을 지향하는 다음 세대입니다. 베이스 다이의 로직 기능과 파운드리 공정, GPU와의 맞춤형 연결이 더 중요해지면서 메모리 회사와 파운드리·패키징 업체의 경계도 흐려집니다.

HBM3E와 차세대 HBM4가 지향하는 차이를 설명한 도표.

하지만 세대 이름만 보고 제품을 비교하면 안 됩니다. 같은 HBM3E라도 적층 수, 용량, 핀 속도와 총대역폭이 다릅니다. ‘개발 완료’, ‘샘플 출하’, ‘고객 인증’, ‘양산’도 서로 다른 단계입니다. 특정 고객의 공급사로 확정됐다는 뉴스는 회사 공식 발표나 고객사 자료로 따로 확인해야 합니다.

HBM 뉴스에서 봐야 할 숫자

HBM 뉴스에서 용량, 대역폭, 수율과 실제 공급 단계를 확인해야 함을 정리한 도표.

용량은 한 가속기가 담을 수 있는 모델과 작업량에 영향을 줍니다. 대역폭은 초당 데이터를 얼마나 옮기는지 보여줍니다. 수율은 복잡한 적층과 패키징 뒤에 판매 가능한 제품이 얼마나 나오는지를 뜻합니다. 공급은 생산량뿐 아니라 고객 인증과 첨단 패키징 병목까지 봐야 합니다.

‘대역폭이 두 배’가 모든 AI 작업을 두 배 빠르게 만든다는 뜻도 아닙니다. 계산 자체가 병목인 작업, GPU 사이 네트워크가 병목인 작업도 있습니다. HBM은 매우 중요한 부품이지만 혼자 데이터센터 성능을 결정하지 않습니다. GPU, 네트워크, 저장장치, 소프트웨어와 전력·냉각이 함께 움직입니다.

HBM 공급은 왜 갑자기 늘리기 어려울까

일반 메모리는 웨이퍼에서 칩을 만든 뒤 검사하고 기판에 붙이는 흐름이 비교적 익숙합니다. HBM은 여기에 얇게 만든 다이를 여러 장 쌓고, 각 층을 정밀하게 연결하고, GPU와 함께 큰 패키지로 조립하는 단계가 더해집니다. DRAM 생산능력이 충분하더라도 적층 장비, 테스트, 인터포저와 첨단 패키징 가운데 한 곳이 막히면 완성된 AI 가속기 출하가 늦어질 수 있습니다.

수율도 중요합니다. 한 장짜리 칩은 그 칩만 정상이면 되지만 여러 다이와 베이스 다이, 연결부를 하나의 제품으로 묶으면 검사할 지점이 늘어납니다. 제조사는 문제가 있는 다이를 쌓기 전에 골라내는 기술과 완성된 스택을 다시 검사하는 능력이 필요합니다. 고객사 역시 발열과 신뢰성, 실제 가속기에서의 동작을 검증해야 하므로 샘플을 보냈다는 뉴스와 대량 매출이 발생했다는 뉴스 사이에는 시간이 있습니다.

HBM이 주문형 성격을 띠는 점도 공급 조절을 어렵게 합니다. GPU 설계에 따라 요구하는 용량, 속도, 적층 수와 베이스 다이 구성이 달라질 수 있고 패키지 전체를 함께 맞춰야 합니다. 범용 부품을 창고에서 꺼내 아무 GPU에 꽂는 구조가 아닙니다. AI 수요 전망이 갑자기 커졌다고 다음 달 바로 생산량을 몇 배로 늘리기 어려운 이유입니다.

일반 소비자에게도 HBM이 중요할까

당장 노트북 메모리를 HBM으로 교체할 필요는 없습니다. 소비자가 체감하는 영향은 주로 클라우드 AI 서비스의 속도와 비용, 새로운 GPU 제품의 공급에서 나타납니다. 데이터센터 한 대가 더 많은 사용자의 요청을 처리하고 전력을 덜 쓴다면 장기적으로 AI 서비스 가격과 기능에 영향을 줄 수 있습니다.

게임용 그래픽카드에서는 가격과 패키징 구조 때문에 GDDR이 계속 중요한 선택지입니다. HBM의 장점이 크더라도 모든 작업이 극단적인 메모리 대역폭을 요구하지는 않습니다. 결국 좋은 시스템은 가장 비싼 메모리를 쓰는 시스템이 아니라, 실제 작업의 병목에 맞는 메모리와 GPU를 조합한 시스템입니다.

자주 묻는 질문

HBM은 GPU인가요?

아닙니다. GPU는 계산하고 HBM은 계산에 필요한 데이터와 결과를 빠르게 보관·전달합니다. 한 패키지 안에서 가깝게 붙어 있어도 역할은 다릅니다.

HBM은 일반 PC RAM보다 무조건 빠른가요?

총대역폭은 매우 높지만 용도와 비용 구조가 다릅니다. 교체 가능한 시스템 RAM을 전부 대체하는 범용 부품이 아닙니다.

HBM과 VRAM은 다른가요?

HBM이 그래픽·AI 가속기의 전용 메모리로 쓰이면 VRAM에 포함됩니다. 일반적으로 비교하려는 대상은 HBM과 GDDR 방식입니다.

삼성전자·SK하이닉스·Micron 중 누가 앞서나요?

제품 세대와 고객 인증, 시점에 따라 답이 달라집니다. 한 회사의 전체 HBM 경쟁력을 단일 고객 납품 여부만으로 판단하기보다 양산능력, 수율, 패키징과 다음 세대 로드맵을 함께 봐야 합니다.

위키의 정리

AI 경쟁을 보면 모델과 GPU에 시선이 먼저 갑니다. 하지만 GPU가 아무리 빨라도 데이터를 제때 공급받지 못하면 성능을 전부 쓰지 못합니다. HBM이 갑자기 중요해진 것처럼 보이는 이유는 AI가 커지면서 오래 있던 메모리 병목이 산업의 앞줄로 나왔기 때문입니다.

기억할 문장은 하나입니다. GPU가 초고속 요리사라면 HBM은 식재료 창고를 주방 바로 옆에 세우고 공급문을 수천 개로 넓힌 메모리입니다. HBM3E와 HBM4 경쟁은 단순한 메모리 속도 경쟁이 아니라 AI 데이터센터가 얼마나 큰 모델을 빠르고 효율적으로 돌릴 수 있는지를 결정하는 인프라 경쟁입니다.

참고한 자료

제품명과 상표는 각 권리자에게 있으며 공식 제품을 설명하기 위한 목적으로만 사용했습니다.