광고

차세대 메모리 시대가 온다

경제인 | 기사입력 2023/12/07 [10:23]

차세대 메모리 시대가 온다

경제인 | 입력 : 2023/12/07 [10:23]

IT산업은 프레임 컴퓨터를 시작으로 PC와 스마트폰을 거쳐 인공지능(AI) 시장의 성장 초입에 있다. 디바이스의 발전은 프로세서와 메모리 발전의 공동 결과물이다. 시장의 관심은 항상 프로세서에 있었지만 연산과 메모리 어느 한쪽만의 발전으로는 현재 우리가 사용하고 있는 하드웨어기기를 생각할 수 없다. 

그 이유는 지난 1940년대부터 거의 대부분의 컴퓨팅기기들이 폰노이만 구조를 기반으로 개발되었기 때문이다. 폰 노이만 구조는 프로그램이 내장된 컴퓨팅 방식으로 CPU, 메모리, 프로그램 구조를 갖추고 있다. 기본적으로 연산에 필요한 명령어와 데이터를 메모리에 저장한 후에 순차적으로 필요한 명령어와 데이터를 소환하여 연산을 수행한다.

 

통로 대역폭의 확장, HBM

폰 노이만 구조 정착 이전의 전자식 컴퓨터는 새로운 계산을 시행할 때마다 진공관을 조정해야 하는 하드웨어 교체 방식이었다. 폰 노이만 구조 도입 이후 하드웨어 교체 없이 프로그램(소프트웨어) 교체만으로 연산 수행이 가능하게 되었고 컴퓨터의 범용성이 확대되었다.

하지만 폰 노이만 구조는 단일 버스와 순차적인 연산이라는 특성상 병목현상이 발생할 수 밖에 없다. CPU가 명령어와 데이터를 동시에 접근할 수 없다는 의미다. 이러한 문제를 해결하기 위해 데이터와 명령어를 

물리적으로 분리한 하버드 구조도 등장했다. 

현재는 대부분 하버드와 폰 노이만 구조를 병합해서 사용하지만, 혼합구조 역시 폰 노이만을 기반으로 만들어졌기 때문에 근본적인 문제가 해결되지 못했다. 최근에는 그래픽처리장치(GPU), 프로그래머블 반도체(FPGA) 등과 같은 가속기를 통해 성능을 개선하기도 한다.

여기서 중요한 부분은 병목현상의 중심이었던 프로그램과 데이터를 저장하는 메모리 

의 발전도 필수적이었다. 메모리는 성능 개선은 물론 애플리케이션에 따라 다양한 모습 

으로 발전했다. 3D V 캐시(Cache)와 같이 병목현상을 최소한으로 하기 위해 프로세서 가 

까이 배치되거나 한 번에 대량의 데이터 전송이 가능한 고대역폭메모리(HBM), 메모리 내 

에서 연산이 가능한 PIM(Process in Memory), 다양한 인터페이스를 통합해 메모리를 공 

유하는 CXL(Compute Express Link)  등이 대표적이다. 

아직까지 개별 시장 규모는 작지만 AI의 발전에 따라 메모리 자체 성능 개선의 한계에 

부딪히면서 다양한 메모리에 대한 관심은 그 어느 때보다 높다고 할 수 있다. 

최근 높은 성능을 요구하는 프로세서들이 늘고 있다. 특히 챗GPT(ChatGPT)가 

불러온 AI 투자 확대는 많은 양의 데이터를 빠르게 처리할 수 있는 HBM의 폭발 

적인 수요를 유발시켰다.

HBM은 말 그대로 데이터가 이동하는 통로 대역폭(Bandwidth)이 큰 메모 

리이다. 이동하는 대역폭이 크다는 것은 그만큼 데이터가 빠르게 이동할 

수 있다는 것이다. HBM은 기존 디램(DRAM) 대비 대역폭 개선을 포 

함해 저지연(Lower Latency), 저전력, 소형 인수(小型因數·Small 

Form Factor) 등의 장점을 가지고 있다.

HBM은 AMD와 SK하이닉스가 처음 개발했다. 지난 2007년부터 

2008년까지 AMD는 K10 Star 아키텍처가 인텔에게 완전히 밀

리자 여러 옵션을 만들어 시장에서 간신히 살아남았다. 부족 

한 성능을 메모리로 극복하려는 여러 시도도 있었다. 2008 

년 게이밍 시장이 확대되는 시기에는 자신들이 부족한 CPU보다 GPU에 집중하려 했다. AMD GPU의 특성상 

대량의 데이터를 이동시킬 수 있는 고성능 메모리가 필요 

했고 이를 SK하이닉스에 제안했다.

1세대 HBM은 2015년에 나왔다. 기존 메모리보다 적은 

면적을 차지했으며 속도와 전력 효율성이 증가했다. 

AMD는 2015년 라데온(Radeon) R9 Fury에 HBM을 적 

용했으나 경쟁사가 탑재한 GDDR(그래픽카드용 램의 한 

종류) 절반 수준의 용량으로 성능 차이가 크지 않았으며 

가격도 높아 시장의 관심은 크지 않았다.

이후에는 베가(Vega) 64 등에도 HBM을 적용하였으나 

B2C(기업과 소비자간 거래) 제품에서 불리한 높은 가격 

과 낮은 생산성으로 대중화에는 실패하였다. 하지만 가 

격보다는 성능, 그리고 대량 생산 비중이 낮은 B2B(기업 

간 거래)용 제품에서는 자신의 영역을 지속적으로 확대 

시켜왔다. 특히 2016년 데이터센터 투자 확대로 가속기 보급 확대 

와 기업용 PC의 고성능컴퓨팅(HPC)화로 HBM의 시장 

도 조금씩 성장하고 있었다. 2013년 HBM의 첫 모델 출 

시 이후 2015년에 HBM2, 2019년 HBM2E, 지난해엔 

HBM3가 SK하이닉스를 통해 생산되었다. 다만 높은 가 

격에도 어플리케이션 사용이 한정적이어서 시장의 관심 

은 낮았다. 

하지만 올해 AI투자 확대와 함께 HBM3를 탑재한 엔비디 

아(Nvidia) H100의 공급이 수요를 따라잡지 못하는 상황 

에 직면했다. HBM3를 독점적으로 공급하는 업체도 SK 

하이닉스 밖에 존재하지 않았던 만큼 제품의 단가는 일반 

제품 대비 5~8배에 가까운 프리미엄을 받고 있는 상황이 

다.

최근 삼성전자, 마이크론도 HBM에 적극적인 모습이다. 

지난해 기준으로 HBM시장 점유율은 SK하이닉스 50%, 삼성전자 40%, 마이크론 10%였다. 최근 삼성전자가가 

점유율 확대를 위해 공격적으로 투자를 하고 있지만 내년 

적어도 하이엔드 시장에서는 SK하이닉스의 수혜가 지속 

될 것으로 예상되고 있다.

삼성전자의 경우 턴키 공급이 가능한 2.5D 패키징을 앞 

세워 수주 확보를 위해 노력하고 있으며 기존의 열압착- 

비전도성필름(TC-NCF) 방식에 사용된 필름의 종류와 

두께를 변경해 공정을 개선 중이다. HBM 부분의 본격적 

인 실적 상승은 증설된 물량과 주요 고객사 제품의 테스 

트가 끝나고 출하가 시작되는 내년 2분기 말에서 3분기 

부터 본격화될 것으로 예상된다. 

SK하이닉스의 경우 선제적으로 확보한 시장 지배력과 매 

스 리플로우 몰디드 언더필(MR-MUF) 기술을 앞세워 당 

분간 HBM 성장 수혜를 가장 크게 누릴 것으로 판단된다. 

 

'HBM의 핵심' TSV, 실리콘인터포저, 스태킹

기술적인 측면에서 HBM의 핵심은 TSV(Through 

Silicon Vias)와 실리콘 인터포저이다.  HBM은 전공정이 

완료된 DRAM 웨이퍼에 통로를 뚫고, 4~16장의 웨이퍼 

를 쌓은 후 구리 배선공정으로 연결하는 TSV(Through 

Silicon Via)가 핵심 공정이다.

대부분의 DRAM 칩은 적층할 때 와이어본딩을 사용한 

다. 와이어본딩이란 금으로 만든 얇은 와이어로 칩들을 

연결하는 패키지 기술이다. 와이어본딩을 사용하면 칩 

사이의 통신 속도가 느리고 패키지가 두꺼워진다.  

반면 TSV는 와이어 없이 칩 중간에 구멍을 뚫고 구리 등 

배선 물질을 채워서 위아래의 칩을 연결한다. 와이어본 

딩 대비 칩간 통신 속도가 매우 빠르다. TSV 공정에 있어 

서는 칩에 구멍을 뚫는 기술이 중요하다. 칩에 손상을 최소화하면서 구멍을 뚫을 수 있는 식각 장비가 필요하다. 

식각 과정이 정밀하고 칩에 손상이 없어야 하는 반면 공 

정 속도가 빨라야 한다. 

아직까지 제조사들의 인하우스에서 공정을 처리한다. 국 

내 한미반도체의 경우 SK하이닉스와 공동으로 개발한 

TSV 공정에 사용되는 TC Bonder 장비를 보유하고 있다. 

실리콘 인터포저는 로직 반도체와 DRAM 칩을 올려놓는 기판이다. 인쇄회로기판(PCB)을 대체할 수도 있는 새로 

운 부품이다. 

실리콘 인터포저는 일본의 DNP 등이 제작하고있다. 

현재 2.5D 패키징을 주도 중인 회사로는 대만의 SPIL, 

TSMC, 삼성전자 등이 있다.

 

메모리가 컴퓨팅의 중심…CXL의 존재 이유

지금까지 컴퓨팅의 중심은 항상 CPU와 같은 프로세서였 

다. 하지만 최근 데이터 증가와 AI 연산의 증가로 메모리 

중심의 컴퓨팅에 대한 관심이 높아지고 있다. 

과거에 CPU는 대부분 단일 기기 내부의 데이터를 처리 

했고 다른 기기·서버의 데이터에 접근하는 경우는 제한 

적이었다. 하지만 최근 등장한 AI 연산과 하이브리드 클 

라우드는 상황이 다르다. 

AI 연산은 방대한 양의 데이터를 수많은 프로세서가 동 

시에 처리하는 병렬 연산이 기본이다. 서로 다른 기기들 

의 연결성과 데이터 공유는 필수가 되어가고 있다. 하지 

만 이로 인해 전체 시스템의 병목현상이 심해져 성능이 

저하될 수 있다. 2017년 휴렛패커드(HPE)는 빅데이터 시 

대를 맞아 'The Machine Research Project'를 통해 메모 

리 중심의 컴퓨팅을 제안했다.  

메모리 중심 컴퓨팅은 서버 전체의 메모리를 통합하는 ' 

공유 메모리 풀'이라는 것을 만든다.  그리고 각 서버의 

CPU가 서버 내부의 메모리가 아닌 메모리 풀의 데이터 

에 접속하는 방식으로 설계를 바꾸고, CPU 서버와 메모 

리 풀은 이더넷보다 빠른 전용 인터페이스를 새로 개발해 

연결한다.

이럴 경우, CPU의 메모리 풀 데이터에 접근하는 속도가 

기존의 내부 메모리 버스를 통할 때 보다는 느리지만 이 

더넷을 통할 때 보다는 훨씬 빨라진다. 즉 병렬처리가 많 

이 필요한 연산에서는 기존 데이터센터의 설계 구조보다 

유리해진다.

메모리 중심 컴퓨팅에서 DRAM의 수요가 늘어나는 이유 

는 서버 1대에 탑재할 수 있는 DRAM의 상한 폭이 크게 

올라가기 때문이다. 기존 DDR4, DDR5 등 메모리 모듈은 CPU 1개에 최대 16~24개 모듈만 사용할 수 있다. 

단일 프로세서에 대량으로 메모리가 탑재되기 어려운 이 

유는 각각의 CPU가 컨트롤 할 수 있는 DRAM의 양이 제 

한적이기 때문이다. 메모리를 많이 탑재해봐야 CPU의 

능력 한계로 효용성이 떨어진다. 

처리해야 될 데이터의 양이 많아서 메모리를 더 늘리려 

면 서버 여러 대로 나눠서 탑재하는 방법을 쓴다. 하지만 

CPU와 메모리가 서로 떨어지기 때문에 병목현상이 증가 

하게 된다. 즉 CPU와 메모리의 근본적인 설계 문제로 메 

모리를 늘려도 전체 데이터센터 성능이 크게 늘어날 수 

없는 구조가 된다.  메모리 중심 컴퓨팅에서는 서버 1대에 장착할 수 있는 메 

모리의 양이 크게 늘어난다. 메모리의 양이 크게 늘어도 

복수의 서버 CPU들이 메모리 풀에 접속해 데이터를 처 

리하기 때문에 효율성이 좋다. 즉 메모리를 늘리면 늘릴 

수록 처리 성능이 올라가게 된다. 메모리 중심 컴퓨팅이 

구현되면 지금까지 우리가 경험한 DRAM 수요는 빙산의 

일각이 될 것이다. 

 

컨소시엄 CXL, 인터페이스의 통합

메모리 중심의 컴퓨팅을 구현하기 위해서는 소프트웨어 

적인 부분도 중요하지만 메모리와 프로세서들을 연결하는 인터페이스의 개발과 통합이 중요하다. 실리콘 포토 

닉스를 이용해 새로운 인터페이스를 개발했던 Gen-Z 

컨소시엄과 IBM의 Open CAPI 등이 인터페이스 표준을 

정립하기 위해 노력했다. 결국 2019년 인텔 주도하에 알 

리바바, 삼성, 구글, HPE, 마이크로소프트 등이 협력하 

여 개방형 인터커넥터 기술 개발을 위한 CXL 컨소시엄을 

출범하게 되었다. 

CXL은 고성능 컴퓨팅 시스템에서 메모리 통합과 CPU와 

함께 사용되는 이기종 플랫폼(Heterogeneous platform) 

을 효율적으로 이용하기 위해 제안된 인터페이스이다. 

올해 출시한 대부분의 서버 CPU는 PCIe 5.0와 DDR5 기 

반에 CXL 2.0기능을 지원한다. 

과거 대부분의 연산은 단일 프로세서를 사용했다. 하지 

만 최근 프로세서 발전의 한계와 데이터 증가에 따른 가 

속기의 필요성 등이 더해지면서 1개 이상의 프로세서를 사용하는 이기종 플랫폼이 대중화되기 시작하였다. 

CXL은 고성능 컴퓨팅 시스템에서 CPU와 함께 사용되는 

가속기, 메모리, 저장장치 등을 보다 효율적으로 활용하 

기 위한 인터페이스이다. 최근 AI로 인해 사용량이 증가 

한 GPU를 포함한 FPGA, 시스템온칩(SoC) 등이 CXL을 

통해 CPU와 직접 통신하고 메모리를 공유할 수 있다. 

쉽게 말해 CXL을 활용하면 단일 프로세서의 할당된 메 

모리만 쓸 수 있었던 과거와 달리 서로의 메모리를 공유 

할 수 있는 것이다. CXL의 장점으로는 접근성 확장과 함 

께 데이터 이동의 효율성 증가, 효과적인 자원 공유, 저지 

연, 메모리의 확장성 등이 꼽히고 있다.

연산의 구조적인 변화가 아니더라도 CXL과 같은 메모 

리 중심의 연산은 필요하다. 메모리 반도체의 경우 공정 

이 10nm대에 접어들면서 미세화 공정 난도 및 생산 비용 

증가에 대한 부담이 늘고 있다. 최근 극자외선(EUV)까지 도입하고 있어 설비투자 부담도 늘어나고 있는 상황에서 

빅데이터 연산이 늘어나며 고용량, 고성능의 메모리 수 

요도 빠르게 확대되고 있다. 

HBM도 좋은 대안이라고 판단되지만 CXL은 미세공정 

없이 기존 메모리를 활용하여 용량과 속도를 획기적으로 

늘릴 수 있는 가장 효율적인 전략이라고 볼 수 있다.

챗GPT가 촉발한 빅테크들의 AI 투자

챗GPT가 세계적인 열풍을 불러일으키며 다양한 빅테크 

업체들이 AI 경쟁에 참여했다. 이에 따라 관련 업체들의 대한 관심도 자연스럽게 증가했다.  

AI 학습을 위해서 반도체가 필요한 만큼 반도체에 대한 

관심도 높아졌다. 특히 오픈AI 학습에 사용된 엔비디아 

의 GPU에 대한 관심이 그 어느 때보다 높다. 2020년 통 

상적으로 사용되던 AI 데이터센터와 비교해보면 GPU의 

비율이 크게 높아졌다. 현재는 수만 개 이상의 GPU를 사 

용하지만 3년 전만 해도 400개 정도 수준의 GPU가 사용 

되었다. 초거대 AI모델의 발전과 함께 학습 데이터 규모 

와 연산의 중심이 변했기 때문이다.

마이크로소프트를 시작으로 글로벌 빅테크 기업들은 엔 

비디아의 GPU를 조달하기 위해 노력하고 있으며 아직까 

지도 공급이 수요를 따라가고 있지 못하는 상황이다.  최근 

자체적인 반도체 제작부터 AMD의 MI 시리즈, 인텔의 가 

우디까지 엔비디아의 칩을 대체하기 위해 노력을 기울이 

고 있으나 아직까지 마땅한 대체제를 찾지 못한 상태이다. 

빅테크 업체들이 투자의 최우선 순위를 AI에 두면서 그 

동안 인프라 투자의 핵심이었던 CPU는 차순위로 밀리게 

되었다.

 

인텔·AMD 합산보다 큰 엔비디아 데이터센터 매출 

2013년까지 데이터센터는 대체로 저장의 용도로 사용된 

만큼 매년 투자 규모가 일정한 수준을 유지했다. 매년 유 

지 보수의 개념으로 약 500억 달러의 규모를 유지했다. 

하지만 클라우드 서비스의 확대로 하이퍼스케일러 빠르게 증가했다. 하이퍼스케일러는 대규모 데이터 처 

리, 빅데이터 분석, AI, 기계학습 알고리즘의 훈련과 실 

행, 고성능 컴퓨팅 작업 등을 수행하는 데이터 처리 방법 

을 일컫는다.

특히 알파고가 등장한 2016년부터 가속기에 대한 투자도 

빠르게 증가하였다. x86 CPU(인텔·AMD)와 GPU(엔 

비디아, 네트워크 제외) 매출을 전체 데이터센터 투자 규 

모와 비교해 보면 CPU는 2014년부터 성장세가 시작되어 

매년 데이터센터 투자 규모의 평균 25%를 차지하였다. 

하지만 지난해부터 CPU 업체들의 투자는 6%p나 감소한 

19% 수준까지 하락하였으며 올해는 AMD의 하반기 데이 

터센터 부문 성장을 감안하더라도 17.3%까지 하락할 것 

으로 예상된다.  반면 GPU는 작년 9.4% 수준에서 올해 

는 25%까지 수직상승 하며 CPU를 뛰어넘을 것으로 전망 

되고 있다.

엔비디아의 성장에 따른 ‘낙수효과’ 기대

현재 AI시장은 엔비디아와 같이 핵심기술을 갖춘 업체들 

이 가장 큰 수혜를 누리며 주가도 가장 큰 폭으로 상승하 

고 있다. 과거 스마트폰 산업의 발전 순서를 생각해 보면 

초기에는 핵심기술을 갖춘 업체들이 가장 큰 수혜를, 이 

후 산업의 대중화와 함께 서플라이체인들이 낙수효과를 

누린다. PC 이후 스마트폰의 등장은 메모리 산업을 포함한 다양 

한 산업 내 업체들에게 긍정적인 영향을 주었다. 당시 성 

장 초기에는 스마트폰 애플리케이션 프로세서(AP) 핵심 

기술을 보유한 ARM의 주가 상승폭이 가장 컸다. 이후 스 

마트폰 시장에서 혁신적인 모습을 보여주며 수익성을 독 

식한 애플, 그리고 관련 서플라이 체인(공급망)들이 수혜 

를 누렸다.

현재 AI 시장도 비슷한 상황으로 보인다. 엔비디아의 

GPU가 완전히 대체 불가능한 제품은 아니지만 엔비디아 

의 GPU만큼 AI 연산을 수행할 수 있는 제품이 부족하기 

때문이다. 향후 AI 시장은 데이터센터와 같은 인프라 구 

축 → 학습을 통한 파운데이션 모델 구축 → 서비스 개발→ AI의 대중화와 함께 엔드 제품 확산의 단계를 거치며 

성장할 것으로 예상된다. 

단기적으로는 엔비디아가 가장 큰 수혜를 받겠지만 서비 

스의 출현과 함께 현재 학습시장과 비교가 안 될 추론시 

장이 열리면 다양한 하드웨어 개발이 이뤄질 것이다. 하 

드웨어 제품의 증가는 곧 반도체 업체들의 전반적인 성장 

으로 이어질 것이다. 새로운 반도체 개발에 필요한 설계 

자산(IP), 설계자동화(EDA), 파운드리(위탁생산)의 수요 

가 증가할 것이며 메모리의 성장도 눈에 띄게 증가할 수 

밖에 없을 것으로 예상된다.

내년 AI 투자에 대한 시장의 우려가 높은 상황이다. 하지 

만 AI 관련 서비스 부분의 발전과 함께 사업성이 확인된 

다면 AI 투자가 더욱 가속화될 수도 있다. 서비스 개발 및 

준비를 위해 적어도 내년에는 빅테크 중심의 AI투자가 

지속될 것으로 기대된다. 

 

박스

AI 하드웨어 투자는 당분간 지속

최근 메타의 네트워크 인프라 소프트웨어 부문 대표인 라지 

브 크리슈나무르티(Rajiv Krishnamurthy)는 AI 모델이 2~3년 

주기로 1000배 성장한다고 언급했다. 지난해부터 시작된 거 

대언어모델(LLM)의 발전은 이를 더욱 가속시키고 있다. 매 

년 커지는 모델은 더 높은 수준의 메모리 스토리지와 더 높 

은 성능의 네트워크 인프라가 필요하다. 그리고 이를 처리할 

수 있는 더 강력한 연산도 요구된다.

기존 인터넷 업체들이 대중적으로 사용하던 추천모델의 경 

우 LLM 대비 학습 시 상대적으로 낮은 수준의 연산이 요구 

된다. 반면 LLM 모델은 추론의 영역에서도 높은 연산이 요 

구되는 모습을 확인할 수 있다. 모델이 발전하며 연산 필요 

성도 감소 될 것으로 예상되었으나 모델 사이즈가 커지며 여 

전히 높은 연산이 필요할 것으로 예상된다. 

최근 빅테크 업체들이 단기적으로 엔비디아의 GPU를 대체 

하지 못한다는 사실을 알면서도 장기적인 관점에서 높은 비 

용이 수반되는 자체적인 하드웨어 개발을 포기하지 못하는 

가장 큰 이유가 여기에 있다. 기업들은 연산 외에도 데이터센터 구조, 네트워크 업그레이 

드를 통해 전반적인 하드웨어를 개선시키려 노력하고 있다.

(Hyperscale)와 연산의 중요성이 커지며 투자의 규모도

  • 도배방지 이미지

관련기사목록
광고
광고