삼성전자는 인공지능(AI) 인프라의 주도권이 연산 처리에서 메모리 분야로 급격히 옮겨가고 있다고 진단했다.
27일(현지시간) 온라인으로 진행된 미국 정보기술(IT) 콘퍼런스 '더 식스파이브 서밋 2026'에 연사로 참석한 조상연 삼성전자 DS부문 미주총괄법인(DSA) 총괄(부사장)은 이같이 밝혔다.
조 총괄은 'AI 한계 재정의: 삼성의 메모리·전력·시스템 설계'를 주제로 한 30분 분량의 대담에서 "AI 추론 서비스의 필수 요건인 '초당 토큰 처리량'이 전적으로 메모리 대역폭에 달려 있음을 업계가 명확히 인식하지 못하고 있다"고 지적했다.
그는 메모리와 연산 장치 사이의 데이터 전송 속도를 뜻하는 '메모리 대역폭'이 동시 접속자 수, 요청 처리량, 응답 시간, 맥락 유지 성능을 판가름하는 척도라고 덧붙였다. 결과적으로 AI 시스템이 구현할 수 있는 서비스 수준과 이에 수반되는 비용 구조 역시 메모리 대역폭이 좌우한다는 의미다.
조 총괄은 "삼성의 비즈니스 모델은 단순한 데이터 단위인 '비트(bit)' 판매가 아닌 '대역폭' 제공에 있다"고 강조하며, "향후 4년 내 두각을 나타낼 애플리케이션은 방대한 메모리 용량을 갖춘 쪽이 아니라 주어진 대역폭을 최적으로 활용하는 방안을 터득한 쪽일 것"이라고 내다봤다.
이러한 관점에서 그는 메모리를 최우선으로 고려해 대역폭을 설정하고 활용도를 극대화하는 '메모리 중심 컴퓨팅'을 새로운 대안으로 제안했다. 연산 자원을 앞세우고 메모리 용량과 패키징, 전력 문제를 나중에 고민하던 기존의 설계 순서를 완전히 뒤바꿔야 한다는 논리다.
대역폭 확장을 이끌 구체적인 사례로는 삼성전자가 최근 선보인 'zHBM'이 꼽혔다. 이 제품은 AI 가속기(xPU) 측면에 고대역폭 메모리(HBM)를 두는 일반적인 방식을 탈피해 가속기 상단에 HBM을 직접 쌓아 올린 구조를 채택했다. 이를 통해 데이터의 물리적 이동 거리를 극단적으로 단축하고 대역폭을 극대화했다.
조 총괄은 "현재 1세대 zHBM의 스펙을 확정하는 중이며, 이를 토대로 한 차세대 제품군은 2029년 이후 모습을 드러낼 것"이라고 전했다. 시장 일각에서 2030년경으로 내다봤던 상용화 시기를 1년가량 앞당긴 셈이다.
다만 칩을 수직으로 쌓으면서 발생하는 열을 잡는 것이 최대 난제라며, 하이브리드구리접합(HCB) 같은 첨단 기술을 접목해 해결책을 찾고 있다고 설명했다.
대역폭 확보 못지않게 첨단 패키징 기술의 역할이 커지고 있다는 점도 강조됐다. 회로 선폭을 좁히는 미세 공정만으로는 AI 시대의 성능 및 전력 효율 요구치를 충족하기 어려워진 만큼, 다양한 다이와 메모리, 이종 공정 노드를 단일 시스템으로 결합하는 패키징 역량이 필수적이라는 진단이다.
그는 "베이스 다이 생산을 외부에 맡겨 공정 간 인수인계(핸드오프) 과정을 거치는 일부 기업들과 달리, 삼성은 시스템과 칩, 메모리에 이르는 전 단계를 아울러 설계 목표 달성을 위한 통합 공정을 직접 주도한다"고 차별성을 강조했다.
대표적으로 HBM4의 경우 베이스 다이 설계에 자사의 최첨단 4나노 공정을 적용하고 조립 및 패키징까지 일괄 처리함으로써 전력 효율과 신호 무결성, 성능, 대역폭 등 시스템 전반의 완성도를 최고 수준으로 끌어올릴 수 있다는 설명이다.
한편 조 총괄은 미국 텍사스주(州) 테일러(Taylor)시에 짓고 있는 두 번째 반도체 공장 '테일러 팹2'를 수년 내 본격 가동해 2㎚(나노미터)를 비롯한 최첨단 공정의 생산 규모를 키우고 현지 고객사 지원에 박차를 가하겠다는 계획도 언급했다.
