이 포스팅은 AI+HW 2035 Shaping the Next Decade 라는 논문을 바탕으로 작성된 후기글 입니다

AI+HW 2035: Shaping the Next Decade

Artificial intelligence (AI) and hardware (HW) are advancing at unprecedented rates, yet their trajectories have become inseparably intertwined. The global research community lacks a cohesive, long-term vision to strategically coordinate the development of AI and HW. This fragmentation constrains progress toward holistic, sustainable, and adaptive AI systems capable of learning, reasoning, and operating efficiently across cloud, edge, and physical environments. The future of AI depends not only on scaling intelligence, but on scaling efficiency, achieving exponential gains in intelligence per joule, rather than unbounded compute consumption. Addressing this grand challenge requires rethinking the entire computing stack. This vision paper lays out a 10-year roadmap for AI+HW co-design and co-development, spanning algorithms, architectures, systems, and sustainability. We articulate key insights that redefine scaling around energy efficiency, system-level integration, and cross-layer optimization. We identify key challenges and opportunities, candidly assess potential obstacles and pitfalls, and propose integrated solutions grounded in algorithmic innovation, hardware advances, and software abstraction. Looking ahead, we define what success means in 10 years: achieving a 1000x improvement in efficiency for AI training and inference; enabling energy-aware, self-optimizing systems that seamlessly span cloud, edge, and physical AI; democratizing access to advanced AI infrastructure; and embedding human-centric principles into the design of intelligent systems. Finally, we outline concrete action items for academia, industry, government, and the broader community, calling for coordinated national initiatives, shared infrastructure, workforce development, cross-agency collaboration, and sustained public-private partnerships to ensure that AI+HW co-design becomes a unifying long-term mission.

arXiv.orgDeming Chen

해당 논문은 조금 더 많은 내용을 다루지만, 내용이 방대하여, 우선 Chatper 1부터 소개 하려고 합니다.

요즘 국장, 미장 할 거 없이 AI섹터와 반도체 섹터가 매우 뜨겁습니다.

포스팅하는 오늘 날짜 기준으로 SK하이닉스는 주당 190만원을 찍었고, 삼성전자는 285,000원을 찍은 날입니다.

말 그대로 이 두 메모리 회사가 엄청난 반도체 호황기를 맞이 한건 기정 사실 입니다.

그럼 본론으로 들어와서 왜 이 두 회사가 이제서야 주목을 받았을까를 생각한다면, 다들 아시겠지만, HBM 때문입니다.

HBM에 대한 자세한 내용은

위 안될공학 채널에서 쉽게 설명하는 영상이 있습니다. 이 블로그 주제 자체가 HBM에 대한 내용을 다루는 것은 아니지만, 상황을 설명을 해드리자면

HBM의 수요가 증폭 되고, 기존 DRAM공정을 대부분을 HBM으로 돌리면서, DRAM 덩달아 가격이 올라가는 현상으로 인해서, 엄청난 반도체 호황기를 맞이하고 있다고 하는 사실입니다.

Nvidia Vera Rubin 발표

지난 CES에서 Nvidia는 차세대 GPU 플랫폼인 Rubin시리즈를 발표했습니다.

삼성과 SK하이닉스의 메모리 기술은 HBM4 기반의 초고성능 GPU 플랫폼이죠, 하지만, 이번에 HBM4의 양산이 늦어지면서 아래 기사 처럼 Vera Rubin의 양산도 덩달아 늦어지는 형태입니다.

엔비디아 루빈 GPU 공급 차질 우려…기업 AI 인프라 도입 일정 늦어지나

엔비디아의 루빈 GPU 출시가 지연될 가능성이 제기되면서, 기업들은 차세대 인프라에 대한 접근이 늦어지고 기존 시스템에 대한 의존 기간이 길어질 것으로 보인다.

CIONidhi Singal

사실 삼성, SK 입장에서는 HBM3e도 지금 생산력이 딸리는데, 굳이 무리해가면서 HBM4를 대응 할 필요는 없다고 생각하고 있을겁니다.

근데 여기서 의문이 드는 생각이 있으실겁니다.

HBM이 그렇게 중요해?

일반 PC에서 메모리의 입지는 그닥..

사실 예전의 CPU, RAM 을 바라볼때는 RAM이라는 존재는 없으면 안되는 존재지만, 그렇다고 CPU처럼 최고성능의 RAM을 교체한다고 성능이 드라마틱 하게 상승하는 존재는 아니었습니다.

사실 속도가 엄청 빠르던 말던 그닥 일반 사람들은 차이를 느끼기 쉽진 않죠

하지만, GPU는 사정이 조금 다르다..

일반적으로 저흰 CPU에 들어가는 RAM은 차이점이 명확하지만, GPU 특히 AI 연산에서 사용하는 메모리는 사실 중요한 역할이 있습니다.

아래의 영상을 보신다면, 차이가 명확해질 것입니다

CPU는 복잡한 연산을 수행할 수 있지만, 작업 자체가 복잡하므로, 연산속도가 상대적으로 느립니다.

하지만, GPU는 단순한 행렬 연산을 수행하므로, 복잡한 계산을 수행하진 못하지만, 상대적으로 작업 자체는 매우 빠르게 수행이 가능하죠

여기서 AI는 Self Attention이라는 기법을 사용하여, LLM을 구동하고 있죠, 즉 엄청나게 많은 행렬들을 계산해야하는 과정에서

계산 -> 저장 -> 계산 이 과정을 수만번 반복해야하는 과정이 있습니다.

즉, LLM의 가장 큰 문제는 계산과 저장 그리고 저장 된 값을 꺼내는 그 과정에서 병목이 생긴다는 겁니다.

즉, 메모리의 속도가 엄청나게 중요한 관건이 되었습니다. GPU가 아무리 성능이 좋더라도, 메모리에서 데이터를 꺼내는 속도가 빠르지 않다면, 제 성능을 발휘 하지 못하는 이슈가 있습니다.

메모리 연산 장치

그래서 논문에서 나오는 해답이 결국은 메모리 연산 장치라는 새로운 hardware를 제시합니다.

기존에 폰 노이만 구조에서, RAM내부에서 연산과 메모리 적재까지 한꺼번에 하는 아키텍처를 말합니다.

사실 기술은 이미 개발이 완료 된 상태이고, 항상 모든 건 양산이 문제죠, 산업화와

반도체의 전설: 짐캘러

사실 이미 이 기술은 양산 및 제품화를 시킨 회사가 존재합니다.

업계에서는 유명한, 살아있는 전설 짐켈러죠, 위 사진처럼 이미 본인의 회사도 차렸습니다. 텐스토렌트라고 하는 회사를요, 사실 회사 자체는 그다지 몰랐는데, 알고보니까 RISC-V 를 이용해서, 메모리 연산장치를 개발하고 이를 상용화 하려고 하는 회사 더라구요.

저도 이곳에 조금 흥미를 느껴서 이런 메모리 연산 장치의 소프트웨어 오픈소스를 조금 분석해보고, 공부를 조금 해보려고 합니다.

블로그에도 공부하는 내용을 간간히 올려보려고 합니다 많관부!