'엔비디아'의 승승장구 비결 The Secret to Nvidia’s AI Success
* 엔비디아 Nvidia
GPU를 발명하고 AI, HPC, 게이밍, 크리에이티브 디자인, 자율주행 자동차, 로보틱스의 발전을 주도한다.
콘솔 게임기와 PC, 노트북 등을 위한 그래픽카드인 GPU를 디자인하는 미국의 반도체 회사이다. 또한 GPU와 그 연산구조를 활용하여 데이터센터에서 활용하는 인공지능 컴퓨팅의 학습을 목적으로 반도체 전기회로를 디자인한다. 위키백과
엔비디아는 현재 승승장구하고 있다. 이 회사는 지난 10년 동안 AI 작업에 대한 칩 성능을 천 배나 높였고, 돈을 벌고 있으며, 최신 AI 가속 GPU인 H100을 손에 넣는 것은 매우 어려운 것으로 알려졌다.
엔비디아는 어떻게 여기에 오게 되었나? 이 회사의 수석 과학자인 빌 댈리는 지난 주 실리콘 밸리에서 열린 IEEE 핫 칩스 2023 심포지엄의 기조 연설에서 이 모든 것을 한 슬라이드로 요약할 수 있었다. 무어의 법칙은 엔비디아의 마술에서 놀라울 정도로 작은 부분이었고 새로운 숫자 형식도 매우 큰 부분을 차지했다. 이 모든 것을 종합하면 댈리가 황의 법칙이라고 부르는 것(엔비디아 CEO 젠슨 황의 경우)을 얻을 수 있다.
숫자 표현: 16x
댈리는 엔지니어들에게 "대체로 우리가 얻은 가장 큰 이득은 더 나은 숫자 표현에서 얻은 것입니다."라고 말했다. 이 숫자들은 신경망의 주요 매개 변수를 나타낸다. 그러한 매개 변수 중 하나는 가중치인데, 모델에서 뉴런과 뉴런 간의 연결의 강도이며, 또 다른 하나는 활성화다. 뉴런이 활성화되는지 여부를 판단하기 위해 뉴런에서 입력한 가중치의 합을 곱하여 정보를 다음 계층으로 전파하는 것이다. P100 이전에는 엔비디아 GPU가 단일 정밀 부동 소수점 숫자를 사용하여 그러한 가중치를 나타냈다. IEEE 754 표준에 의해 정의된 이 숫자들은 32비트 길이이며, 23비트는 분수를 나타내고, 8비트는 기본적으로 분수에 적용되는 지수 역할을 하며, 1비트는 숫자의 부호를 나타낸다.
복잡한 지침: 12.5배
댈리는 "명령어를 가져오고 해독하는 데 드는 오버헤드는 단순한 산술 연산을 수행하는 데 비해 몇 배나 됩니다."라고 말했다. 그는 곱셈의 한 가지 유형을 지적했는데, 이는 수학 자체를 수행하는 데 사용되는 1.5 피코줄의 20배나 되는 오버헤드를 가지고 있었다. 일련의 명령이 아닌 하나의 명령어로 큰 계산을 수행하도록 GPU를 설계함으로써 엔비디아는 큰 이익을 창출했다. 댈리는 여전히 오버헤드가 있지만 복잡한 명령어의 경우 더 많은 수학보다 상각된다고 말했다. 예를 들어, 복잡한 명령어 정수 행렬 곱셈 및 누적(IMMA)은 수학 에너지 비용의 16%에 불과한 오버헤드를 가지고 있다.
무어의 법칙: 2.5배
무어의 법칙의 진보를 유지하는 것은 수십억 달러와 수십억 달러의 투자, 매우 복잡한 엔지니어링 및 수많은 국제적 불안의 대상이다. 그러나 이는 엔비디아의 GPU 이득의 일부만을 책임지고 있다. 회사는 TSMC의 N5(5나노미터) 공정으로 H100을 만들고 칩 파운드리는 2022년 말에야 차세대 N3의 초기 생산을 시작했다.
Best Graphics Cards September 2023
다우지수 폭락...기술주 매도 시작 The Dow Sinks. A Tech Selloff Is On
다우지수 폭락...기술주 매도 시작 The Dow Sinks. A Tech Selloff Is On
300포인트 이상 하락 애플, 테슬라, 엔비디아는 투자자들이 연준의 금리 인상에 대한 두려움을 최대한 활용한 후 모두 가라앉고 있었다. 다우존스 산업평균지수는 0.9%로 300포인트 이상 떨어졌다.
conpaper.tistory.com
희소성: 2배
훈련 후 신경망에는 애초에 없었던 뉴런들이 많이 존재한. 일부 네트워크의 경우, "뉴런의 절반 이상을 가지치기만 해도 정확성이 떨어질 수 없습니다."라고 댈리는 말했다. 그들의 가중치는 0이거나 정말로 그에 가깝기 때문에 출력에 기여하지 못하고 계산에 포함시키는 것은 시간과 에너지의 낭비다.
황기철 콘페이퍼 에디터 국토부 인플루언서
Ki Chul Hwang Conpaper editor influencer
The Secret to Nvidia’s AI Success
(Source: spectrum.ieee.org/nvidia-gpu)
Nvidia 주가 추이
kcontents
