새 인공지능 컴퓨터, 그래픽 속도 최대 5배 향상 VIDEO: New AI Speeds Computer Graphics by Up to 5x

 

엔비디아 신경 렌더링

 

  새로운 인공지능이 컴퓨터 그래픽 속도를 최대 5배 향상시킨다. 신경 렌더링은 픽셀을 그리기 위해 기계 학습을 활용한다.

 

9월 20일, 엔비디아의 응용 딥 러닝 부사장 브라이언 칸탄자로는 대담한 주장으로 트위터를 방문했다. 고전적인 1인칭 플랫폼 포털과 같은 GPU가 많은 특정 게임에서 화면의 8픽셀 중 7픽셀은 새로운 기계 학습 알고리즘에 의해 생성된다. 이는 렌더링 속도를 최대 5배까지 가속화하기에 충분하다고 그는 말했다.

 

이 인상적인 업적은 현재 수십 개의 3D 게임으로 제한되어 있지만, 신경 렌더링이 곧 제공할 이득에 대한 힌트이다. 그 기술은 일상적인 가전제품에서 새로운 가능성을 열어줄 것이다.

 

 

 

터보차저로서의 신경 렌더링

칸탄자로의 주장은 엔비디아의 DLSS(Deep Learning Super Sampling)의 최신 버전인 DLSS 3에 의해 가능하다. 그것은 AI로 구동되는 이미지 업스케일링과 DLSS 3만의 새로운 기능인 광학 멀티 프레임 생성을 결합한다. 순차 프레임은 프레임 간의 변화를 예측하는 데 사용되는 광학 흐름 필드와 결합된다. 그런 다음 DLSS 3은 전통적으로 렌더링된 프레임 사이에 고유한 AI 생성 프레임을 슬롯한다.

 

Cantanzaro는 "4K의 성능 모드에서 DLSS 초해상도를 사용하면 8픽셀 중 7픽셀이 신경망을 통해 실행됩니다."라고 말한다. "저는 그것이 여러분이 그렇게 대단한 속도 향상을 보는 이유 중 하나라고 생각합니다. 이 모드에서는 Portal RTX와 같이 GPU를 많이 사용하는 게임에서 8픽셀 중 7픽셀이 AI에 의해 생성되므로 530% 더 빨라집니다."

 

3D 그래픽 출판물과 YouTube 채널 Digital Foundry의 테스트를 참조하는 이 예는 최상의 시나리오다. 하지만 다른 테스트의 결과는 인상적이다. 대부분은 4K 해상도에서 순수하게 기존 렌더링에 비해 2~3배 향상된 성능을 제공하는 DLSS 3를 보여준다. Nvidia가 선두를 달리고 있지만 경쟁자들이 있다. 

 

인텔은 인공지능으로 작동하는 업스케일러인 Xe Super Sampling을 제공한다. AMD의 RDNA 3 그래픽 아키텍처는 각 컴퓨팅 유닛에 한 쌍의 AI 가속기를 포함하고 있지만 회사가 이를 어떻게 사용할지는 아직 불확실하다.

 

게임은 기계 학습 기술의 사용에 잘 적합하기 때문에 신경 렌더링의 물결을 주도해 왔다. Google의 수석 직원 연구원인 Jon Barron은 "이미지의 작은 부분을 보고 무엇이 누락되었는지 추측하는 문제는 머신 러닝에 정말 적합합니다."라고 말한다. 프레임 간의 유사성은 모션의 사소한 오류를 가릴 수 있을 정도로 높은 프레임률과 함께 기계 학습의 장점에 작용한다.

 

 

완벽하지는 않다. DLSS3는 장면 전환에 문제가 있는 반면, XeSS는 일부 상황에서 반짝임 효과를 일으킬 수 있다. 그러나 배론과 카탄자로는 신경 렌더링 모델에 추가 훈련 데이터를 제공함으로써 품질의 장애물을 극복할 수 있다고 생각한다. 2023년은 엔비디아, 인텔, AMD가 소프트웨어 파트너와 협력하여 각각의 신경 렌더링 기술을 향상시킴으로써 기술 발전을 볼 수 있는 기회를 제공한다.

 

 

스포트라이트를 받는 3D 신경 렌더링 단계

이것은 단지 창끝일 뿐이다. Barron은 전통적인 그래픽 파이프라인의 결과를 개선하는 Nvidia DLSS 3와 같은 "2D 신경 렌더링" 기술과 완전히 기계 학습을 통해 그래픽을 생성하는 "3D 신경 렌더링" 기술 사이의 갈림길을 보고 있다. 배런은 일반 텍스트 입력에서 3D 객체를 생성하는 머신러닝 모델인 드림퓨전에 대한 논문을 공동 집필했다. 결과적인 3D 모델은 렌더링 소프트웨어 및 게임 엔진으로 내보낼 수 있다. 엔비디아는 2D 이미지에서 풀 컬러 3D 장면을 생성하는 Instant NeRF에서도 마찬가지로 인상적인 결과를 보여주었다.

 

Intel의 그래픽 리서치 부사장인 Anton Kaplanyan은 신경 렌더링 기술이 3D 콘텐츠 제작을 더 쉽게 만들 것이라고 믿는다. "현재의 소셜 네트워크를 보면, 그것은 매우 상품화되어 있다. 사람은 버튼을 클릭하고, 사진을 찍고, 친구 및 친척과 공유할 수 있습니다."라고 Kaplanyan은 말한다. "이러한 경험을 3D로 끌어올리려면 전문적인 도구를 모르는 사람들을 끌어들여 콘텐츠 제작자가 되어야 한다."

 

 

 

황기철 콘페이퍼 에디터 국토부 인플루언서

Ki Chul Hwang Conpaper editor influencer

 

Microsoft Flight Simulator | NVIDIA DLSS 3 - Exclusive First-Look

(Source: 

spectrum.ieee.org/ai-graphics-neural-rendering)

 

---

1. 수면 단계 거친 인공 신경망... 기억상실증 예방 가능 Sleep Can Keep AI From Catastrophic Forgetting
2. 카이스트, 입을 수 있는 OLED로 소아 황달 치료기술 개발​
3. 쥐가오리 영감...부드럽고 빠르게 수영하는 로봇 VIDEO: A butterfly-stroke-like soft robotic swimmer that is fast and efficient(1)

---

↓↓↓

[데일리 리포트 Daily Report] Nov.25(Fri) 2022 CONPAPER

[데일리 리포트 Daily Report] Nov.25(Fri) 2022 CONPAPER

kcontents