Deep learning super sampling
Суперсемплінг за допомогою глибокого навчання (англ. Deep learning super sampling, DLSS) — технологія масштабування зображення, розроблена компанією Nvidia для використання в режимі реального часу у вибраних відеоіграх, за допомогою глибокого навчання для збільшення масштабу зображень з нижчою роздільною здатністю до більш високої роздільної здатності для відображення на моніторах з більш високою роздільною здатністю. Nvidia стверджує, що ця технологія збільшує масштаб зображень із якістю, подібною до якості відтворення зображення в основному з більш високою роздільною здатністю, але з меншими навантаженнями на відеокарти, що забезпечує більш високі графічні налаштування та частоту кадрів для даної роздільної здатності.[1]
Станом на грудень 2020 року ця технологія доступна на графічних процесорах GeForce RTX 20 та GeForce RTX 30.
Алгоритм
Nvidia пояснила, що DLSS 1.0 працювала для кожного цільового ігрового зображення, генеруючи "ідеальний кадр", використовуючи традиційні супервибірки, а потім навчила нейронну мережу на цих отриманих зображеннях. На другому кроці модель була навчена розпізнавати псевдоніми вхідні дані на початковому результаті.
DLSS 2.0
DLSS 2.0 працює наступним чином:[2]
- Нейромережа навчена Nvidia з використанням "ідеальних" зображень відеоігор надвисокої роздільної здатності на суперкомп'ютерах і зображень низької роздільної здатності тих самих ігор. Результат зберігається на драйвері відеокарти. Кажуть, що Nvidia використовує сервери DGX-1 для навчання мережі.[3]
- Нейронна мережа, що зберігається на драйвері, порівнює фактичне зображення з низькою роздільною здатністю з еталонним та дає повний результат із високою роздільною здатністю. Вхідні дані, що використовуються навченою нейронною мережею, — це псевдоніми з низькою роздільною здатністю, що передаються ігровим механізмом, і вектори руху з низькою роздільною здатністю з тих самих зображень, також створені ігровим механізмом. Вектори руху повідомляють мережі, в якому напрямку об'єкти на сцені рухаються від кадру до кадру, щоб оцінити, як буде виглядати наступний кадр.[4]
Архітектура
DLSS доступний лише на графічних процесорах GeForce RTX 20 та GeForce RTX 30, у виділених ШІ-прискорювачах під назвою Tensor Cores.[5][6]
Ядра тензора (англ. tensor cores) доступні з часів мікроархітектури графічного процесора Nvidia Volta, яка вперше була використана в лінійці продуктів Tesla V100.[7] Їх специфіка полягає в тому, що кожне ядро Tensor працює на 16 бітах з матрицями з плаваючою комою 4 x 4 і, розроблено для використання на рівні CUDA C++, навіть на рівні компілятора.[8]
Ядра Tensor використовують примітиви CUDA Warp-Level на 32 паралельних потоках, щоб скористатися перевагами їх паралельної архітектури.[9] Деформація — набір із 32 потоків, які налаштовані на виконання тієї самої інструкції.
Див. також
- Масштабування зображень
- Глибоке навчання
- Тензорний блок обробки — спеціальна інтегральна схема (ASIC), прискорювач ШІ, розроблена Google
Примітки
- ↑ Nvidia RTX DLSS: Everything you need to know (англійською) . Digital Trends. 14 лютого 2020. Процитовано 5 квітня 2020.
Deep learning super sampling uses artificial intelligence and machine learning to produce an image that looks like a higher-resolution image, without the rendering overhead. Nvidia’s algorithm learns from tens of thousands of rendered sequences of images that were created using a supercomputer. That trains the algorithm to be able to produce similarly beautiful images, but without requiring the graphics card to work as hard to do it.
- ↑ NVIDIA's Deep Learning Super Sampling (DLSS) 2.0 Technology Is The Real Deal. Forbes. 29 березня 2020. Процитовано 7 квітня 2020.
- ↑ NVIDIA DLSS 2.0: A Big Leap In AI Rendering. Nvidia. 23 березня 2020. Процитовано 25 листопада 2020.
- ↑ NVIDIA DLSS 2.0: A Big Leap In AI Rendering. Nvidia. 23 березня 2020. Процитовано 7 квітня 2020.
- ↑ NVIDIA DLSS 2.0: A Big Leap In AI Rendering. Nvidia. 23 березня 2020. Процитовано 7 квітня 2020.
- ↑ NVIDIA TENSOR CORES. Nvidia. Процитовано 7 квітня 2020.
- ↑ On Tensors, Tensorflow, And Nvidia's Latest 'Tensor Cores'. tomshardware.com. 11 квітня 2017. Процитовано 8 квітня 2020.
- ↑ The NVIDIA Titan V Deep Learning Deep Dive: It's All About The Tensor Cores. AnandTech. 3 липня 2018. Процитовано 8 квітня 2020.
- ↑ Using CUDA Warp-Level Primitives. Nvidia. 15 січня 2018. Процитовано 8 квітня 2020.
NVIDIA GPUs execute groups of threads known as warps in SIMT (Single Instruction, Multiple Thread) fashion