Ir al contenido

Deep Learning Super Sampling

De Wikipedia, la enciclopedia libre

Esta es una versión antigua de esta página, editada a las 11:20 6 feb 2021 por Virum Mundi (discusión · contribs.). La dirección URL es un enlace permanente a esta versión, que puede ser diferente de la versión actual.

El Supermuestreo de Aprendizaje Profundo (DLSS por sus siglas en inglés) es una tecnología de escalado de imágenes desarrollada por Nvidia y exclusiva de las tarjetas gráficas de Nvidia para uso en tiempo real en videojuegos seleccionados, que utiliza el aprendizaje profundo para escalar imágenes de menor resolución a una resolución más alta para visualizarlas en monitores de grandes resoluciones. Nvidia afirma que esta tecnología rescala las imágenes con una calidad similar a la de una imagen en alta resolución, pero con menos cálculo realizado por la tarjeta gráfica, lo que permite configuraciones gráficas y fotogramas por segundo más altos para una resolución determinada.[1]​

A partir de diciembre de 2020, esta tecnología está disponible exclusivamente en las GPU de las series GeForce RTX 20 y GeForce RTX 30.

Historia

Nvidia anunció DLSS como una característica clave de las GPU de la serie GeForce RTX 20 cuando se lanzaron en septiembre de 2018.[2]​ En ese momento, los resultados se limitaron a unos pocos videojuegos (por ejemplo, Battlefield V[3]​ y Metro Exodus ) porque el algoritmo tenía que entrenarse específicamente en cada juego en el que se aplicó y los resultados generalmente no eran tan buenos como el rescalado tradicional.[4]​[5]​

En 2019, el videojuego Control, fue ofrecido con trazado de rayos y una versión mejorada de DLSS, que no usaba Tensor Cores.[6]​[7]​

En abril de 2020, Nvidia anunció y lanzó con la versión 445.75 de los controladores una versión mejorada de DLSS llamada DLSS 2.0, que estaba disponible para algunos juegos existentes, incluidos Control y Wolfenstein: Youngblood, y estaría disponible más adelante para próximos juegos. Esta vez, Nvidia dijo que volvió a usar Tensor Cores y que la IA no necesitaba ser entrenada específicamente en cada juego.[2]​[8]​

Un efecto secundario de DLSS 2.0 es que parece no funcionar muy bien con técnicas anti-aliasing como MSAA o TSAA, el rendimiento se ve afectado negativamente si estas técnicas están habilitadas sobre DLSS.[9]​

A partir de abril de 2020, los desarrolladores de juegos deben incluir DLSS 2.0 a todos los juegos.

Historial de versiones

Lanzamiento Fecha de lanzamiento Destacar
1.0 Febrero de 2019 Primera versión, con IA y entrenada específicamente para algunos juegos específicos, incluidos Battlefield V y Metro Exodus[3]​
2.0 (primera iteración) Agosto de 2019 Primera versión 2.0, también denominada versión 1.9, que utiliza una IA aproximada de la versión 2.0 en los núcleos CUDA y se adapta específicamente para Control[6]​[2]​[10]​
2.0 (segunda iteración) Abril de 2020 Segunda versión 2.0, usando Tensor Cores nuevamente y entrenado genéricamente[11]​

Algoritmo

DLSS 1.0

Nvidia explicó que DLSS 1.0 funcionaba con imagenes objetivo consideradas "cuadros perfectos" usando el supermuestreo tradicional, luego entrenó la red neuronal en estas imágenes resultantes. En un segundo paso, el modelo se entrenó para reconocer entradas con alias en el resultado inicial.[12]​[13]​

DLSS 2.0

DLSS 2.0 funciona de la siguiente manera:[14]​

  • La red neuronal es entrenada por Nvidia usando imágenes "ideales" de videojuegos con resolución ultra alta en supercomputadoras e imágenes de baja resolución de los mismos juegos. El resultado se almacena en el controlador de la tarjeta de video. Se dice que Nvidia utiliza servidores DGX-1 para realizar el entrenamiento de la red.[15]​
  • La red neuronal almacenada en el controlador compara la imagen real de baja resolución con la referencia y produce un resultado de alta resolución completa. Las entradas utilizadas por la red neuronal entrenada son las imágenes con solapamiento de baja resolución generadas por el motor del juego, y los vectores de movimiento de baja resolución de las mismas imágenes, también generadas por el motor del juego. Los vectores de movimiento le dicen a la red en qué dirección se mueven los objetos en la escena de un fotograma a otro, para poder estimar cómo se verá el siguiente cuadro.[16]​

Arquitectura

Los Tensor Cores están disponibles desde la microarquitectura de la GPU Nvidia Volta, que se utilizó por primera vez en la línea de productos Tesla V100.[17]​ Su especificidad es que cada Tensor Core opera en matrices de 4 x 4 de punto flotante de 16 bits, y parece estar diseñado para usarse en el nivel CUDA C++, incluso en el nivel del compilador.[18]​

Los Tensor Cores utilizan los CUDA Warp -Level Primitives en 32 subprocesos paralelos para aprovechar su arquitectura.[19]​ Un Warp es un conjunto de 32 hilos que están configurados para ejecutar la misma instrucción.

Véase también

Referencias

  1. ↑ «Nvidia RTX DLSS: Everything you need to know». Digital Trends. 14 de febrero de 2020. Consultado el 5 de abril de 2020. «Deep learning super sampling uses artificial intelligence and machine learning to produce an image that looks like a higher-resolution image, without the rendering overhead. Nvidia’s algorithm learns from tens of thousands of rendered sequences of images that were created using a supercomputer. That trains the algorithm to be able to produce similarly beautiful images, but without requiring the graphics card to work as hard to do it.». 
  2. ↑ a b c «Nvidia DLSS in 2020: stunning results». techspot. 26 de febrero de 2020. Consultado el 5 de abril de 2020.  Error en la cita: Etiqueta <ref> no válida; el nombre «techspot» está definido varias veces con contenidos diferentes
  3. ↑ a b «Battlefield V DLSS Tested: Overpromised, Underdelivered (eng)». techspot. 19 de febrero de 2019. Consultado el 06-04-2020. «Por supuesto, esto es de esperar. DLSS nunca iba a proporcionar la misma calidad de imagen que el 4K nativo, al tiempo que proporcionaría un aumento del rendimiento del 37%. Eso sería magia negra. Pero la diferencia de calidad al comparar los dos es casi ridícula, en lo lejos que está DLSS de la presentación nativa en estas áreas tan demandantes.»  Error en la cita: Etiqueta <ref> no válida; el nombre «battlefieldv» está definido varias veces con contenidos diferentes
  4. ↑ «AMD Thinks NVIDIA DLSS is not Good Enough; Calls TAA & SMAA Better Alternatives (eng)». techquila.co.in. 15 de febrero de 2019. Consultado el 06-04-2020. «Recientemente, dos grandes títulos recibieron soporte para NVIDIA DLSS, Metro Exodus y Battlefield V. Ambos juegos vienen con la implementación de NVIDIA DXR (DirectX Raytracing) que por el momento solo es compatible con las tarjetas GeForce RTX. DLSS hace que estos juegos se puedan reproducir a resoluciones más altas con velocidades de cuadro mucho mejores, aunque hay una disminución notable en la nitidez de la imagen. Ahora, AMD ha criticado DLSS, diciendo que los métodos AA tradicionales como SMAA y TAA "ofrecen combinaciones superiores de calidad de imagen y rendimiento."». 
  5. ↑ «Nvidia Very Quietly Made DLSS A Hell Of A Lot Better (eng)». Kotaku. 22 de febrero de 2020. Consultado el 06-04-2020. «El beneficio para la mayoría de las personas es que, en general, DLSS viene con una mejora considerable de FPS. Pero varía mucho de un juego a otro. En Metro Exodus, el salto de FPS apenas se produce y ciertamente no valió la pena el extraño golpe a la calidad de imagen."». 
  6. ↑ a b «Remedy's Control vs DLSS 2.0 – AI upscaling reaches the next level (eng)». Eurogamer. 04-04-2020. Consultado el 05-04-2020. «Por supuesto, esta no es la primera implementación de DLSS que vemos en Control. El juego salió a la venta con una versión suficientemente decente de la tecnología que en realidad no usaba el aprendizaje automático.».  Error en la cita: Etiqueta <ref> no válida; el nombre «eurogamer» está definido varias veces con contenidos diferentes
  7. ↑ «NVIDIA DLSS 2.0 Update Will Fix The Geforce RTX Cards' Big Mistake (eng)». techquila.co.in. 24 de marzo de 2020. Consultado el 06-04-2020. «Como prometió, NVIDIA ha actualizado la red DLSS en una nueva actualización de GeForce que proporciona una calidad de imagen mejor y más nítida, al tiempo que conserva mayores velocidades de fotogramas en los juegos con trazado de rayos. Si bien la función no se usó tan bien en su primera iteración, NVIDIA ahora confía en que ha solucionado con éxito todos los problemas que tenía antes.». 
  8. ↑ «HW News - Crysis Remastered Ray Tracing, NVIDIA DLSS 2, Ryzen 3100 Rumors». 19 de abril de 2020. Consultado el 19 de abril de 2020. «“The original DLSS required training the AI network for each new game. DLSS 2.0 trains using non-game-specific content, delivering a generalized network that works across games. This means faster game integrations, and ultimately more DLSS games.”». 
  9. ↑ «Evaluating NVIDIA DLSS 2.0 Quality And Performance In Mech 5 And Control». hothardware.com. 27 de marzo de 2020. Consultado el 7 de abril de 2020. «One side effect of DLSS is that it doesn't seem to play nicely with MSAA (forced through the drivers) or TXAA enabled in the game. Performance actually tanked pretty hard with either of those anti-aliasing methods on top of DLSS 2.0, with the Quality mode only performing around half as fast as no DLSS». 
  10. ↑ Edelsten, Andrew (30 August 2019). «NVIDIA DLSS: Control and Beyond». nividia.com. Consultado el 11 August 2020. «we developed a new image processing algorithm that approximated our AI research model and fit within our performance budget. This image processing approach to DLSS is integrated into Control». 
  11. ↑ «NVIDIA DLSS 2.0 Review with Control – Is This Magic?». techquila.co.in. 5 de abril de 2020. Consultado el 6 de abril de 2020. 
  12. ↑ «NVIDIA DLSS: Your Questions, Answered». Nvidia. 15 de febrero de 2019. Consultado el 19 de abril de 2020. «The DLSS team first extracts many aliased frames from the target game, and then for each one we generate a matching “perfect frame” using either super-sampling or accumulation rendering. These paired frames are fed to NVIDIA’s supercomputer. The supercomputer trains the DLSS model to recognize aliased inputs and generate high quality anti-aliased images that match the “perfect frame” as closely as possible. We then repeat the process, but this time we train the model to generate additional pixels rather than applying AA. This has the effect of increasing the resolution of the input. Combining both techniques enables the GPU to render the full monitor resolution at higher frame rates.». 
  13. ↑ https://www.youtube.com/watch?v=m5WJCIe0ihc&feature=youtu.be.  Falta el |título= (ayuda)
  14. ↑ «NVIDIA's Deep Learning Super Sampling (DLSS) 2.0 Technology Is The Real Deal». Forbes. 29 de marzo de 2020. Consultado el 7 de abril de 2020. 
  15. ↑ «NVIDIA DLSS 2.0: A Big Leap In AI Rendering». Nvidia. 23 de marzo de 2020. Consultado el 25 de noviembre de 2020. 
  16. ↑ «NVIDIA DLSS 2.0: A Big Leap In AI Rendering». Nvidia. 23 de marzo de 2020. Consultado el 7 de abril de 2020. 
  17. ↑ «On Tensors, Tensorflow, And Nvidia's Latest 'Tensor Cores'». tomshardware.com. 11 de abril de 2017. Consultado el 8 de abril de 2020. 
  18. ↑ «The NVIDIA Titan V Deep Learning Deep Dive: It's All About The Tensor Cores». AnandTech. 3 de julio de 2018. Consultado el 8 de abril de 2020. 
  19. ↑ «Using CUDA Warp-Level Primitives». Nvidia. 15 de enero de 2018. Consultado el 8 de abril de 2020. «NVIDIA GPUs execute groups of threads known as warps in SIMT (Single Instruction, Multiple Thread) fashion». 
Obtenido de «https://es.wikipedia.org/w/index.php?title=Deep_Learning_Super_Sampling&oldid=133004788»