Gaussian Splatting: la próxima revolución del renderizado en tiempo real y la compresión de imágenes

Gaussian Splatting: la próxima revolución del renderizado en tiempo real y la compresión de imágenes

Tiempo de lectura estimado: 10 minutos

Puntos clave

  • Gaussian Splatting representa escenas con miles o millones de “splats” gaussianos, habilitando renderizado en tiempo real con alta fidelidad.
  • El reciente trabajo de Intel, AMD y NYU aplica splats a compresión de imágenes 2D, ofreciendo mejor calidad visual que JPEG a igual tamaño de archivo.
  • Entrenamiento por imagen en segundos y decodificación naturalmente acelerada en GPU; ideal para streaming y dispositivos con recursos limitados.
  • Impacto directo en cine, VFX, videojuegos y AR/VR: menos fricción entre captura, compresión y representación.
  • Aún quedan retos: estandarización, métricas perceptuales, estabilidad temporal para vídeo y costes en móviles.
  • Camino práctico: pilotos breves, comparativas a paridad de bitrate y adopción progresiva en el pipeline.

Tabla de contenidos

Hay días en los que la investigación te deja sin aliento. Gaussian Splatting es uno de ellos. Es una forma nueva de representar y renderizar el mundo: rápida, precisa y, ahora, útil también para compresión de imágenes 2D. ¿La promesa? Copias virtuales con estructuras finas, alta resolución y velocidad por encima del tiempo real. Y, a igual tamaño de archivo, una calidad que deja atrás al JPEG.

Sigue leyendo: vamos a ver qué es, cómo funciona y por qué el último paper de Intel, AMD y NYU cambia el juego.

Qué es Gaussian Splatting y por qué entusiasma a gráficos por computador

Definamos el término con claridad, porque las palabras importan. Una “definición” sirve para fijar el sentido, describir rasgos esenciales y delimitar qué entra y qué no entra en un concepto. Fuentes de referencia: Cambridge Dictionary, Wikipedia, Vocabulary.com.

En ese espíritu, propongo una definición operacional de Gaussian Splatting:

  • Gaussian Splatting es una representación de escenas que modela objetos como miles o millones de pequeñas manchas suaves, llamadas splats gaussianos.
  • Cada splat tiene posición, tamaño, orientación, color y transparencia. En pantalla, se proyectan y se componen para formar la imagen final.

Piensa en una pintura puntillista, pero hecha de burbujas borrosas que el motor coloca justo donde hace falta. Así se consigue:

  • Ahorro computacional: el método se concentra donde hay contenido (bordes, texturas) y pasa por alto el vacío.
  • Compresión implícita: describir una escena con splats gaussianos suele requerir menos datos que mallas densas o voxeles finos.
  • Renderizado en tiempo real: al ser “suaves y pequeños”, los splats se rasterizan muy eficientemente en la GPU.

Por eso entusiasma a los gráficos por computador, al cine y a los videojuegos. Si puedes renderizar más detalle con menos coste y menos memoria, abres la puerta a experiencias ricas en tiempo real, a mejores VFX y a AR/VR más ligera.

Sigue: ahora verás cómo funciona por dentro, sin fórmulas.

Cómo funciona a alto nivel (explicación digestible)

Imagina una linterna atravesando una nube de polvo. Cada partícula aporta un poquito de luz a tu ojo. Gaussian Splatting es igual: cada splat aporta color y opacidad; todos juntos forman la imagen.

Un pipeline básico de representación de escenas con splats gaussianos:

  • Muestreo: colocas splats donde la escena lo necesita (más en bordes y detalles, menos en zonas planas).
  • Proyección en pantalla: cada splat se proyecta como una elipse suave en 2D.
  • Composición: ordenas y mezclas los splats con una regla simple (por ejemplo, por profundidad y alfa).
  • Resultado: la imagen aparece nítida donde hay detalle, suave donde no.

¿Por qué es tan rápido?

  • Los splats son primitivos muy baratos de dibujar.
  • No hay que recorrer geometría compleja ni hacer trazado pesado por cada píxel.
  • El método ignora espacios vacíos, lo que ahorra tiempo y ancho de banda de memoria.

Beneficios prácticos que se sienten:

  • Renderizado en tiempo real, incluso por encima de 60 fps, en escenas muy ricas.
  • Streaming de escenas: solo envías parámetros de splats, no mallas enormes.
  • Menor almacenamiento y ancho de banda: la representación de escenas es compacta y fácil de comprimir.

“¿Te imaginas cargar un nivel de juego con miles de detalles finos en segundos?” Ese es el tipo de salto que habilita.

El giro del paper: de escenas 3D a compresión de imágenes 2D

Aquí viene la novedad. Un equipo de Intel, AMD y la Universidad de Nueva York (NYU), con Anton Kaplanyan entre los autores, lleva la idea un paso más allá: usar splats gaussianos para compresión de imágenes 2D. Sí, como alternativa a JPEG, pero con una estética mucho más limpia a igual tamaño de archivo.

¿Cómo funciona el pipeline para imágenes?

  • Imagen de entrada: por ejemplo, la foto del rover Curiosity en Marte.
  • Detección de bordes: se extraen contornos y zonas de alto detalle; ahí se inicializan más splats gaussianos.
  • “Amasado” u optimización: el algoritmo mueve, estira y recolorea los splats para encajar la imagen objetivo.
  • Empaquetado: guardas solo los parámetros de los splats. Eso es tu archivo comprimido.

Un detalle goloso: el tiempo de entrenamiento. En demos públicas, el entrenamiento tarda segundos; tuvieron incluso que ralentizarlo para que se vea el proceso. Esto importa para la productividad: si comprimes en segundos, puedes iterar, probar calidades y ajustar bitrates sin fricción.

En breve verás los resultados frente a un JPEG de igual tamaño. La comparación es dura para el veterano.

Resultados y comparativas: ¿cómo se mide el salto?

La métrica estrella aquí es muy concreta: calidad de imagen a igual tamaño de archivo. No se trata de “mi archivo es más pequeño”, sino de “con 160 KB, ¿qué se ve mejor?”.

  • Compresión: se reportan archivos 25× a 40× más pequeños en ciertos casos, según contenido y tolerancia de error.
  • Calidad de imagen: el resultado con splats gaussianos se percibe “nítido como cuchilla”, con bordes limpios y texturas finas.
  • Tamaño de archivo: a paridad de tamaño (por ejemplo, 159 KB vs 160 KB), la versión con splats mantiene más detalle y menos artefactos de bloque.
  • Tiempo de entrenamiento: segundos por imagen, lo que facilita flujos por lotes.
  • Decodificación: dibujar splats es un camino natural para GPUs modernas, pensado para renderizado en tiempo real.

Es un algoritmo simple de describir, claro de implementar y alineado con las GPUs modernas. En pocas palabras, un algoritmo hermoso.

Comparación con JPEG a igual tamaño de archivo

Cuando comparas a ciegas dos imágenes del mismo tamaño:

  • JPEG tiende a mostrar bloques, halos y “mosquito noise” alrededor de bordes finos.
  • Los splats gaussianos, al ser suaves y orientables, ajustan muy bien líneas y contornos. El resultado es más natural a la vista.

Ejemplo típico:

  • JPEG: 160 KB, letras y cables con bordes mordidos, texturas con ringing.
  • Splats gaussianos: 159 KB, bordes limpios, textura estable, ruido agradable.

¿Por qué sucede?

  • JPEG trabaja por bloques y frecuencias; cuando fuerzas mucho la compresión, aparecen patrones duros.
  • Los splats son elementos continuos. Se colocan justo donde hace falta detalle y con el tamaño que corresponde, evitando errores “en parrilla”.

Para desarrolladores y artistas, esto significa que, a paridad de bitrate, el método prioriza lo que el ojo humano valora: bordes, contraste local y coherencia de texturas. “Mirad lo suave y afilado a la vez.”

Por qué importa: impacto en renderizado en tiempo real, cine y videojuegos

Aquí está el valor: este enfoque une compresión de imágenes y representación de escenas con una misma “pieza” de datos. Los mismos splats gaussianos sirven para ver, editar, transmitir y mezclar contenido.

Beneficios directos:

  • Streaming de escenas y assets con archivos diminutos. Menos latencia al cargar niveles y sets virtuales.
  • Captura fiel del mundo real. Ideal para VFX, cine y videojuegos que necesitan detalle fino sin tiempos de render infinitos.
  • Renderizado en tiempo real en hardware común. Los splats se dibujan muy bien en GPUs actuales.
  • Despliegue en dispositivos con recursos limitados. Archivos pequeños, decodificación paralela y control explícito del error.

Esto abre flujos nuevos:

  • Escanea, comprime con splats y dispara directo a un visor 3D o a una app web.
  • Renderiza planos, fondos y elements en AR/VR sin conversiones complejas.
  • Optimiza por percepción: priorizas bordes y contraste local, justo lo que el ojo nota primero.

En suma: menos fricción entre captura, compresión y renderizado en gráficos por computador para cine y videojuegos.

Limitaciones, preguntas abiertas y camino a producción

No todo está resuelto. Hay trabajo por delante para llevarlo de demo a estándar.

  • Interoperabilidad. ¿Habrá un formato abierto? ¿Un “codec de splats” con soporte en navegadores, WebGPU o Vulkan? ¿Plugins para DCCs y motores (Unreal, Unity, Blender)?
  • Métricas y robustez. JPEG y compañía son muy fuertes en ciertos contenidos (gradientes suaves, piel, tipografía perfecta a muy bajo bitrate).
  • Costes en móviles. Decodificar miles de splats puede crear overdraw y presión en memoria; harán falta tiling, culling y bins por pantalla.
  • Estabilidad temporal. Para vídeo, que los splats no “vibren” entre frames; se necesitan regularizadores temporales o vectores de movimiento.
  • Escenas dinámicas. Personajes, telas y partículas exigen splats que cambien en tiempo real.
  • Tuberías de color y HDR. Cómo empaquetar perfiles de color y metadatos sin inflar el tamaño.
  • Privacidad y derechos. Marcas de agua, DRM y metadata para un nuevo formato.

Camino práctico:

  • Prototipos en áreas controladas (planos fijos, assets estáticos, backplates).
  • Benchmarks con targets perceptuales y pruebas A/B a igual tamaño de archivo.
  • Integraciones pequeñas: primero como “filtro” de compresión de imágenes, luego para representación de escenas.

Cómo compararlo con técnicas vecinas

No es NeRF, ni una malla clásica, ni un JPEG “con esteroides”. Es otra cosa.

  • Frente a NeRF. NeRF usa campos implícitos y muestreo volumétrico; flexible pero costoso en inferencia. Los splats son explícitos y vuelan en tiempo real.
  • Frente a mallas + texturas. Mallas brillan en edición y colisión, pero el microdetalle realista exige densidad o texturas pesadas. Los splats pegan el detalle con menos datos.
  • Frente a vectorización o superpixeles. Aquí los elementos son manchas continuas y orientables, ideales para bordes suaves y contornos curvos.
  • Frente a JPEG. JPEG opera en bloques y frecuencias; a bajo bitrate, aparecen bloques y halos. Los splats reparten el error con continuidad espacial.

Cuándo preferir splats gaussianos:

  • Necesitas renderizado en tiempo real con alta calidad perceptual.
  • Buscas compresión de imágenes con bordes finos y texturas críticas.
  • Quieres una representación de escenas que se streamee y edite rápido.
  • Valoras un control explícito de dónde poner bits (más splats donde el ojo mira).

Guía rápida para profundizar y experimentar

Quieres probarlo ya. Aquí tienes un plan sencillo.

Dónde mirar:

  • Busca el paper reciente de Intel, AMD y NYU con Anton Kaplanyan entre los autores.
  • Revisa si hay repositorios o demos públicas (GitHub, arXiv) con comparativas claras.
  • Referencia cultural: el canal “Two Minute Papers” suele cubrir estas ideas con ejemplos visuales y narrativa accesible.

Dataset recomendado:

  • Imágenes con textura fina (tejidos, ladrillos, follaje).
  • Contenido con bordes duros (texto, cables, señales, tipografía).
  • Variantes con piel y gradientes suaves para ver límites.

Procedimiento de prueba:

  • Fija un tamaño de archivo objetivo (p. ej., 160 KB).
  • Genera una versión JPEG a ese tamaño y otra con splats gaussianos.
  • Evalúa con métricas objetivas y perceptuales:
    • PSNR/SSIM para baseline.
    • LPIPS para percepción.
    • Prueba ciega interna con 5–10 personas.

Qué observar:

  • Bordes y líneas diagonales (aliasing, halos).
  • Texturas finas (moiré, buzzing).
  • Zonas planas (banding).
  • Artefactos al ampliar y al reescalar.

Integración mínima viable:

  • Usa splats solo en fondos o en planos estáticos.
  • Mantén JPEG/PNG para UI y texto UI, donde el raster exacto importa.

Rendimiento:

  • Mide tiempo de entrenamiento por imagen (segundos) y tiempo de decodificación en GPU.
  • Observa memoria, overdraw y cuellos de botella en fill rate.

Conclusión accionable

Gaussian Splatting está tendiendo un puente entre compresión de imágenes y representación de escenas. Con el trabajo de Intel, AMD y NYU, la promesa se vuelve práctica: más calidad a igual tamaño de archivo que JPEG, renderizado en tiempo real y archivos pequeños que viajan como una pluma.

Pasos claros:

  • Arma un piloto de 2 semanas con 20–50 imágenes críticas.
  • Evalúa calidad a paridad de bitrate y latencia de decodificación en tus dispositivos objetivo.
  • Si el resultado convence, integra un paso opcional de splats en tu pipeline y mide el impacto en cine y videojuegos.

Mantén el radar atento a nuevas versiones del paper y a las herramientas que publique el equipo de Anton Kaplanyan. El momento de experimentar es ahora: el costo es bajo y el potencial, alto. Y sí, repetirlo vale la pena: Gaussian Splatting puede ser la próxima revolución del renderizado en tiempo real y la compresión de imágenes.

FAQ

¿Sustituirá a JPEG?

No de inmediato. Es superior a igual tamaño de archivo en muchos casos, sobre todo en bordes y texturas. Pero falta estandarización, soporte en navegadores y toolchains. JPEG seguirá siendo ubicuo por años.

¿Qué hardware necesito para decodificar y entrenar?

Entrenar un conjunto de splats para una imagen tarda segundos en una GPU moderna de consumo. La decodificación es similar a dibujar sprites suaves: amigable para GPUs. En CPU pura funciona, pero será más lento. Para producción, apunta a GPU con buen fill rate y memoria moderada.

¿Sirve para vídeo?

Tiene potencial. La clave es estabilidad temporal: que los splats no “tiemblen” entre frames. Harán falta regularizadores temporales o vectores de movimiento. Aún no hay un “codec de splats” estándar para vídeo, pero el camino está abierto.

¿En qué se diferencia de NeRF?

NeRF usa campos implícitos y requiere muestreos volumétricos caros. Los splats gaussianos son explícitos y se rasterizan muy rápido. En calidad percibida y velocidad, los splats son ideales para tiempo real y para compresión de imágenes con bordes limpios.

¿Es viable en móviles o web?

En web, WebGPU puede ayudar. En móviles, la clave es controlar el número y tamaño de los splats para evitar overdraw. El tamaño de archivo pequeño es una ventaja clara para redes móviles. Falta pulir toolchains y kits nativos.

¿Cuándo gana JPEG?

En compatibilidad universal, decodificación por hardware y casos donde necesitas píxeles exactos en tipografía UI a ultra bajo bitrate. También en flujos con restricciones estrictas de CPU y sin acceso a GPU.

¿Puedo usarlo solo como compresión 2D?

Sí. Es una gran vía para imágenes estáticas con muchos bordes y detalles finos. Puedes adoptarlo como “filtro de compresión” y mantener tus formatos clásicos para otros tipos de assets.

¿Y la edición?

Al ser una representación explícita, puedes editar splats: mover, escalar, recolorear. Es más directo que ajustar frecuencias DCT. Esto puede ser útil para corrección artística rápida.

¿Qué hay del color y HDR?

Es posible almacenar parámetros en espacio lineal y mapear a HDR. Aun así, se debe definir cómo guardar perfiles y metadatos sin inflar el tamaño de archivo. Es un punto activo de diseño.

¿Cómo empezar sin rehacer mi pipeline?

Crea un módulo lateral para exportar/decodificar splats y un visor simple en GPU. Úsalo para backplates y planos fijos. Escala desde ahí. Si tu motor soporta instancias y blending, ya tienes medio camino hecho.

¿Dónde encuentro más material?

Busca el paper de Intel, AMD y NYU y demos asociadas. Canales de divulgación como “Two Minute Papers” aportan comparativas visuales claras. Si aparecen repos públicos, prueba con tu dataset y mide a igual tamaño de archivo.

Cover Image