Do not index
Do not index
canonical-url
Publish
Publish
ByteDance, el editor de TikTok ,acaba de compartir los resultados de su investigación para mejorar la eficacia y la velocidad de Stable Diffusion XL
Desarrollada por ByteDance SDXL-Lightning es une innovadora técnica de difusión estable que optimiza los modelos de difusión para permitir la generación rápida y de alta calidad de imágenes a partir de texto
SDXL-Lightning mejora considerablemente la velocidad del proceso y es capaz de completar la generación de texto en una imagen de 1024px de resolución en 8 pasos o menos.
SDXL-Lightning en breve
- SDXL-Lightning es un modelo destilado de SDXL 1.0 que genera imágenes de 1024x1024px en una fracción de segundo.
- creación del modelo se basa en varias optimizaciones y, en particular, combina los principios destilación progresiva y adversarial.
- El modelo está disponible en HuggingFace en 4 versiones (8, 4, 2 y 1 inferencia) en forma de una UNet completa pero también en forma de LoRAs que pueden combinarse con otros modelos/puntos de control.
- También está disponible una demo generar imágenes con SDXL-Lightning desde el navegador
SDXL-Lightning
ByteDance no ha emitido (aún) ningún comunicado de prensa sobre el lanzamiento de SDXL Lightning, y todavía hay poca información disponible al respecto, aparte de los Research Papers compartido por el equipo de investigadores
Rapidez y calidad
SDXL-Lightning combina métodos de destilación progresiva y adversarial para hacer frente a la lentitud y los elevados costes computacionales de los modelos de difusión estándar, manteniendo al mismo tiempo una alta calidad y diversidad en la generación de imágenes. Al hacerlo, resuelve notablemente el problema de desenfoque presente en los métodos de destilación tradicionales.
En cualquier caso, las pruebas realizadas sugieren que SDXL-Lightning logra una relación calidad/velocidad sin precedentes: la calidad de imagen es cercana, si no equivalente, a la obtenida con el modelo SDXL básico en sólo 8 pasos o menos, frente a los 32 del modelo básico. La calidad de imagen también es significativamente mejor que con el modelo SDXL Turbo o la técnica LCM
Renderizar en 8 pasos o menos supone una enorme ganancia de velocidad y permite generar casi en tiempo real, como demuestra este vídeo compartido por Consumption en Reddit :
A tenor de sus resultados iniciales, parece que SDXL-Lightning está logrando sus objetivos y ofreciendo lo que es, hasta la fecha, la mejor combinación de calidad y rapidez en la creación de imágenes mediante IA generativa.
Disponibilidad y licencia
ByteDance comparte en HuggingFace 4 modelos destilados correspondientes a la generación en 8, 4, 2 y 1 pasos en forma de puntos de control. Estos modelos pueden utilizarse para la generación a través de la biblioteca Diffuser o con interfaces como ComfyUI para la que también se comparten flujos de trabajo
Además, se han añadido 4 LoRA, lo que permite aplicar optimizaciones SDXL-Lightning a otros puntos de control basados en SDXL.
Permiten generar imágenes en diferentes estilos y aprovechar la amplia colección de plantillas ya existentes y compartidas por la comunidad.
SDXL-Lightning se comparte bajo una licencia RAIL++-M abierta que, aunque no es completamente de código abierto, permite compartir, utilizar y modificar el modelo. A diferencia de SDXL Turbo, SDXL-Lightning puede utilizarse comercialmente, lo que le confiere una ventaja de popularidad sobre el modelo de Stability AI, que sólo puede utilizarse comercialmente mediante suscripción.
Prueba y uso de SDXL-Lightning
SDXL-Lightning en línea
Puede probar SDXL-Lightning en línea de forma gratuita en los siguientes sitios web:
- HuggingFace (8, 4, 2 y 1 paso)
- Replicare (4 pasos)
- Fal.ai (8, 4, 2 u 1 paso)
SDXL-Lightning en Fooocus
Los modelos SDXL-Lightning pueden utilizarse fácilmente en Fooocus creando preajustes que definan los parámetros de generación según las recomendaciones de ByteDance
Desde la versión 2.3.0 del 18 de marzo de 2024 también está disponible una implementación de la generación de 4 etapas con LoRA, y para utilizarlaes seleccionar el modo de rendimiento Lightning
SDXL-Lightning en ComfyUI
ByteDance ha compartido flujos de trabajo que puedes importar para usar modelos SDXL-Lightning y LoRAs en ComfyUI :
- Modelos de 2, 4 y 8 pasos: Descargar el flujo de trabajo
- LoRA 2-Pasos, 4-Pasos y 8-Pasos: Descargar el flujo de trabajo
- Modelo 1 paso : Descargar flujo de trabajo
Written by
