Tras SDXL-Lightning , ByteDance reitera su compromiso con la innovación y la velocidad con el lanzamiento Hyper-SD, una nueva técnica para optimizar y acelerar la velocidad de generación de imágenes con modelos de difusión
El objetivo de ByteDance parece ser acercarse aún más a la generación de imágenes en tiempo real manteniendo la mejor calidad de imagen posible, e Hyper-SD es un paso más en esta dirección, generando imágenes de mejor calidad que SDXL Turbo o SDXL-Lightning al tiempo que mejora aún más la velocidad de generación
Al igual que su predecesor, Hyper-SD está disponible en forma de LoRAs compatibles con otros modelos Stable Diffusion, lo que permite utilizarlos con 1 a 8 pasos de inferencia.
⚡
Resumen de Hyper-SD
Hyper-SD permite la generación hiperrápida de imágenes de 1024px con modelos de difusión estable.
Hyper-SD está disponible en versiones Hyper-SD15 e Hyper-SDXL para trabajar con diferentes versiones de Stable Diffusion.
Hyper-SD está disponible en HuggingFace en forma de LoRA que pueden combinarse con otros modelos/puntos de control.
La técnica se basa en la rajectory Segmented Consistency Distillation combinada con un bucle de refuerzo de retroalimentación humana para mantener la calidad de la imagen.
Hyper-SD utiliza un doble enfoque: la Trajectory Segmented Consistency Distillation en dos etapas, que mantiene la integridad de la trayectoria ODE (Ecuación Diferencial Ordinaria) original, y el Aprendizaje con Retroalimentación Humana, que mejora la calidad de la imagen
El primer paso consiste en destilar la coherencia en dos segmentos temporales distintos: [0, T/2] y [T/2 , T] para obtener dos segmentos de coherencia ODE. Esta trayectoria ODE se utiliza a continuación para formar un modelo de coherencia global en el siguiente paso de entrenamiento.
Este enfoque consigue un rendimiento sin precedentes, superando incluso a SDXL-Lightning en términos de velocidad y calidad estética, como demuestran las puntuaciones CLIP y Aes.
→ Lea el Research Papers para saber más sobre el enfoque técnico de Hyper-SD
Rendimiento y calidad
Las pruebas demuestran que Hyper-SD supera a modelos anteriores como SDXL-Lightning, ofreciendo una mejor calidad de imagen en menos pasos, lo que confirman las puntuaciones superiores de CLIP y Aes.
Comparaison entre Hyper-SDXL et d’autres approches d’accélération similaires.
Al igual que con SDXL-Lightning, la generación en menos de 8 pasos permite obtener imágenes casi en tiempo real, lo que posibilita aplicaciones como el dibujo en directo, como el Hyper-SD Scribble ofrecido como demostración por ByteDance
Contabilidad con ControlNet
Los equipos de ByteDance también han probado y validado el uso de Hyper-Sd con ControlNet: la técnica funciona y permite utilizar controladores con una generación en unos pocos pasos
Exemple d’utilisation d’Hyper-SD avec les ControlNet Scribble et Canny
Hyper-SDXL-Nstep-lora.safetensors: LoRAs para modelos basados en SDXL.
Hyper-SD15-Nstep-lora.safetensors: LoRAs para modelos basados en SD 1.5.
Hyper-SDXL-1step-unet.safetensors: Un punto de control Unet destilado de SDXL-Base
Por lo tanto, los LoRAS puede utilizarse para generar imágenes de diversos estilos y aprovechar la amplia colección de modelos de difusión estable ya existentes y compartidos por la comunidad.
Hyper-SD se comparte bajo una licencia Open RAIL++-M que, aunque no es completamente Open Source, sigue siendo una licencia abierta. No obstante, permite compartir, utilizar y modificar el modelo. Autoriza el uso, la reproducción y la distribución de forma gratuita, pero incluye cláusulas que impiden utilizar el modelo en determinados escenarios específicos para evitar abusos.
Se trata de la misma licencia que SDXL-Lightning, que ha dado lugar a una proliferación de modelos destilados y optimizados basados en las optimizaciones de ByteDance, por lo que cabe esperar que, tras esta publicación, florezcan innovaciones similares con Hyper-SD.
Cómo utilizar Hyper-SD
Hyper-SD en línea
Puede probar Hyper-SD en línea de forma gratuita en los siguientes sitios:
Hyper-SDXL Demo: Genera varias imágenes a la vez en modo texto a imagen
Hyper-SD15 Scribble: Generación en tiempo real a partir de un boceto con SD 1.5
Hyper-SD con ComfyUI
Los LoRAs pueden ser usados como cualquier otro LoRA en ComfyUI - especificando los parámetros apropiados (CFG, pasos, etc.), pueden ser usados para generar imágenes.
ByteDance también ha compartido dos flujos de trabajo que puede descargar y utilizar para probar Hyper-SD
Hyper-SD en Fooocus
🗞️
Actualizado el 26 de mayo de 2024
Desde la versión 2.4.0, Fooocus es compatible de forma nativa con Hyper-SD, que puede seleccionarse como modo de rendimiento para acelerar la generación de imágenes utilizando el LoRA adecuado.
El modo de rendimiento está disponible en la columna de la derecha, que se muestra cuando se marca Avanzado en la pregunta
Los LoRA también pueden utilizarse fácilmente en Fooocus creando un preset siguiente, que define los parámetros de generación según las recomendaciones de ByteDance
→ Consulta nuestra guía de presets Fooocus para aprender a utilizar este archivo en Fooocus.
Hyper-SD integrado en los modelos
Como Hyper-SD viene en forma de LoRA, puede integrarse directamente en un modelo/punto de control para hacerlo nativamente hiperrápido, como Creaprompt-Lightning Hyper-SD. En este caso, no es necesario utilizar LoRA, basta con adaptar los parámetros de generación (número de pasos y CFG) para que coincidan con Hyper-SD
![El primer paso consiste en destilar la coherencia en dos segmentos temporales distintos: [0, T/2] y [T/2 , T] para obtener dos segmentos de coherencia ODE. Esta trayectoria ODE se utiliza a continuación para formar un modelo de coherencia global en el siguiente paso de entrenamiento.](https://usenotioncms.com/proxy-prod/block/53bca3ae-db34-438f-b932-cfe1d95011ae/28dd794d-90bf-42dd-b026-a9ce6abb3c84/3dcb7b19-9252-4ec2-8bbb-0d7f9aa4e7dd/Untitled.png)
