Uno de los puntos fuertes de los modelos Open Source es la posibilidad de entrenar tus propios modelos a partir del modelo original.
Desde que se publicó el primer Stable Diffusion, la comunidad Open Source ha estado probando y desarrollando métodos de ajuste y entrenamiento que han dado lugar a una gran cantidad de modelos alternativos, incluidos muchos LoRA.
Dado que Flux se comparte como versión gratuita, las mismas técnicas se adoptaron, adaptaron y afinaron rápidamente para el modelo Black Labs Forest.
Dos semanas después de su lanzamiento, Flux [dev] puede utilizarse ahora con bastante facilidad para crear LoRAs, como veremos en este artículo.
Flux [dev] es un modelo de IA para la creación de imágenes que rivaliza con herramientas como Midjourney, DALL-E y Stable Diffusion. Transforma descripciones de texto en visuales impactantes.
LoRA (Low-Rank Adaptation) es una técnica utilizada para refinar grandes modelos de forma más eficiente. Permite a los usuarios adaptar el modelo Flux[dev] a conceptos, personas o estilos específicos sin tener que volver a entrenar todo el modelo desde cero ni requerir una gran potencia de cálculo.
Los archivos LoRA son de 10 a 100 veces más pequeños que el modelo a partir del cual se entrenaron, principalmente porque almacenan sólo los ajustes mínimos necesarios para refinar el modelo existente, en lugar de toda la arquitectura y el peso del modelo.
Por tanto, es el formato y el método ideales para aprender nuevos conceptos a partir de un modelo como Flux y utilizarlo para generar imágenes a medida.
👉
Para saber más sobre esta técnica de ajuste fino, consulte nuestro artículo sobre los LoRAs en Stable Diffusion (el principio es el mismo que para Flux).
¿Cómo se forma a un LoRA?
1. Prepare sus imágenes
El primer paso crucial es reunir sus imágenes de entrenamiento. Estas imágenes determinarán las posibilidades, la flexibilidad y la calidad de su LoRA.
👀
¿Por qué son tan importantes estas imágenes?
Imagina que estás aprendiendo a pintar. Cuantos más ejemplos variados y de alta calidad veas, mejor entenderás las técnicas y los estilos, ¿verdad? Pues lo mismo ocurre con tu LoRA. Las imágenes que le muestres conformarán su comprensión del concepto y, en consecuencia, sus habilidades.
Unas imágenes bien elegidas permitirán a su LoRA :
Captar las sutilezas de su concepto
Adaptarse a diferentes contextos
Producir resultados variados y de alta calidad
En resumen, si hay un ingrediente secreto para obtener una LoRA que realmente satisfaga sus expectativas, es elegir cuidadosamente las imágenes con las que va a entrenarla.
Por eso, en breve publicaremos un artículo dedicado a la preparación de los datos de entrenamiento para crear una LoRA.
Como mínimo, debe tener una serie de imágenes suficientemente variadas para representar su concepto y que cumplan los siguientes criterios:
de 12 a 25 imágenes
de gran tamaño (1024px o más)
en formato JPEG o PNG
Para una persona o personaje, asegúrate de tener imágenes de ellos en diferentes poses, en diferentes lugares, vistiendo diferentes ropas, etc.
A continuación, comprime todas estas imágenes en un único archivo .zip.
👍
Ejemplo
Para crear un LoRA que representara al actor francés Pierre Niney, seleccionamos unas cincuenta imágenes (probablemente algunas más de las necesarias) en diferentes poses, formatos y estilos.
2. Entrenamiento de su LoRA
La LoRA se entrena utilizando varias bibliotecas de software y scripts que aplican los algoritmos y realizan los cálculos matriciales necesarios para crear la LoRA.
Básicamente, el entrenamiento de LoRA es un asunto complicado. Están los scripts necesarios, las dependencias que hay que instalar (Python, Torch, etc.) y toda una serie de terminología compleja que hay que entender - y una vez que hayas dominado todo eso, todavía quedan los requisitos de hardware: entrenar un LoRA requiere una máquina potente con una GPU que tenga suficiente VRAM...
Afortunadamente, ya no es necesario dominar la programación para manejar una LoRA. Ahora existen interfaces que organizan todo esto y permiten entrenar una LoRA sin escribir una sola línea de código.
Es más, existen incluso interfaces en línea que permiten crear LoRAs sin necesidad de una GPU o un superordenador para realizar los cálculos.
Por tanto, formar un LoRA Flux se ha vuelto extremadamente fácil y accesible. A continuación le presentamos las distintas soluciones disponibles para entrenar su LoRA sin quebraderos de cabeza.
Replicate.com
Replicate es una plataforma de IA generativa que ofrece a desarrolladores y aficionados fácil acceso a modelos de IA que pueden utilizarse en línea o a través de API.
Son socios de Black Forest Labs (creador de Flux) y ofrecen varios modelos de IA y módulos para utilizarlos, incluido un Flux Lora Trainer que puedes utilizar siguiendo la guía que aparece a continuación:
Tras una serie inicial de pruebas, este es el servicio en línea que recomendamos para facilitar la formación de su primera LoRA.
fal.ai
Al igual que Replicate, fal es socio de Black Forest Labs, que ofrece una plataforma online de acceso a IA generativa para desarrolladores y aficionados.
Sus modelos y flujos de trabajo de IA son accesibles mediante API, pero también a través de un playground que permite utilizarlos directamente desde el sitio web. Puedes utilizar su herramienta Train Flux LoRA para crear un LoRA siguiendo la siguiente guía:
Civitai es una plataforma innovadora dedicada a cualquier persona interesada en crear con inteligencia artificial. Además de una gran comunidad que crea y comparte en torno a la IA, Civitai destaca por su interfaz fácil de usar y sus herramientas avanzadas, que facilitan el acceso a recursos creativos y tecnológicos.
Entre estas herramientas, Civitai ofrece un Entrenamiento LoRA fácil de usar, que se explica en su totalidad a continuación:
Aunque tanto Replicate como fal.ai te permiten utilizar un LoRA formado en su servicio directamente para generar imágenes, también puedes descargar el archivo LoRA para utilizarlo como desees.
Tu LoRA puede, por ejemplo, usarse localmente con las interfaces ComfyUI y Forge, las cuales integran la generación de imágenes con Flux y LoRAs.
→Por venir: tutorial detallado sobre el uso de Flux y sus LoRAs en Forge.
Aunque se recomienda utilizar el modelo Flux[dev] (o uno de sus derivados) para utilizar un LoRA que haya sido entrenado a partir de este modelo, varios usuarios afirman haber podido generar imágenes con la versión destilada de Flux[schnell] - Sin embargo, la influencia del LoRA suele ser entonces más débil.
⚠️
Licencia y uso comercial de LoRA Flux
La licencia Flux[dev] significa que cualquier modelo derivado, como los LoRA o los nuevos puntos de control afinados, heredan la misma licencia. Por lo tanto, es esencial que comprenda esta licencia y la tenga en cuenta cuando utilice los LoRA creados siguiendo las instrucciones anteriores.
Aunque puede utilizar las imágenes generadas con fines comerciales, no puede ofrecer su LoRA o sus derivados como servicio comercial sin cumplir las condiciones específicas de la licencia.
Flux y tú, cocreadores del mañana
La aparición de los LoRA para Flux[dev] marca un paso importante en la evolución de este modelo de IA generador de imágenes. Gracias a esta técnica de ajuste, los usuarios pueden personalizar Flux para satisfacer necesidades específicas, ya sea para representar personas, estilos artísticos o conceptos concretos.
La creciente accesibilidad de las herramientas de formación de LoRAs, como las que se proponen en este artículo, democratiza esta tecnología. Incluso sin conocimientos profundos de programación ni equipos informáticos de gama alta, ahora es posible crear sus propios LoRAs Flux.
Esta democratización abre el camino a una mayor creatividad y a aplicaciones más diversas para Flux. Artistas, diseñadores y creadores de contenidos pueden adaptar el modelo a sus necesidades específicas, enriqueciendo el ecosistema de la IA generativa con multitud de variaciones personalizadas.
Podemos esperar que surja una comunidad dinámica en torno a la creación y el intercambio de LoRAs de Flux, similar a lo que ocurrió con Stable Diffusion. Esta evolución podría redefinir los límites de la creatividad asistida por la IA, dando a todo el mundo la oportunidad de adaptar la IA a su propia visión.
