Stable Diffusion

Stable Diffusion é um modelo de aprendizado profundo, de texto para imagem, lançado em 2022 baseado em técnicas de difusão. É usado principalmente para gerar imagens detalhadas condicionadas a descrições em texto, embora também possa ser aplicado a outras tarefas, como inpainting, outpainting e geração de traduções de imagem para imagem guiadas por um prompt de texto. Foi desenvolvido por pesquisadores do CompVis Group na Ludwig Maximilian University of Munich e da Runway com uma doação de computação da Stability AI e dados de treinamento de organizações sem fins lucrativos. Stable Diffusion é um modelo de difusão latente, um tipo de rede neural artificial generativa profunda. Seu código e pesos do modelo foram lançados publicamente, e ele pode ser executado na maioria dos hardwares de consumo equipados com uma GPU modesta com pelo menos 4 GB de VRAM. Isso marcou uma mudança em relação a modelos proprietários anteriores de texto para imagem, como DALL-E e Midjourney, que eram acessíveis apenas por meio de serviços em nuvem. Development O desenvolvimento do Stable Diffusion foi financiado e moldado pela empresa start-up Stability AI. A licença técnica para o modelo foi liberada pelo grupo CompVis na Ludwig Maximilian University of Munich. O desenvolvimento foi liderado por Patrick Esser da Runway e Robin Rombach do CompVis, que estavam entre os pesquisadores que anteriormente inventaram a arquitetura do modelo de difusão latente usada pelo Stable Diffusion. A Stability AI também creditou a EleutherAI e a LAION (uma organização sem fins lucrativos alemã que montou o conjunto de dados no qual o Stable Diffusion foi treinado) como apoiadores do projeto. Em outubro de 2022, a Stability AI levantou US$101 milhões em uma rodada liderada por Lightspeed Venture Partners e Coatue Management.