开发者将 DiffusionGemma 改造为图像生成流程
AI 总结
一名社区开发者使用 LoRA、训练出的图像输出头和视觉解码器,为 DiffusionGemma 构建了文本生成图像及图像操作流程。作者称,将生成的视觉潜变量再次输入模型后,图像生成和视觉操作效果有所改善,并公开了适配器、解码器权重及相关代码。该项目属于大量借助大模型的个人实验,作者也称结果粗糙且实用性有限。
深度见解
该项目展示了一种为文本扩散模型加入原生视觉生成与操作能力的方法,但流程需要修补上游 Transformers,且目前仅有社区作者报告的初步结果。