lora技术讲解视频丨性能稳定的lora技术

【lora技术讲解视频丨性能稳定的lora技术】lot物联网小编为你整理了的相关内容，希望能为你解答。

想要了解最新的AI知识，原理，资讯

关注我，关注我！！！

LoRA全称为LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS。中文翻译下就是大语言模型的低阶适应。最早是由微软于2021年提出，用于解决大语言模型，在对任务进行微调训练时候，消耗资源多的问题。然而该方法在Stable-diffusion领域大放异彩。各种人物的LoRA模型如雨后春笋般涌现。

论文地址：https://arxiv.org/pdf/2106.09685.pdf

github地址：https://github.com/microsoft/LoRA

微调的公式如下，本质是要训练，使得微调后的模型更符合下游的任务。问题在于，微调训练过程中，和的维度是一致的，也就是说微调训练所需要的算力资源同原始模型保持一致，因此不利于推广。

预训练公式

因此，微软提出了LoRA。如下图所示，左边是预训练模型参数，进行冻结，在微调训练的时候参数不会进行更新。最大的变化在于右边，LoRA将分解成了矩阵A和矩阵B相乘，矩阵A和矩阵B都是可训练参数，同时维度远远小于。

整体框架图

由于矩阵A和矩阵B维度远远小于，因而LoRA模型所占空间也是远远小于原始模型，这样方便了各式各样的Lora模型在社区的传播。

展示下不同Lora模型生成的图片

《尼尔》

《皮克酱》镇楼！

后续会介绍如何在webui中使用Lora模型!请关注我！

以上内容为【lora技术讲解视频丨性能稳定的lora技术】的相关内容，更多相关内容关注lot物联网。