你好啊，今天呢一招让大家可以轻易的上手微调大模型 草履虫都能会。现在呢就是收藏点赞关注的好机会。那这一期我们直接在OpenAI的dashboard里面去可视化微调，操作非常简单。那之所以这一期视频会比较长，是因为我们会在简单的操作中先去理清头绪，搞懂微调核心的几件事儿。首先啊我们先来到OpenAI的官网，我们看看最官方的关于微调他怎么说。哎，他说呢微调其实很简单，总共呢就四个步骤。一个啊是准备好你的数据集，另一个是训练一下，再一个就是评估一下，测试一下你的效果，最后开始使用。他说的确实没错，就这么简单。那么我们什么时候使用微调呢？哎，他又说了，你得先试试你要解决的这个问题啊，是不是通过提示词就能搞定了。他说呢很多时候你其实都可以通过调整几次提示词就把你的问题解决了。你不需要微调。因为我们去迭代我们 的提示词比迭代这个微调的结果要比便便多了。所以他这里是先来了一波劝退哈。当然呢他也说了，如果你试了提示词之后，你发现你还是需要微调，那你试出来的那个提示词也并不会浪费，你用在微调模型上效果会更好。那么具体呢微调可以改善哪些情况，他这里又给出了一些第一个设定风格，就是你要调一个模仿谁谁谁的呀，或者是你要让他每一次都说反话，或者是你要固定他回答的格式等等。那剩下的这些，比如说什么提高可靠性啊、纠错啊、边缘案例啊，这些都听不懂没关系，最重要的是理解这一条。哎，这一条怎么理解呢？我们把AI啊就当做人来思考，什么样的问题是我们靠嘴说，很难说清楚。但是给别人去展示结果，展示什么是对的，这个很容易。我们中国人叫做只能意会不能言传。哎，这种就特别适合把数据直接给到AI让他自己悟去有。那么你比如说我们希望这个模型能够理解网友的这种幽默感，那你很难靠嘴说清楚这个幽默感是什么。或者说你想训练一个心理医生特别温柔暖心。但是啊这种形容词他很虚，你说不清楚，你反倒给他看，让他看很多很多的温暖医生是怎么说话的，让他自己悟去。哎，这个呢就是微调发挥的地方。那其实我们看完这些啊，在微调当中我们发现最重要的其实反倒是我们要去思考，我要的这个目标到底是什么？你要的结果是什么？如果你没有这个考核标准，那你所做的一切可能都是无效的。不过我们今天的主打学习哈就顺着往下了解。那么我们要给AI看什么样的示范，什么样的数据呢？人家格式啊已经规定好了，叫做Jason L格式。看着这个密密麻麻的都要晕了哈，别急，实际上就是给AI示范的正确答案，一行呢就是一组对话，你希望什么样的输入对应得到什么样的输出。具体呢来看我这次准备的这个哈，我们这次呢是要训练一个偶尔会写错字拼错词的一个医生啊，特别真实啊。因为真正的医生他就是会比较随意。那这个数据我们先看我们能认识的吧啊这一句话叫做左手用力或者变换成一定的姿势是5万背部经疼，有时候睡觉疼醒了。那另一句话呢是你好，你说的情况可能是韧带肌腱炎引起的啊，建议指导你注意休息，不要着凉，服用这个片助你健康是吧？这个其实就是一种对话嘛，它很像我们在互联网上去那个一块钱几块钱找这个医生咨询的那种对话。这个呢实际上就是我们希望大模型最后达到的一个效果。那拆开来看这一整串其实也很简单，就是一条message，一条信息。一条信息里面有三个角色，这第一个角色呢是系统内容。你是一个偶尔会拼错单词的助手，这一条系统的信息不一定都需要写，但是OpenAI建议我们数据少的情况下最好是写上。那第二个就是用户输入的东西，内容呢就是左手用力怎么怎么怎么的你的症状。那第三个角色是助手，也就是AI的回答内容呢就是你好，你说的情况是这个这个这个这个这个是我们希望AI回答的正确答案。大家练习呢可以先去网上找自己感兴趣的一些公开数据集来练习，或者是你自己按这个格式去准备就行。我这一天呢也会给大家打包好大家可以自己去领取之后的视频，我再给大家说怎么样高效的处理自己的数据集。那准备数据集的时候，其实OpenAI还给了几个提示哈。首先是我们必须准备十组示例，以上太少了，其实我们还不如给提示词呢，所以他建议50到100个效果比较明显。那第二他建议我们把数据分成训练和测试两个部分，可能我们准备50条训练呢,20条测试的ok数据集准备好了，我们就直接到它的这个gas board里面准备微调了。我们点击这个左边这个fine tuning微调，再点击左边的这个创建，这个就是我们微调的界面了。可视化非常简单，那我们来一个个分析啊。首先base model叫基础模型，这里呢就是选择我们要去微调什么样的基础模型，你是调3.5还是调four mini，你要在哪个模型的基础上再去微调，甚至你后面也可以再去微调你已经微调过的模型。那今天呢我们就来调这个3.5啊，因为four mini大多数朋友应该是没有达到这个等级权限的，它还需要一些时间才会开放给所有的用户去微调。选好这个之后，我们在这儿上传我们的训练数据，也就是刚才那个Jason L文件。那这个地方的验证数据呢，我们也可以不选，也可以把刚刚那边的数据拆出来20个，再创建一个新文件给它上传上去。那这个后缀呢说白了就是给你的模型起个名字叫GPT3.5555,我们呢就叫doctor哈那这个种子呢它是可以固定你的训练效果。如果你用相同的种子和相同的参数去训练，你就会得到一个相同的训练结果。如果不写的话呢，系统它这里会随机生成。那下面这一部分就是训练大模型中核心的一些大家可能听说过的超参数。第一个batch size批次大小。这里我得前置说一下AI学习啊也跟人一样。人呢上课听一批知识之后，他就有个动作回忆回忆总结总结理解理解，更新一遍你脑子里得这个参数，这个批次大小，就是去规定这个大模型看多少你的数据，他就去更新一次参数。如果你把这个值调的很小，那么他看你一篇对话，他就开始调参数，再看一遍它又调一次，那效率就非常低但是他如果一次性看 的特别多呢，可能它内存里都放不下这么多数据，而且可能错过其中的一些小的可能性。所以我们要选择一个合适的数。那第二个这个学习率层数学习率呢，我们这么理解，大模型啊是要在训练的过程中找到一个最佳答案，最优解，它的参数到底是多少比较好打一个非常形象的比喻，就像在山里面去找，这个山里面最低谷在哪。这个学习率呢就是在找的过程中，每次我们的步子麦的有多大。如果我们的学习率高了，步子迈的太大了，可能一步就从这个山腰麦到这个山腰上去了。我们就永远找不到山腰之间底下的那个最低谷，你就一直在这反复横跳，怎么我们都找不到最低点，这个呢就叫做不收敛了，这个就是专业术语哈那步子迈小了呢，你又特别猥琐，特别慢。有时候你可能找到了一个小水坑，你就以为这是全局的最低点，实际上它只是局部最低点，这个也是专业术语了。那这个呢影响的是模型学习的速度和稳定性。那最后一个训练轮数，训练轮数呢就是说这个大模型把你所有的数据集都看完，学完一整遍叫做一轮。但是啊就是人类学习一样，你学一遍就以为自己会了吗？所以啊他也得多学几遍。但是呢人人多了也特别有段时间啊，我就天天听郭德纲，那我看谁都像郭德纲。这个就叫做过拟合，轮次太多了呢它就会过拟合。大模型呢就是你问它啥，它只会照着你的数据答。你数据里面有的东西它就没有这个泛化能力了，它变成了书呆子。好，那这些参数呢其实都没有一个固定的数说，就是哪个数据比较好。那其实跟人学习一样，它很难不同的人去学习它不一样，你学的东西不一样它也不一样。所以不同的模型，不同的数据，不同的目标它都不一样。那OpenAI呢建议我们是刚开始训练的时候，不要去指定任何参数，就用他们这个默认值就行了。然后你再看哪儿不行，你再去调整。所以说我们它不是一次就成了，它的成本都在于你这一次训练花多少token，要用多少GPU。成本高的是一轮一轮的去调整和检验的过程。Ok那我们这一次就先不动，我们肯定要相信OpenAI的建议嘛。然后呢我们再点击这个创建啊，没过多久就训练好了。那训练好之后，这边会有一个成功的模型，我们就可以去这个playground这边去试了。我们打开这个对比模式，选择一个刚刚训练的这个医生和原始的3.5来对比。你看回答起这个问题，3.5他还在说英文，这边这个结果显然是已经训练出效果了。那最后你也可以在外部通过API去调用你训练好的这个模型了。好了咱就是说这个简单的大模型微调之旅这就结束了。记得点赞、收藏、关注，我们下次旅途再会。
### 大模型微调攻略：解锁强大功能
在当今数字化时代，大模型微调成为了许多人关注的焦点。它不仅能让模型更贴合我们的需求，还能带来意想不到的效果。

首先，了解微调的时机至关重要。并非所有问题都需微调，尝试提示词或许就能解决。但当提示词无法满足时，微调就派上用场了。

准备数据集是关键一步。OpenAI建议准备50到100个示例，将数据分为训练和测试两部分。这能确保模型学习的全面性和准确性。

进入OpenAI的dashboard进行可视化微调，操作直观简单。选择基础模型，上传训练数据，合理设置超参数，如批次大小、学习率和训练轮数等。

批次大小影响模型看数据的量和参数更新频率，过小效率低，过大可能错过细节。学习率则决定寻找最优解时步子的大小，过高或过低都不利于收敛。训练轮数要适中，避免过拟合。

通过微调，能改善多种情况，如设定风格、提高可靠性等。让模型理解特定语境，如网友幽默感，或训练出温柔暖心的心理医生风格。

总之，掌握大模型微调技巧，能让你在人工智能领域更上一层楼，开启智能交互的新篇章。
大模型微调,OpenAI,dashboard,可视化,数据集,超参数
[Q]：微调大模型前需要做什么？
[A]：先在OpenAI官网了解微调步骤，准备好数据集，明确使用微调 的场景。
[Q]：数据集有什么要求？
[A]：需准备50到100个示例，分成训练和测试两部分。
[Q]：如何选择基础模型？
[A]：根据自身权限选择合适的基础模型，如3.5等。
[Q]：超参数有哪些？
[A]：包括批次大小、学习率、训练轮数等。
[Q]：批次大小对模型有何影响？
[A]：过小影响效率，过大可能错过数据细节。
[Q]：学习率过高或过低会怎样？
[A]：过高可能不收敛，过低影响学习速度和稳定性。
[Q]：训练轮数过多会有什么问题？
[A]：可能导致过拟合，模型缺乏泛化能力。
[Q]：微调后如何测试效果？
[A]：在playground打开对比模式，与原始模型对比测试。