你有没有发现问大模型的同一个问题，它每次的答案都不一样。接下来这个视频我会用小学生都能听懂的话给大家来解释清楚大模型的随机性原理。其实核心因素啊就是采样策略和温度参数。比如说你也能跟朋友吹牛了，我们先来玩一个天空的游戏。比如说天上的云朵像白白的，像一团儿什么什么。这个时候啊我们的脑子里会冒出哪些词儿呢？比如说有棉花糖啊、棉花、雪羽毛等等一些词。你看啊对于这样的一个句子，接下来可能接的词有很多种可能，对吧？那AI大模型就是这样的，你可以把每次大模型的回答理解成一个这样的填词游戏。那大模型是怎么猜词的呢？首先大模型啊它被投喂过大量的知识，所以说它知道云朵像什么有成千上万种说法。其次呢它会计算，当我们问它云朵像什么时，它不会只想一个答案，它会把所有可能的词啊都想一遍，并且给每一个词一个可能性的分数。就比如说棉花糖90分，棉花85分，雪呢给打80分，羽毛30分。最后啊大模型会抓阄。你可以想象成一个箱子里边放着成百上千张签。分数越高的词儿呢，比如说棉花糖它在箱子里边的签数就越多，被抽中的几率就越大。那分数较低的词呢，像这个羽毛，虽然说它签儿少，但并不是零，所以偶尔也会被抽中，这就是为什么棉花糖概率最高。但有的时候模型也会回答棉花或者雪，因为每次抽签啊都是一次随机事件，所以答案才会不一样，这就是我们开头提到的采样策略。那有人可能会疑惑了，既然能接的词儿有成千上万，那大模型是怎么避免说出离谱的话呢？答案就是在采样的时候加上了像top p top k这样的规则来约束采样策略。Top p这个参数呢是用来限定采样范围的。比如说设置P是0.9，现在假设我们这些词被选中的概率啊，棉花糖的概率是0.5，棉花呢是0.3，雪是0.15，羽毛呢0.05。那我们看前三个词啊，棉花糖加棉花加雪的概率总值0.5加0.3加0.15已经是0.95了，已经超过了0.9。那么大模型就只会在这三个词里面随机选择，最后就会忽略掉羽毛这个词。Top k啊是用来设定采样个数的，比如说我们设置top k是十，那模型就会从十个候选词中选。那在实际应用中呢，top p啊和top k综合作用保证了回答的多样性和创造性。那可能回答棉花糖或者是棉花或者是雪，又避免了选择离谱的词的风险。不同参数之间相互影响啊，让随机性在创造性和连贯性之间取得了平衡，来保证了回答质量。那么还有一个控制大模型随机性的核心参数啊是温度，就是我们在这个页面上经常看到的叫temperature。它会在这个抓阄采样之前呢调整每个候选词的概率分数，来决定随机性的强度。比如说温度越高，我们设置为1.5，冷门词就会更容易被选中，回答也会更有创意，但离谱的可能性就会更高。那温度越低呢，比如说我们设置为0.2，回答呢就会更常见更保守。通常呢我们会把这个温度设置在一左右，来兼顾稳定性和创造性。当然啊除了我上面说到的这些采样策略和温度参数，还有其他很多的因素，像上下文啊、动态词典啊这些等等。总之大家记住，大模型的随机性并不是瞎猜，而本质上是可控的概率选择。我是于老师，关注我，学习更多的AI知识。
《探索大模型的奥秘：掌握随机性原理与优化策略》
在当今数字化时代，大模型的应用越来越广泛。然而，你是否发现问大模型同一个问题，答案却每次都不一样？这背后的原因就是大模型随机性原理。
大模型的随机性并非毫无规律，而是由采样策略和温度参数等核心因素决定。采样策略就像是一场“抓阄游戏”，大模型会根据每个词的可能性分数来选择回答。比如，当被问到“云朵像什么”时，它会计算出棉花糖、棉花、雪、羽毛等词的分数，分数越高，被选中的几率越大。
温度参数则像一个调节器，影响着回答的创造性和稳定性。温度越高，冷门词越易被选中，回答更具创意但可能离谱；温度越低，回答越保守常见。
此外，top p和top k规则也起着关键作用。top p限定采样范围，top k设定采样个数，二者综合保证了回答的多样性与合理性。
掌握这些原理，能让我们更好地与大模型互动。比如，在寻求创意回答时，可适当提高温度参数；若追求稳定准确，降低温度更合适。
通过深入了解大模型随机性原理，我们能在使用中更加得心应手，充分发挥其优势，获取更满意的答案。
大模型,随机性原理,采样策略,温度参数,top p,top k
[Q]：大模型随机性原理的核心因素是什么？
[A]：采样策略和温度参数。
[Q]：大模型如何进行猜词？
[A]：先计算所有可能词的可能性分数，再类似抓阄选择。
[Q]：采样策略是怎样的？
[A]：根据词的可能性分数决定被抽中几率。
[Q]：top p参数有什么作用？
[A]：限定采样范围。
[Q]：top k参数有什么作用？
[A]：设定采样个数。
[Q]：温度参数如何影响大模型回答？
[A]：温度越高，冷门词易被选中，回答更有创意但可能离谱；温度越低，回答越保守常见。
[Q]：如何利用大模型随机性原理获得更好的回答？
[A]：追求创意可提高温度，追求稳定降低温度。
[Q]：除了采样策略和温度参数，还有哪些影响因素？
[A]：上下文、动态词典等。