问答transformer的课程我给大家领读一遍，领读的意思不是说我给大家讲一遍这个课程，而是我给你分享怎么看这门课程的学习内容，带你进入一个能看懂这门课程的状态。吴恩达，transformer的课程其实不是吴文达自己讲的，他邀请了两位transformer领域很有名的作者来给大家讲的这门课程。我会把这个课程开头部分的内容怎么去看，给你领读一下。当你看进去之后，你就可以自己往下看这门课程了。那我们进入第一部分介绍，我们找到介绍的对应的5分7秒的这个视频，先把它完整的听一遍。听完了之后呢，可能你没有太听明白。那我们可以把这一章里面出现的这些关键的内容，以及它对应的中文的解释都看一遍。看完了之后你再回来把这5分7秒的视频重新听一遍，你就能知道他在说什么了。这个视频是领读版，那我带着大家把这几张图片的内容看一下，这里介绍了transformer体系的3种常见的形态，我们可以对照着下面GPT翻译的这些内容来一起看。第一种形态是原始transformer，它是早期的机器翻译模型。第二种是encoder model，它主要是Bert和各类的embedding模型。第三种是decoder model，它主要是现在流行的open I的各种模型，以及crowd lama等主流的单元模型。你看GPT还非常贴心的告诉你怎么样记住它们。Encoder就是一个理解器，decoder是一个表达器。当你把这些文字都看一遍，你大概就能理解这张图在说什么了。然后我们进入第二张图，这张图我发现它其实里面是有一个时间线的。我们对照着下面的内容来看大元模型的这个发展的路线是一开始是RNN encoder和decoder的方式。在14年的时候encoder依旧是RNN，但是decoder这里加上了attention decoder。然后在2017年，attention is all your need. 这篇论文发布之后呢，就是transformer的时代到来了。Encoder和decoder都不再使用RNN的方式，而是改为了自注意力和前馈网络的方式。那这门课程后面也会详细的去介绍自注意力和前馈网络是什么。课程里面还介绍了toga ization。当我们输入了一句话，模型做的第一件事情是toga ization，把这句话里面的词分为五个绿色的小方块。那这里介绍了课程的目标，告诉你大元模型最新的发展趋势，学习cognizant的原理，以及我们要弄清楚transformer是怎么工作的这张图是贯穿了整个课程的非常重要的一张图。这里介绍了模型整个推理的过程，肖申克推理出来的词是救赎，这个是我们大家都看过的电影肖申克的救赎。那我们怎么推出来呢？我们可以看下面的这些文字介绍。当我们有一个prompt输入肖申克，有一个technical zer，把短语进行切分，再进入embedding。这里面有多层的transformer block，然后有LM head，最后去生成了救赎这个单词。到这里你可能会觉得这个流程比较陌生。那你继续往下看这门课程，你会发现它就是把这个流程中间的构成全部详细的拆开给你讲清楚。所以第一部分介绍我们就说完了，我们进入到它的第二个部分back of words。这里面有一个非常重要的图是单元模型的时间进化线。灰色的三个模型是在transformer出来之前的一些基础模型，在这门课程的后面也会给你详细的介绍。Back of odds were to wake attention. 相关的模型的内容。蓝色的是从bet开始的encode only的模型，红色是decode only的模型，也就是我们非常熟悉的GPT模型，还有绿色的encoder decoder的模型。你看这里的中文介绍就是这几年模型的一些发展的情况。当你有了这张图里面的时间序列的概念之后，再去听这门课程接下来所有的内容，你会发现第二章back of words是这里面对应的2000年的模型，第三章work to wake是对应的2013年的模型。所以我的领读最主要的就是把这个时间线的概念给到你那你再看这门课程所有的内容的时候，告诉自己这些内容它可能是在以前发生的，不是现在最新的模型。了解这些前面的模型，我们才有可能通过学习去读懂现在当前最新的趋势。这门课程的第十一章节也给你介绍了最新的transformer的发展，这些内容你可以自己去看了。在领读里面还有一个想要给大家分享的是，其实这门课程搭配着attention is all your need这篇论文来一起看更好。当然我们直接去读这个论文可能门槛非常的高。你也可以在网上去找一些论文解读的一些视频来看。当你把这门课程看完，以及你把网上的一些transformer经典论文的解读视频在学习下呢，你就达成了一个交叉学习的效果。等于是你把这门课程讲的东西切换到另外一个角度来理解，我就是这样做的。当我去看这篇论文的解读视频的时候，我会发现这里面讲的很多东西都是transformer这门课程里面提到过的，只是用另外一种方式来给你做了讲解。所以这种交叉学习的方式也推荐给你那我的课程领读就到这里，你可以拿到这份笔记，打开这个课程带中文字幕的视频去学起来了，去试试看吧。
《transformer课程学习攻略：掌握模型形态与时间线，实现交叉学习》
在学习transformer课程时，掌握其体系的3种常见形态至关重要。原始transformer作为早期机器翻译模型，是基础所在。encoder model包含Bert等，decoder model涵盖流行的open I模型等。了解这些形态，能助你更好理解课程。
课程中的时间线也是关键。从RNN encoder和decoder方式起步，到14年、17年的变革，transformer时代来临，自注意力和前馈网络取代RNN。明晰此时间线，对理解模型发展意义重大。
交叉学习是提升学习效果的好方法。搭配attention is all your need论文，结合网上解读视频，从不同角度理解课程内容，让你对transformer的理解更深入。
此外，课程里的togaization以及单元模型的时间进化线等内容也不容错过。通过深入学习这些，你将在transformer课程学习中取得更好的成果，更全面地掌握相关知识。
transformer课程,模型形态,时间线,交叉学习,自注意力,前馈网络,togaization,单元模型
[Q]：transformer体系有哪3种常见形态？
[A]：第一种是原始transformer，是早期机器翻译模型；第二种是encoder model，主要是Bert和各类embedding模型；第三种是decoder model，主要是现在流行的open I的各种模型，以及crowd lama等主流单元模型。
[Q]：大元模型的发展路线是怎样的？
[A]：一开始是RNN encoder和decoder的方式，14年时encoder依旧是RNN，但decoder加上了attention decoder，2017年attention is all your need论文发布后，transformer时代到来，Encoder和decoder都改为自注意力和前馈网络的方式。
[Q]：课程中提到的togaization是什么？
[A]：当输入一句话，模型做的第一件事是togaization，把这句话里的词分为五个绿色的小方块。
[Q]：如何更好地理解transformer课程？
[A]：可以先完整听介绍部分对应的5分7秒视频，再看关键内容及中文解释，之后重新听视频。还可搭配attention is all your need论文及网上解读视频进行交叉学习。
[Q]：单元模型时间进化线里灰色模型代表什么？
[A]：灰色的三个模型是在transformer出来之前的一些基础模型，课程后面会详细介绍。
[Q]：蓝色、红色、绿色模型分别是什么？
[A]：蓝色是从bet开始的encode only的模型，红色是decode only的模型（如GPT模型），绿色是encoder decoder的模型。
[Q]：第二章和第三章对应的模型时间是什么？
[A]：第二章back of words对应2000年的模型，第三章work to wake对应2013年的模型。
[Q]：学习前面的模型对读懂最新趋势有什么帮助？
[A]：了解前面的模型，才能更好地通过学习去读懂现在当前最新的趋势。