DP开源带来的杀伤力还在持续。

当国外企图通过算力封锁来阻碍中国AI发展的幻梦被打破之后，其影响远远不止于美股股价暴跌。或者在美国留学的瘤子。下载deep sea可能不给签证，而是重新开启AI发展百家争鸣。

在上期介绍deep sea的视频中，我提到R一的论文证明纯强化学习能使大模型自动学习思考和反思。研究人员只需要给模型训练正确的激励即可用更少的卡和成本训练出性能跟OE相当的模型。

2025年大模型将在瘦身的同时开始。而打响deep sea开源后第一枪呢，同样是华人出身的AI教母李飞飞。也难怪会有人说AI竞赛到最后其实是中外顶尖华人的竞赛。

李飞飞团队这篇论文实现在16张H100显卡上用26分钟和不到150元的训练成本。通过监督微调通义千问32模型，打造出媲美L一和R一的推理模型。注意单位是人民币不是美元。当然为了避免震惊体，这里强调下训练成本不代表整体投入成本。

回到论文本身，在R一的启发下，李飞飞团队使用仅在模型给出答案时加了一个步骤，就是模模型学会模型在他们解释，当一个大型语言模型思考时，他会将思考内容放在2个XML标签内，一旦思考内容长度越过结束标签，模型就以自信且权威的语气给到最终答案。

在S一中，当模型要越过标签停止思考，团队加入weight标签，强迫模型继续思考，此时模型会开始质疑并再次检查自己的答案。就是这么一个小窍门，让通义千问变身推理模型。

在训练过程中，团队还发现他们从5.6万个样本的数据集精选1000个样本，就足以让320亿参数的模型达到OE preview的性能水平。后续再增加数据量对性能提升毫无帮助，也就是高质量的数据集更重要。其他数据集只是让模型参数看起来大，部署起来还更吃算力。

而这也将实现未来手机等低算力设备能够本地部署性能强劲的推理模型。因为现在已经有很多大佬通过微调和蒸馏的方式，把deep sika压缩到1.5B在手机上运行。而像机器狗、机器人等设备也真正有可能把模型部署到机器本体上，拥有自己独立思考的大脑。
### AI发展攻略：掌握核心要点，开启智能之旅

在当今科技飞速发展的时代，AI领域备受瞩目。对于想要深入了解AI发展的朋友们来说，掌握一些关键要点至关重要。

首先，DP开源带来了巨大的影响，它打破了国外的算力封锁，为中国AI发展开辟了新道路。这使得我们在AI竞赛中更具竞争力，吸引了众多顶尖华人参与其中。

李飞飞团队的研究成果更是值得关注。他们通过特定方法，在低成本下打造出媲美其他模型的推理模型。这告诉我们，创新的研究方法能带来意想不到的效果。

在数据集方面，高质量数据集远比数量更重要。精选少量样本就能让模型达到不错的性能水平，避免了盲目增加数据量带来的算力负担。

对于未来，低算力设备也能本地部署强劲推理模型，这为AI的广泛应用提供了可能。像手机、机器狗等设备都有望拥有智能大脑，实现更多功能。

总之，关注DP开源动态，学习先进研究方法，重视高质量数据集，就能在AI发展浪潮中紧跟步伐，收获更多知识与成果，开启属于自己的智能探索之旅。
DP开源,AI发展,李飞飞团队,推理模型,数据集
[Q]：DP开源对中国AI发展有什么影响？
[A]：打破国外算力封锁，开启AI发展百家争鸣。
[Q]：李飞飞团队有什么研究成果？
[A]：用低成本打造媲美其他模型的推理模型。
[Q]：训练大模型时数据集有什么要点？
[A]：高质量数据集更重要，精选样本即可。
[Q]：低算力设备能部署怎样的模型？
[A]：能本地部署性能强劲的推理模型。
[Q]：DP开源后大模型有什么变化趋势？
[A]：2025年大模型将在瘦身的同时开始发展。
[Q]：李飞飞团队如何打造推理模型？
[A]：通过监督微调通义千问32模型及特定步骤。
[Q]：增加数据量对模型性能提升有帮助吗？
[A]：后续增加数据量对性能提升无帮助。
[Q]：训练成本与整体投入成本有什么关系？
[A]：训练成本不代表整体投入成本。