让大模型在街霸里打拳，GPT4表现不佳，小模型战神Linux moment 3V2.5脱颖而出。该项目测试大模型多模态能力，通过让模型读取画面输出指令操控角色对打，发现GPT4输给7B模型，GPT3.5被全面暴打。作者复盘发现硬件相同时参数大的模型推理时间长，小模型能趁大模型思考时出招，导致大模型疲于应变。国内新出现的小模型战神Linux moment 3V2.5综合性能超越谷歌的Germano pro及OpenAI的GPP4B，参数仅8B可在高通芯片手机上离线部署。它经过CPU编译优化等，语言解码速度达3至4 token每秒，OCR能力强，能精准识别多种图和文本，还可帮盲人识别信息，支持多语言，图像编码有150倍加速提升，目前已开源。
《探索大模型与小模型在街霸中的奇妙表现及应用攻略》
在当今科技飞速发展的时代，大模型和小模型在各种应用场景中展现出了不同的特点。就像在街霸对打这个有趣的场景中，GPT4竟然表现不佳，不是在挨打就是在挨打的路上。而国内新出现的小模型战神Linux moment 3V2.5却脱颖而出！
首先，我们来了解一下相关的测试项目。这个项目主要是测试大模型的多模态能力，通过让模型读取画面然后输出指令，操控同一个角色对打。结果令人惊讶，GPT4输给了一个7B模型，GPT3.5更是被全面暴打。经过作者复盘发现，在硬件相同的情况下，参数大的模型需要更长的推理时间，而规模小的模型在对手思考的时候已经做出一系列操作，使得大模型不得不打断原来的策略，重新思考如何出招，这就是所谓的小模型乱拳打死老师傅，让大模型疲于应变。
那么，对于我们来说，跑大模型需要考虑什么呢？答案是自己的硬件跟模型是否适配。如果硬件不合适，可能就无法发挥大模型的最佳性能。
再看看这个小模型战神Linux moment 3V2.5，它综合性能超越谷歌的Germano pro以及OpenAI的GPP4B，而且参数只有8B，却可以在高通芯片的手机上离线部署。它虽然体格小，但经过CPU编译优化、显存管理等优化方式，在手机端的语言解码速度达到了3至4 token每秒。在OCR能力测试中，它能够精准识别长图、蓝图与长文本，具备识别与推理能力。比如问它火车票的信息，它可以精确识别，再配合语音能力可以有效帮助盲人识别各种信息，并且这项能力离线就可以实现，摆脱了网络的影响，也避免了隐私泄露。在复杂图片上，比如发一张食物营养金字塔，它甚至可以根据内容给出一周饮食推荐。并且支持除了中英双语，还包括法语、德语、西班牙语在内的三十多种语言，基本覆盖了一带一路上所有国家。在图像编码方面面壁整合NPU和CPU加速框架，实现了150倍加速提升。目前模型已开源，感兴趣的小伙伴可以去试试。
对于想要尝试使用这些模型的小伙伴来说，了解这些信息非常重要。如果你想在手机上使用模型，Linux moment 3V就很值得考虑，它的离线部署能力和多种实用功能能给你带来便利。如果你对大模型和小模型在不同场景下的表现感兴趣，通过这次街霸对打的测试案例也能让你有更直观的认识。总之，无论是大模型还是小模型，都有其独特之处等待我们去探索和发现，希望大家都能找到适合自己需求的模型应用。
大模型,街霸,GPT4,小模型,Linux moment 3V2.5,多模态能力,硬件适配,开源,OCR能力,语言解码
[Q]：街霸对打测试中GPT4为什么表现不佳？
[A]：硬件相同情况下，参数大的模型推理时间长，易被小模型打乱策略。
[Q]：小模型战神Linux moment 3V2.5有什么优势？
[A]：综合性能强，参数8B可高通芯片手机离线部署，功能丰富。
[Q]：跑大模型需要注意什么？
[A]：要考虑自己的硬件跟模型是否适配。
[Q]：Linux moment 3V2.5的语言解码速度如何？
[A]：在手机端达到3至4 token每秒。
[Q]：它的OCR能力怎么样？
[A]：能精准识别长图、蓝图与长文本，具备识别与推理能力。
[Q]：它如何帮助盲人识别信息？
[A]：通过精确识别火车票信息等，配合语音能力离线实现。
[Q]：它支持哪些语言？
[A]：除中英双语外，还包括法语、德语、西班牙语等三十多种语言。
[Q]：模型开源了吗？
[A]：目前模型已开源，感兴趣的可去试试。