超快大模型登场倒逼GPT放开限制 自研LPU提速H100十一倍
大模型界快男登场,倒逼GPT解除限制。
2024年的AI行业越来越内卷,不久前发布的group模型一秒回复500个token,对比之下,隔壁的GPT3.5足足要551秒才能回复40个token。人家都完事了,它还在慢吞吞打字,这要是键盘侠对线互喷,GPT已经完败了。最离谱的是这玩意还能白嫖。
目前能用的是mix ro 8X7B 32K以及noma 270B 4K这两个模型,从生成质量来看略输GPT4。但被这么一折腾,OpenAI也坐不住了,最近直接取消GPT4 turbo的所有每日限制,并将速率限制提升一倍,主打一个我GPU都不怕事。
但更离谱的事情来了,block这家公司颇有当年乔布斯自研手机芯片的风范。他们模型生成速度快,居然是因为他们不用英伟达的显卡,而是用了自研的芯片LPU,一个专门用于大模型的芯片,目前售价2万美元一张。
而且有大佬通过对比分析,block带来的提速是H100的11倍,主打一个离谱。最重要是单卡能力的提升,使得大模型和人类的对话升级到了实时对话的地步。你甚至可以跟大模型实时英文交流:hi,can you tell me what rock fills? 确定AI,the tricks of for design, for running a real time, AI solution that scale, particularly optimize the language of the AI applications.
普通人想玩大模型,其实不用盯着头部厂商的付费额度发愁,不少开源大模型早就可以白嫖体验了。
我自己刚接触大模型的时候,也跟很多人一样,觉得GPT才是唯一选择,等了半天回复不说,还动不动触发额度限制,想多聊几句都不行。后来被朋友安利了几个开源大模型,试了之后才发现,日常用完全够。
很多人不知道,现在AI行业卷得厉害,不少新出的开源模型,生成速度比老牌大模型快出好几个量级,你刚打完问题,人家答案都出来了。当然,要是追求生成的质量,目前确实还比不过顶级的闭源模型,不过用来整理资料、写个初稿或者唠唠嗑,完全没问题。
很多朋友担心自己没设备玩不了,其实不用你本地部署,现在不少平台都已经把这些开源模型部署好了,直接打开网页就能用,不用花钱不用充值,登录都能省步骤。
说起来这次头部厂商放开额度限制,其实也能看出来,开源大模型的发展,反过来倒逼了头部厂商优化服务,对咱们普通用户来说绝对是好事。
你要是平时只是偶尔用用大模型,完全可以先去试试这些能白嫖的开源模型,速度快还没限制,体验不比付费的差多少,还能省下不少钱,多香啊。
大模型,GPT,OpenAI,自研芯片,LPU,实时对话,AI,token,大模型提速,白嫖大模型
[Q]:哪个新大模型倒逼GPT解除了限制?
[A]:生成速度极快的开源group模型推出后,倒逼OpenAI取消了GPT4 turbo的每日限制并提升速率限制。
[Q]:新出的group模型生成速度有多快?
[A]:group模型一秒可以回复500个token,而GPT3.5回复40个token就需要551秒,速度差距悬殊。
[Q]:目前可以使用的开源大模型有哪两个?
[A]:目前可正常使用的是mix ro 8X7B 32K和noma 270B 4K两个模型。
[Q]:这些开源大模型生成质量和GPT4比怎么样?
[A]:从生成质量来看,目前这两个开源模型的表现略逊色于GPT4。
[Q]:block的大模型为什么速度这么快?
[A]:block没有使用英伟达的显卡,为大模型专门自研了LPU芯片,大幅提升了生成速度。
[Q]:block自研LPU的价格和提速效果如何?
[A]:block的LPU目前售价为2万美元一张,提速效果是英伟达H100的11倍。
[Q]:大模型单卡能力提升带来了什么改变?
[A]:单卡能力提升后,大模型和人类的对话升级到了实时对话的阶段。
[Q]:这些快速度的开源大模型可以免费使用吗?
[A]:文中提到这些开源大模型可以白嫖,普通用户可以免费体验使用。
2024年的AI行业越来越内卷,不久前发布的group模型一秒回复500个token,对比之下,隔壁的GPT3.5足足要551秒才能回复40个token。人家都完事了,它还在慢吞吞打字,这要是键盘侠对线互喷,GPT已经完败了。最离谱的是这玩意还能白嫖。
目前能用的是mix ro 8X7B 32K以及noma 270B 4K这两个模型,从生成质量来看略输GPT4。但被这么一折腾,OpenAI也坐不住了,最近直接取消GPT4 turbo的所有每日限制,并将速率限制提升一倍,主打一个我GPU都不怕事。
但更离谱的事情来了,block这家公司颇有当年乔布斯自研手机芯片的风范。他们模型生成速度快,居然是因为他们不用英伟达的显卡,而是用了自研的芯片LPU,一个专门用于大模型的芯片,目前售价2万美元一张。
而且有大佬通过对比分析,block带来的提速是H100的11倍,主打一个离谱。最重要是单卡能力的提升,使得大模型和人类的对话升级到了实时对话的地步。你甚至可以跟大模型实时英文交流:hi,can you tell me what rock fills? 确定AI,the tricks of for design, for running a real time, AI solution that scale, particularly optimize the language of the AI applications.
普通人想玩大模型,其实不用盯着头部厂商的付费额度发愁,不少开源大模型早就可以白嫖体验了。
我自己刚接触大模型的时候,也跟很多人一样,觉得GPT才是唯一选择,等了半天回复不说,还动不动触发额度限制,想多聊几句都不行。后来被朋友安利了几个开源大模型,试了之后才发现,日常用完全够。
很多人不知道,现在AI行业卷得厉害,不少新出的开源模型,生成速度比老牌大模型快出好几个量级,你刚打完问题,人家答案都出来了。当然,要是追求生成的质量,目前确实还比不过顶级的闭源模型,不过用来整理资料、写个初稿或者唠唠嗑,完全没问题。
很多朋友担心自己没设备玩不了,其实不用你本地部署,现在不少平台都已经把这些开源模型部署好了,直接打开网页就能用,不用花钱不用充值,登录都能省步骤。
说起来这次头部厂商放开额度限制,其实也能看出来,开源大模型的发展,反过来倒逼了头部厂商优化服务,对咱们普通用户来说绝对是好事。
你要是平时只是偶尔用用大模型,完全可以先去试试这些能白嫖的开源模型,速度快还没限制,体验不比付费的差多少,还能省下不少钱,多香啊。
大模型,GPT,OpenAI,自研芯片,LPU,实时对话,AI,token,大模型提速,白嫖大模型
[Q]:哪个新大模型倒逼GPT解除了限制?
[A]:生成速度极快的开源group模型推出后,倒逼OpenAI取消了GPT4 turbo的每日限制并提升速率限制。
[Q]:新出的group模型生成速度有多快?
[A]:group模型一秒可以回复500个token,而GPT3.5回复40个token就需要551秒,速度差距悬殊。
[Q]:目前可以使用的开源大模型有哪两个?
[A]:目前可正常使用的是mix ro 8X7B 32K和noma 270B 4K两个模型。
[Q]:这些开源大模型生成质量和GPT4比怎么样?
[A]:从生成质量来看,目前这两个开源模型的表现略逊色于GPT4。
[Q]:block的大模型为什么速度这么快?
[A]:block没有使用英伟达的显卡,为大模型专门自研了LPU芯片,大幅提升了生成速度。
[Q]:block自研LPU的价格和提速效果如何?
[A]:block的LPU目前售价为2万美元一张,提速效果是英伟达H100的11倍。
[Q]:大模型单卡能力提升带来了什么改变?
[A]:单卡能力提升后,大模型和人类的对话升级到了实时对话的阶段。
[Q]:这些快速度的开源大模型可以免费使用吗?
[A]:文中提到这些开源大模型可以白嫖,普通用户可以免费体验使用。
评论 (0)
