哈佛学生辍学造超强AI芯片,获1.2亿美元融资

哈佛学生辍学造AI芯片,比英伟达下一代还强获巨额融资。美国芯片创业公司edged近日推出首款AI芯片,专为transformer计算设计,如芯片运行laa 70B时,每秒处理超过50万的令牌,比英伟达H10服务器多20倍,甚至比英伟达下一代B20要多十倍。具体来看,其运行速度相当于一秒内生成21个人一天说的话。此外,芯片通过设计允许它在不牺牲精度的情况下输出更多flops,实现了90%以上的flops,利用率远高于GPU的30%左右,内存带宽也不再是瓶颈。当然极限的性能背后是极端的操作。该芯片是专用于transformer架构的芯片,只能运行transformer架构的模型,因此无法运行传统AI模型如DLRM alpa fold 2或或Stable Diffusion 2,以及CNNRNN或LSTM等。引用创始人的话,如果transformer不再是主流,那我们就会失败。
《AI芯片攻略:性能、适用模型及优势全解析》
在当今科技飞速发展的时代,AI芯片成为了众多开发者关注的焦点。尤其是那些具有卓越性能的芯片,更是备受瞩目。就像哈佛学生辍学打造的AI芯片,其性能竟然超越了英伟达下一代芯片,还成功获得了1.2亿美元的融资。
这款由美国芯片创业公司edged推出的首款AI芯片,专为transformer计算设计。当芯片运行laa 70B时,每秒能处理超过50万的令牌,比英伟达H10服务器多20倍,甚至比英伟达下一代B20还要多十倍。如此惊人的运行速度,相当于一秒内生成21个人一天说的话。
不仅如此,该芯片在不牺牲精度的情况下,通过独特设计输出了更多flops,实现了90%以上的flops利用率,远高于GPU的30%左右,内存带宽也不再是瓶颈。
然而,这款芯片也有其局限性,它是专用于transformer架构的芯片,只能运行transformer架构的模型,无法运行传统AI模型,如DLRM、alpa fold 2、Stable Diffusion 2以及CNNRNN或LSTM等。
对于想要使用这款芯片的开发者来说,深入了解其性能特点和适用范围至关重要。在选择芯片时,要根据自己的项目需求来判断是否合适。如果项目主要基于transformer架构,那么这款芯片无疑是个绝佳选择。但如果涉及到传统AI模型的运行,就需要谨慎考虑了。
总之,在AI芯片的世界里,了解各种芯片的特性,才能更好地推动项目的发展,实现技术的突破。
AI芯片,哈佛学生,英伟达,transformer,融资,性能,flops,模型,运行速度,内存带宽
[Q]:哈佛学生造的AI芯片相比英伟达下一代芯片有哪些优势?
[A]:运行速度更快,每秒处理令牌更多,flops利用率更高,内存带宽非瓶颈。
[Q]:edged推出的AI芯片专为哪种计算设计?
[A]:专为transformer计算设计。
[Q]:芯片运行laa 70B时的处理能力如何?
[A]:每秒处理超过50万的令牌,比英伟达H10服务器多20倍,比英伟达下一代B20多十倍。
[Q]:该芯片在精度和flops方面有什么特点?
[A]:不牺牲精度的情况下输出更多flops,实现了90%以上flops利用率。
[Q]:芯片的内存带宽表现如何?
[A]:内存带宽不再是瓶颈。
[Q]:这款芯片能运行哪些模型?
[A]:只能运行transformer架构的模型,无法运行传统AI模型。
[Q]:如果transformer不再主流,对这款芯片有什么影响?
[A]:引用创始人的话,如果transformer不再是主流,那公司可能会失败。
[Q]:芯片的运行速度具体有多快?
[A]:运行速度相当于一秒内生成21个人一天说的话。
share