Inferact公司用谷歌TPU v7运行Kimi K3,每秒跑出709个token,比英伟达GB200快57%。vLLM原班人马创立,获a16z领投1.5亿美元融资。他们为TPU编写megakernel内核,将数百个小程序合并为一个大程序,配合DeepSeek的DSpark框架实现加速,代码已开源。
今日速报 来源:AITNT 全球 AI 新闻 source:aitnt aitnt
谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架
Inferact公司用谷歌TPU v7运行Kimi K3,每秒跑出709个token,比英伟达GB200快57%。vLLM原班人马创立,获a16z领投1.5亿美元融资。他们为TPU编写megakernel内核,将数百个小程序合并为一个大程序,配合DeepSeek的DSpark框架实现加速,代码已开源。