Groq LPU 推理引擎与 GroqCloud
Agent推理时代基础设施Groq · 2024-03 · 全球 · 第 70/103 张
这张卡改变了什么
确定性 LPU 架构把开源模型推理延迟压至百 token/秒级,重塑推理成本曲线
规格参数
LPU Inference Engine;GroqCloud 自助推理平台;官方实测 Llama-2 70B 输出约 300 tokens/s
Groq · 2024-03 · 全球 · 第 70/103 张
确定性 LPU 架构把开源模型推理延迟压至百 token/秒级,重塑推理成本曲线
LPU Inference Engine;GroqCloud 自助推理平台;官方实测 Llama-2 70B 输出约 300 tokens/s