AI纪元卡藏卡藏图鉴 · 全量卡池
首页 › 图鉴 › Groq LPU 推理引擎与 GroqCloud

Groq LPU 推理引擎与 GroqCloud

Agent推理时代基础设施

Groq · 2024-03 · 全球 · 第 70/103 张

这张卡改变了什么

确定性 LPU 架构把开源模型推理延迟压至百 token/秒级,重塑推理成本曲线

来源:官方来源 ↗

周边定制 →
这张卡改变了什么

确定性 LPU 架构把开源模型推理延迟压至百 token/秒级,重塑推理成本曲线

规格参数

LPU Inference Engine;GroqCloud 自助推理平台;官方实测 Llama-2 70B 输出约 300 tokens/s

档案

机构
Groq
时间
2024-03
地区
全球
稀有度依据
未定档(新品类档表待中枢裁定)
来源

同时代其他卡

MiniCPM-2B 开源Sora 发布Step 系列大模型发布DeepSeek-V2 发布GPT-4o豆包大模型发布

← 扣子(Coze)国内版上线Agent推理时代 全部卡 →Kimi 支持200万字无损上下文 →
AI纪元卡藏 · 路普Loop 站点家族 · 数据源=T-CLAW-14 代际库 106 条 · 滇ICP备2023002020号-2