前史 深度学习奠基
深度学习+GPU 范式确立到预训练范式成形。AlexNet 引爆 ImageNet,Transformer 统一底座,GPT/BERT 奠定「预训练+微调」默认流程。
2012—2019 · 全库 9 条 · 模型卡 7 张 · 事件 2 条本时代模型卡(7)
本时代大事记(9 条)
| 时间 | 条目 | 类别 | 改变了什么 |
|---|---|---|---|
| 2012-09 | AlexNet | 模型 | 深度学习+GPU 范式确立,ImageNet top-5 错误率 26%→15.3% |
| 2017-06 | Transformer (Attention Is All You Need) | 模型 | 纯自注意力架构,成为 GPT/BERT 统一底座 |
| 2018-02 | ELMo | 模型 | 上下文词表示,预训练范式先声 |
| 2018-06 | GPT-1 | 模型 | 生成式预训练+微调路线确立,9/12 任务 SOTA |
| 2018-10 | BERT | 模型 | 双向 MLM 预训练,「预训练+微调」成 NLP 默认流程 |
| 2019-02 | GPT-2 | 模型 | 规模律震撼+分阶段发布治理先例 |
| 2019-03 | ERNIE 1.0(文心初代) | 模型 | 知识增强预训练开山之作,奠定百度文心系技术路线 |
| 2019 | Cohere 成立 | 公司事件 | 多伦多起步的企业级大模型公司,主打检索增强与企业私有化部署 |
| 2019 | Stability AI 成立 | 公司事件 | 以开源权重路线引爆图像生成生态,模型累计下载超 3.5 亿次 |