2019-02 · OpenAI GPT-2 small · 124M

把 2019 年的 GPT-2
搬进你自己的电脑

纯 CPU 推理,不需要显卡,不联网,不调任何 API。权重 523 MB 躺在本地磁盘上, 一个 python app.py 就能打开界面开始续写。

124M
参数量 · 12 层 12 头
523MB
权重 · fp32 safetensors
1024
上下文 tokens
~2tok/s
2 核 CPU 实测
powershell — gpt2-local
$ python cli.py "The best part of the 1990s was" -n 40 -s 7 Loading weights: 100%|##########| 148/148 [00:10<00:00] The best part of the 1990s was that when we launched "Pilot," you could really see what a big deal it would have been. It's hard to remember, but in 1993 or 1994 I think people understood why everyone loved this [ 40 tokens / 21.0s = 1.9 tok/s | 124M params | CPU ]
01 / FEATURES

够小,够完整

不到 500 行代码,把加载、推理、界面全部打通。依赖只有 torch 和 transformers。

◍

网页 UI,零框架

用标准库 http.server 写服务,HTML 内嵌。没有 Flask,没有 Gradio,装完 torch 就能跑。

⌘

命令行单次生成

cli.py "prompt" -n 60 -t 0.9 -s 42,长度、温度、top-k、top-p、种子全可调,可一次出多个候选。

↻

交互式续写

chat.py 维护上下文,边写边接。/len /temp /seed 随时改参数。

◎

可复现

固定 seed 就是固定输出。做采样策略对比、写文章举例时不用靠运气。

↓

权重脚本

download_model.py 一键拉权重,支持换 gpt2-medium 等更大规格。

⚡

纯 CPU

不需要 CUDA。2 核机器能跑,4 核以上明显更顺;内存在 800 MB 量级。

02 / QUICKSTART

三步跑起来

第一次要下 523 MB 权重,之后彻底离线。

1

拉代码 + 建环境

git clone https://github.com/linyuanxuan/RunGPT-2.git cd RunGPT-2 python -m venv venv venv\Scripts\activate # macOS / Linux: source venv/bin/activate pip install torch transformers

国内镜像:-i https://mirrors.aliyun.com/pypi/simple(清华源目前缺 cp313 的 torch wheel)

2

下载权重

python download_model.py # gpt2 124M,约 523 MB

国内可先设 HF_ENDPOINT=https://hf-mirror.com 走镜像

3

开跑

python app.py # 网页版 → http://127.0.0.1:7860 python chat.py # 终端交互续写

Windows 也可直接双击 启动网页版.bat;首次启动等 40–60 秒加载权重,窗口没反应是正常的

03 / SPEC

它到底是什么

2019 年 2 月的原版 GPT-2 small。没有微调,没有对齐,没有系统提示词。

项目规格
发布2019-02 · OpenAI
架构GPT-2 small, decoder-only Transformer
参数量124M(12 层 · 12 头 · 768 维)
上下文1024 tokens
词表50257 BPE
权重523 MB · safetensors · fp32
推理后端PyTorch CPU(无 CUDA 依赖)
实测速度约 2 tok/s @ 2 核
许可证代码 MIT · 权重归 OpenAI
04 / LIMITS

先说清楚它做不到什么

这些不是 bug,是 2019 年的真实水位。

✕

中文基本不可用
纯英文模型,中文输入输出乱码,别拿它测中文能力。

✕

不会回答问题
它是续写模型,问它首都在哪,它只会写出看起来像文本的字符串。

✕

没有指令跟随
没有 RLHF、没有系统提示词,不会「帮我总结一下」。

✕

CPU 上很慢
2 tok/s,长文本要等几分钟。速度和核数直接相关。

想看代码?

仓库包含全部推理代码、权重下载脚本和这份介绍页,MIT 许可。

打开 GitHub 仓库