纯 CPU 推理,不需要显卡,不联网,不调任何 API。权重 523 MB 躺在本地磁盘上,
一个 python app.py 就能打开界面开始续写。
不到 500 行代码,把加载、推理、界面全部打通。依赖只有 torch 和 transformers。
用标准库 http.server 写服务,HTML 内嵌。没有 Flask,没有 Gradio,装完 torch 就能跑。
cli.py "prompt" -n 60 -t 0.9 -s 42,长度、温度、top-k、top-p、种子全可调,可一次出多个候选。
chat.py 维护上下文,边写边接。/len /temp /seed 随时改参数。
固定 seed 就是固定输出。做采样策略对比、写文章举例时不用靠运气。
download_model.py 一键拉权重,支持换 gpt2-medium 等更大规格。
不需要 CUDA。2 核机器能跑,4 核以上明显更顺;内存在 800 MB 量级。
第一次要下 523 MB 权重,之后彻底离线。
国内镜像:-i https://mirrors.aliyun.com/pypi/simple(清华源目前缺 cp313 的 torch wheel)
国内可先设 HF_ENDPOINT=https://hf-mirror.com 走镜像
Windows 也可直接双击 启动网页版.bat;首次启动等 40–60 秒加载权重,窗口没反应是正常的
2019 年 2 月的原版 GPT-2 small。没有微调,没有对齐,没有系统提示词。
| 项目 | 规格 |
|---|---|
| 发布 | 2019-02 · OpenAI |
| 架构 | GPT-2 small, decoder-only Transformer |
| 参数量 | 124M(12 层 · 12 头 · 768 维) |
| 上下文 | 1024 tokens |
| 词表 | 50257 BPE |
| 权重 | 523 MB · safetensors · fp32 |
| 推理后端 | PyTorch CPU(无 CUDA 依赖) |
| 实测速度 | 约 2 tok/s @ 2 核 |
| 许可证 | 代码 MIT · 权重归 OpenAI |
这些不是 bug,是 2019 年的真实水位。
中文基本不可用
纯英文模型,中文输入输出乱码,别拿它测中文能力。
不会回答问题
它是续写模型,问它首都在哪,它只会写出看起来像文本的字符串。
没有指令跟随
没有 RLHF、没有系统提示词,不会「帮我总结一下」。
CPU 上很慢
2 tok/s,长文本要等几分钟。速度和核数直接相关。