STORMSPIRIT

LLM 经典论文精读

已完结 · 5 篇

这个系列是几篇奠基论文的中文翻译，适合想读原始论文、又希望先有中文对照的读者。 阅读顺序按思路的发展排列，不按发布时间：先看 Transformer 这个架构起点，再看 GPT 三代如何从“预训练加微调”走到“零样本”和“少样本”，最后看 ReAct 如何让模型从生成文本走向推理和行动。 其中 GPT-2、GPT-3 和 ReAct 是节选，保留了摘要、导言和结论等部分。

  1. Transformer 论文翻译：Attention is All you Need

    Transformer 论文《Attention is All You Need》中文翻译：完全基于注意力、去掉循环和卷积的架构，覆盖缩放点积注意力、多头注意力和位置编码。

  2. GPT1 论文翻译：Improving Language Understanding by Generative Pre-Training

    GPT-1 论文中文翻译：先用 BooksCorpus 做无监督生成式预训练，再做判别式微调，用同一个 Transformer 刷新 12 个语言理解任务中 9 个的最好成绩。

  3. GPT2 论文翻译：Language Models are Unsupervised Multitask Learners

    GPT-2 论文节选翻译：15 亿参数的语言模型只靠 WebText 训练，不做微调也能开始完成问答、翻译和摘要，以及这种零样本能力的局限。

  4. GPT3 论文翻译：Language Models are Few-Shot Learners

    GPT-3 论文节选翻译：1750 亿参数的语言模型无需微调，只靠文本中的少量示例就能完成新任务，并能写出人类难以分辨的新闻。

  5. ReAct 论文翻译：Synergizing Reasoning and Acting in Language Models

    ReAct 论文节选翻译：让大语言模型交替生成推理和行动，借助维基百科 API 减少幻觉，并在决策任务上超过模仿学习和强化学习方法。