11  Week 11: 走进深度学习——文本生成 (RNN/Transformer)

11.1 课程目标

理解神经网络的基本原理，了解从 RNN 到 ChatGPT (Transformer) 的进化史。

11.2 核心内容

11.2.1 1. 神经网络 (Neural Networks)

模拟人脑神经元连接的数学模型。 - 输入层：接收数据（如单词的向量）。 - 隐藏层：提取特征（“黑盒”所在）。 - 输出层：给出结果。

11.2.2 2. 文本生成的进化

• RNN (循环神经网络)：有“记忆”的网络，适合处理序列数据（文字、语音），但记性不太好（长距离依赖问题）。
• Transformer：ChatGPT 的基石。引入“注意力机制 (Attention)”，能够并行处理长文本，理解上下文能力极强。

11.2.3 3. 场景：训练一个“自动写稿机”

虽然训练大模型需要昂贵的算力，但我们可以微调或调用现成的模型。

11.3 实践

使用 Hugging Face 的 transformers 库调用预训练模型生成文本。

from transformers import pipeline

# 使用一个微型的 GPT-2 模型
generator = pipeline('text-generation', model='gpt2')

# 给个开头，让 AI 续写
prompt = "The future of journalism is"
result = generator(prompt, max_length=50, num_return_sequences=1)

print(result[0]['generated_text'])

11.4 作业

尝试改变 Prompt，观察不同模型（如 GPT-2, BERT）对同一输入的反应差异。