302 API 文档
例如：“我喜欢吃” → 预测下一个token，可能的token及其概率：
- “饭” (0.3)
- “菜” (0.2)
- “水果” (0.15)
- “零食” (0.1)
- …其他选项
Temperature
0～2，调整概率分布的差异
- 低温：强化高概率选项，减少选择多样性
- 高温：使概率分布更平缓，增加选择多样性
Temperature = 0.2时：
"饭" (0.8)
"菜" (0.1)
"水果" (0.05)
…
Temperature = 1.5时：
"饭" (0.3)
"菜" (0.25)
"水果" (0.23)
…Top_p 核采样
设定累积概率阈值，从高到低概率依次选择的token，直到总和达到设定值
Top_p = 0.75时：
选择："饭"(0.3) + "菜"(0.2) + "水果"(0.15) + "零食"(0.1) = 0.75
其他选项被排除Frequency Penalty 概率惩罚
-2 ～ 2，降低已出现token的再次出现概率，迫使模型选择新的表达方式
如果"喜欢"已经出现过：
原始概率："喜欢"(0.3) → 惩罚后：(0.1)
我喜欢吃饭，我也爱吃烧烤Presence Penalty 存在惩罚
-2 ～ 2，降低已出现主题的相关token概率
如果已经讨论过”食物”主题，相关token概率都会被降低，促使模型转向新主题
我喜欢吃饭， -> 我也喜欢吃烧烤
0.7：我喜欢吃饭，周末常去夜市撸串 （引入周末和夜市场景）
1：我喜欢吃饭，假期约上朋友去大排档，美食总能让生活充满乐趣（引入新场景、人物、情感）
-1：我喜欢吃饭吃面吃烧烤