这一年多，有不少人问我ChatGPT的运行原理是什么？
我今天尽力用大白话做个解释。
首先请答题：
我爱X
X填个字，你会填什么？
我想大概率会填“你”。
其实X还可以换成“她”、“水”、“车”、“米”、“手”、“房”等等等等。
像人一样，ChatGPT会给这些字加上匹配概率，大约如下图所示。
即，有80.00%的匹配概率选择“你”；10.12%的匹配概率选择“她”；1.08%的匹配概率选择“房”。
正常情况下，ChatGPT会按匹配概率优先选择“你”。
但有的时候，我们希望答案是丰富多彩的。
于是，ChatGPT提供了一个调节参数，叫温度，范围从0到1。
在温度为0时，说明匹配概率要选尽量大的，在以上例子中，ChatGPT很可能选择“你”；
在温度为0.8时，说明匹配概率要选择较小的，在以上例子中，ChatGPT有可能选择其中任何一个字。
在温度为1时，说明匹配概率要选尽量小的，在以上例子中，ChatGPT很可能选择“房”。
我们想要天马行空的答案，只要将温度参数设为0到1之间的值，就可以得到这样的效果。数值越接近1，得到的内容越天马行空。
比如，温度设为0.8，那么ChatGPT生成的这段句子可能是：
我爱水，水是万物之源，我爱它的纯洁美丽，我爱它的……
对于ChatGPT，目前只有一个对话框，如何修改温度参数呢？
很简单，在提示词里就可以体现温度参数。
提示词里面如有这样的信息：你是一位博士后，计划写一篇学术论文。
这时ChatGPT会理解为温度是0，即选择匹配概率尽量高的词语生成句子，相当于中规中矩地找相应词语组成句子，这样可以生成较为严谨的内容。
提示词里面有这样的信息：你是一位艺术家，计划写一篇畅想，请用天马行空的语言。
这时ChatGPT会理解为温度是1，即选择匹配概率尽量低的词语组成句子，相当于随机匹配词语组成句子，这样可以生成更为意想不到的内容。
理解上面的例子后，你有没有想过，这些词语的匹配概率又是怎么得来的？
答案是训练出来的。
ChatGPT的打磨过程主要分两个阶段。
第一阶段是预训练。
ChatGPT的训练内容来自45 TB的数据集，这些数据来自书籍、论文、论坛、网络爬虫抓取的网页等。
预训练数据的选择质量和ChatGPT最终的性能密切相关，因此我们要把这45 TB的数据集做个清洗。
网上的垃圾内容太多了，尤其是网页数据，远远没有书籍、论文、杂志的质量高，需要去掉无用的导航、推荐、广告等信息，主要保留有价值的正文。
45 TB的原始语料经过清洗之后，数据量减少到570 GB左右（估算值）。
经过清洗的数据都是值得学习的精华，相当于我们上学时的教材，而不是地摊文学。
然后，我们可以开始训练了。
训练的过程就是通过GPU（图形处理器，或称为图形处理单元，也就是显卡）把要训练的数据“喂”给模型，经过一些时间，就可以训练出神经网络模型了。
为什么不用CPU（中央处理器），而是用GPU呢？
这是因为CPU本是用来执行各种各样的综合任务的，而GPU更适合进行大量的矩阵计算和向量计算。
一块CPU可能只有几十个核心，而一块GPU可能有一万个核心。
如果说CPU是一个数学系毕业的高材生，能计算各种艰深复杂的问题，GPU就像是汇集了一万个只会1+1=2的小学生，能以最快的速度处理海量简单重复的问题，这正是训练人工智能最需要的能力，通过对庞大数据的学习、分析、推理，让机器像人类那样解决问题。学习的数据越多，机器越聪明。
训练到什么时候结束呢？
这与我们学习类似，当学习的效果开始下降时，就可以随时停止了。
例如，一个人学《论语》，学50遍肯定比学1遍得到的知识内容多很多倍，但是学100遍的提升效果相对于学50遍的提升效果而言，就没有那么明显了。
经过预训练的模型叫作“基础模型”，它是所有后续微调工作的基础。基础模型已经像是一个具有无限潜力的超人，拥有丰富的知识。只是目前这个超人空有蛮力且善恶不分。
接下来需要进行第二个阶段，即微调。
我们需要精细调整，这有些类似于给一部要出厂的手机增加一些详细设置。
对ChatGPT的微调，实际上就是增加更多的对话数据集、程序代码等，以便使其更贴近聊天场景并且在回答时遵循道德规范和安全原则。
例如，基础模型不仅知道怎样制作茶叶蛋，还知道怎样制造原子弹；它不仅可以安慰人，也可以诋毁人。这时，我们要通过微调，禁止输出制造原子弹的内容，禁止输出诋毁人的内容。
此外，微调过程还可以帮助模型更好地理解对话场景，提供更有针对性的回答，并适应用户的需求，例如控制回答的长度等。
