生成式 AI 概述 - 第 1 部分

生成人工智能是能够使用生成模型生成文本、图像或其他数据的人工智能，通常是响应提示。生成式人工智能模型学习输入训练数据的模式和结构，然后生成具有相似特征的新数据。

生成式人工智能是能够生成文本、图像和其他类型内容的人工智能。它之所以成为一项出色的技术，是因为它使人工智能民主化，任何人都可以使用它，只需文本提示，即用自然语言编写的句子。

大型语言模型如何工作
 

• 分词器，文本到数字：大型语言模型接收文本作为输入并生成文本作为输出。然而，作为统计模型，它们对数字的处理比对文本序列的处理要好得多。这就是为什么模型的每个输入在被核心模型使用之前都由分词器处理。标记是由可变数量的字符组成的文本块，因此标记器的主要任务是将输入拆分为标记数组。然后，每个令牌都映射有一个令牌索引，该索引是原始文本块的整数编码。
• 预测输出标记：给定 n 个标记作为输入（最大 n 因模型而异），模型能够预测一个标记作为输出。然后，该标记会以扩展窗口模式合并到下一次迭代的输入中，从而获得一个（或多个）句子作为答案的更好的用户体验。这解释了为什么如果您曾经玩过 ChatGPT，您可能会注意到有时它看起来像是停在句子中间。
• 选择过程，概率分布：模型根据其在当前文本序列之后出现的概率来选择输出标记。这是因为该模型预测了根据其训练计算出的所有可能的“下一个标记”的概率分布。然而，并不总是从结果分布中选择概率最高的标记。这种选择增加了一定程度的随机性，模型以非确定性方式运行——对于相同的输入，我们不会得到完全相同的输出。添加这种程度的随机性是为了模拟创造性思维的过程，并且可以使用称为"温度"的模型参数进行调整。

在接下来的文章中，我们将进行实际演示。

谢谢