kivava
@kivava
Mon, Oct 16, 2023 2:21 PM
1
昨天有网友发了黄仁勋采访 OepnAI 首席科学家 Ilya Sutskever 的一个片段，Ilya 的表达可以概括为一句话（结尾我放上完整表述）：大语言模型看起来所做的事情是预测下一个词，但实际上在这个过程中，大语言模型学会了表征这个世界，是一个世界模型。
特斯拉 CEO Elon Musk 在下面回复：端到端的 FSD 也一样。
一旦 FSD v12 学会了表征世界，具备了人类驾驶汽车最基础的「常识」能力，城市辅助驾驶领域的发展会进入一个全新的阶段。那可能是汽车行业真正的 ChatGPT 时刻。
kivava
@kivava
Mon, Oct 16, 2023 2:21 PM
Ilya 完整表述：当我们训练一个大型神经网络来准确预测互联网上许多不同文本中的下一个词时，我们正在做的其实是——正在学习一个关于世界的模型。
表面上看起来，我们只是在学习文本中的统计相关性，但实际上，是通过学习文本中的统计相关性，从而把这些知识很好地压缩。
神经网络所学习的是生成文本的过程中的一些表述，这个文本实际上是这个世界的一个映射，世界在这些文字上映射出来。
因此，神经网络正在学习从越来越多的角度去看待这个世界，看待人类和社会，看人们的希望、梦想、动机、交互和所处情境。基于此，神经网络学习一个压缩的、抽象的、可用的表述。这就是从准确预测下一个词的任务中，正在学习的东西。
更进一步，你对下一个词的预测越准确、还原度越高，在这个过程中你得到的世界的分辨率就越高。
kivava
@kivava
Mon, Oct 16, 2023 2:21 PM
昨天有网友发了黄仁勋采访 OepnAI 首席科学... 来自不是郑小康 - 微博
kivava
@kivava
Mon, Oct 16, 2023 2:22 PM
啊啊啊。 Optimus robot
載入新的回覆
特斯拉 CEO Elon Musk 在下面回复：端到端的 FSD 也一样。
一旦 FSD v12 学会了表征世界，具备了人类驾驶汽车最基础的「常识」能力，城市辅助驾驶领域的发展会进入一个全新的阶段。那可能是汽车行业真正的 ChatGPT 时刻。
表面上看起来，我们只是在学习文本中的统计相关性，但实际上，是通过学习文本中的统计相关性，从而把这些知识很好地压缩。
神经网络所学习的是生成文本的过程中的一些表述，这个文本实际上是这个世界的一个映射，世界在这些文字上映射出来。
因此，神经网络正在学习从越来越多的角度去看待这个世界，看待人类和社会，看人们的希望、梦想、动机、交互和所处情境。基于此，神经网络学习一个压缩的、抽象的、可用的表述。这就是从准确预测下一个词的任务中，正在学习的东西。
更进一步，你对下一个词的预测越准确、还原度越高，在这个过程中你得到的世界的分辨率就越高。