World Model
对世界建模,利用算法理解世界,是比 LLM 等更加泛化的概念。
在计算机获得对世界的建模之后,就能利用算法在内部演算,最终达成不错的强化学习效果。而无需在真实世界中学习。
人的学习方式除了实践之外,还可以在脑海中演练,达到学习效果。以驾驶为例,在我们了解到汽车有两个踏板一个方向盘之后,我们就可以在脑海中模拟,当遇到不同的路况时,应该怎么转动方向盘,如何踩踏板。如此这样的学习方式,就是 AI 在世界模型中的学习方式。
自训练(在梦中学习)
来自:World Models
世界模型是强化学习的一部分,计算机可以建模世界,在获得理解之后实现自训练。最终达成和强化学习差不多的效果。
如此的过程,分为两步,第一步是对世界建模。当 AI 理解了环境的基本情况之后,利用算法自动在脑海中演练,获得学习效果的提升。
常识
常识是人类了解这个世界的方式。不管是 LLM,图片生成模型还是视频生成模型,都有幻觉的问题。我们认为的机器的自以为是,一方面因为算法的内在的随机化原因,另一方面就是模型对世界的常识认识不足,于是会出现各种“已读乱回”的情况。
而世界模型,就是解决 AI 的常识问题。在有了常识之后,AI 的性能一定可以更上一层楼。