体验Oasis：大模型实时生成游戏画面

呼，最近手头的一些事终于快处理完了，准备休息一段时间。
明天去海南玩，让我看看南方的海水怎么样。

在过去玩的游戏中，游戏画面通常是由手工搭建的游戏场景和代码预设的游戏逻辑两部分组成的。每一次按键都对应着游戏内的某个行为指令，并在按下后的瞬间开始播放对应的动作动画。

现在我们来设想一下，如果我们给AI投喂足够多的游戏操作视频，那么AI能否理解并生成相应的场景和行为动画？在过去我一直认为只能通过特定规则去生成一些比较简单的Roguelike地图，地图中随机包含一些怪物、道具、NPC等等。

关于Roguelike 随机地图的介绍可以参考下方的B站视频。

而最近我看到了这篇文章：《无需游戏引擎，大模型实时生成“我的世界”，每秒20帧零延迟可交互，已开源》。里面提到了Oasis可以根据玩家按下的键位，通过AI实时去生成游戏画面。

官网地址：传送门

Oasis

博主体验了一番之后，对于目前AI能够实时生成游戏画面感到有些诧异和惊喜，但是不足的点也还是很多的。主要有以下几点：

（1）画面分辨率比较粗糙

这是进入界面后最明显的反差，画质特别糊。感觉一下子从720P变成了240P的画质。另外一点是在镜头运动时生成的画质则又下降了一档。会有非常严重的颗粒感。

（2）操作延迟较高，画面不跟手

进入界面后的按键操作延迟比较高，有可能是当时的访问量比较大，模型实时生成画面的压力很大，我遇到过好几次中途报错退出的情况。

（3）似乎是根据场景中的大区域色块来近似生成的画面

我截取了一段切换场景的案例，能够印证我这个观点。

当人物进入水面后，沙块叠加水面呈现出淡蓝色，而淡蓝色在Mc中比较像天空的颜色，所以经过2-3秒的卡顿后，AI模型将后续画面输出为看向天空的人物。

（4）没有记忆功能

这个是最大的问题，人物只需要低头又抬头，周围的内容就会出现变化。即使是Roguelike游戏，也是进入地图时随机生成，而不是地图随人物运动生成。试想一下刚在地图上打完Boss，还没捡到宝箱，一低头一抬头，宝箱没了是什么感觉哈哈。

最后简单总结一下：Oasis涉足了一个比较新颖的AI赛道，但距离能够实际应用还有很长的路。