V
主页
京东 11.11 红包
【空洞骑士】训练AI打竞技场III (1) 看简介哦
发布人
这是一个刚刚入门AI的小萌新尝试用DQN训练AI打竞技场的视频。 代码修改于Ailecccc大大公布的【空洞骑士】[DQN强化学习训练]源码,大大提供的源码质量还是非常高的。这个系列的视频里,我希望去解决Ailecccc大大没有实现的对抗多个目标的难题。这里沿用了很多现成的模块,但也加入了很多自己的模块,比如CA和SA注意力机制模块、Upgrade_param线程,并且针对竞技场环境做了一些其他必要的处理。 但是呢,训练AI本身就是一件很难的事情,算法不收敛、神经网络感知能力不足、与游戏进程数据交互出错等等都是家常便饭。在这次训练以前,已经发布过5次训练,每一次之后都对整个架构进行了大改,但是训练效果仍然不好。但科研的道路总是曲折的嘛,我相信多多尝试、多多改进就好啦 这个视频作为agent6的记录,虽然这个AI酱真的很菜,但我还是选择将它发布出来(前面5个agent更是惨不忍睹)。之后也会持续发布改进型agent的训练视频,希望每一个AI酱都能比前辈前进一点点,直到这个小骑士能够打出漂亮的成绩,甚至是打通竞技场3。 最后希望大家加关注啦,期待小骑士打通竞技场的那一天 一些学术方面的tips: (1)训练模型为DQN,2015论文版本,采用一个evaluate神经网络和一个target神经网络,依照强化学习的逻辑进行训练; (2)神经网络采用5个下采样卷积层,conv1-4都配备了相应的注意力机制模块,conv5后接两个全连接层映射到21个动作上; (3)神经网络输入量为当前时刻前0.32s的16张图像,输出为动作的行为值Q(a|s) (4)回报函数:r = abs(soul_ - soul) + 22 * (life_ - life),life和soul这两个值的地址通过CheatEngine抓取,并整合到代码上; (5)存在的问题:(i)单纯的卷积神经网络的记忆能力较差,处理时间序列效果不好;(ii)存在明显的遗忘优秀策略的现象,训练中学到下劈后的数个episode之内把下劈策略遗忘掉了;(iii)确定性策略常常连续生成4-6个相同的动作,这样是不好的,很容易导致二段跳之后的跳跃全变成无效动作,并且不利于探索新策略; (6)希望的改进:加入LSTM长短期记忆模块或者NTM神经图灵机提升记忆能力,并合理增加神经网络复杂度,当前版本的时间余量和空间余量都很大,时间余量大概有100ms/act、空间余量大概有4G显存(and 6G内存),在一定程度上提供了很大的改进空间; (7)源码呢暂时不发布,我想将这个作为本学期人工智能技术专业课的结课项目,结课以后很可能像Ailecccc大大一样发布源码和讲解视频,以支持学术界(doge空洞骑士界)后续的尝试
打开封面
下载高清视频
观看高清视频
视频下载器
【空洞骑士】十灯左特,打这玩意真有意思
徐静雨锐评空洞骑士:当我是小孩?
「王不会怜悯卑微的爬虫」钢魂亡怒速杀竞技场3
最近看东西越来越慢了🤓
谁更可爱?
空洞骑士,惊险过灵魂暴君
空洞骑士移植版零丁白法四血无护符协调级前辈(*σ´∀`)σ
【空洞骑士】游戏里实际存在,但不告诉玩家的事情(第八期)
空洞护符强度排名
这傻逼mod给我笑死了哈哈哈哈哈哈哈
当萌新入坑空洞骑士。。。
4202年终于打过竞技场3了(手残也行ouo)
【空洞骑士】mod“苍白宫廷”五骑士连战首次击破
人间清醒
关于一个空洞骑士玩家讨厌佐特这件事......
世界第二!无无忧&巴德尔Any2.0击破!
【空洞骑士】 圣 巢 最 唐 的 虫
[空洞厨房] 当若只骑士被吸虫大四喜?
空洞骑士 苦痛之路友谊赛 最悬念拉满的一集
《空洞骑士》萌新竞技场3莽夫流终于过了
不食哥们?
给你没玩过空洞骑士的朋友看,让他尝试用眼睛全程捕捉小骑士的位置
好奇心让小骑士痛失一滴血(。
[ROA]假如挑战螳螂领主的是古神……
空洞骑士-劈吼详解
这37秒包含了我对空洞骑士的全部理解
空洞骑士 any% 速通成绩 再创新高 28分58秒89 TAS
只有空洞玩家才懂的神必笑点
空洞骑士超美图片
【空洞骑士】梦已成真!无伤四锁五门!不再有梦
贪刀,但只贪刀的辐辉三螳螂
空洞骑士BGM《City of Tears》吉他版~建议收藏~
【空洞骑士】不落地下劈苟哥挑战298次
正常人是如何过苦痛之路的
当丝之歌不出时它的玩家be like:
【空洞骑士/随机S6E9】运气好到最像开了的一集!
等丝之鸽时,无意间发现的:你只要一直让他来不及下去,他永远死不了
【世界第一】永恒之光速杀1分19秒623
office可以免费用?这对一个电脑小白来说真的很重要!
这玩意儿真的跑得飞快