您当前的位置: 首页 > 旅游

UCBerkeley机器人与工程实验室讲座教授王强DeepLearning及AlphaGoZero下

2018-11-23 15:47:23

雷锋网(公众号:雷锋网) AI科技评论按,北京时间10月19日凌晨,DeepMind在Nature上发布论文《Mastering the game of Go without human knowledge》(不使用人类知识掌握围棋),在这篇论文中,DeepMind展示了他们更强大的新版本围棋程序“AlphaGo Zero”,掀起了人们对AI的大讨论。而在10月28日,Geoffrey Hinton发表的胶囊论文,彻底推翻了他三十年来所坚持的算法,又一次掀起学界大讨论。

究竟什么是人工智能?深度学习的发展历程如何?日前,雷锋网 AI科技评论邀请到UC Berkeley机器人与工程实验室讲座教授王强博士,他为大家深入浅出讲解了何为人工智能,深度学习的发展历程,如何从机器感知向机器认知演进,并解析了AlphaGo与AlphaGo Zero的原理、学习过程、区别等。

嘉宾简介:王强博士,本科毕业于西安交通大学计算机科学与技术专业,后获得卡内基梅隆大学软件工程专业硕士学位、机器人博士学位。美国货币监理署(OCC)审计专家库成员、IBM商业价值研究院院士及纽约Thomas J. Watson研究院主任研究员。IEEE高级会员,并担任了2008、2009、2013及未来2018年CVPR的论文评委,同时是PAMI和TIP两个全球期刊的编委。王强博士在国际期刊发表了90多篇论文,并多次在ICCV,CVPR等大会做论文分享。其主要研究领域图像理解、机器学习、智能交易、金融反欺诈及风险预测等。

以下为他的分享内容,本文为下篇,主要内容是对AlphaGo和AlphaGo Zero详细的解释说明。上篇请参见:UC Berkeley 机器人与工程实验室讲座教授王强:Deep Learning 及 AlphaGo Zero(上) | 分享总结

今年9月19号,DeepMind在Nature上发表了一篇论文,这篇论文是在人工智能、深度学习上具有颠覆性的文章。

大家知道,原来有AlphaGo,现在又出了AlphaGo Zero,那么AlphaGo和AlphaGo Zero之间到底有什么样的区别。

我先说AlphaGo,AlphaGo其实是由两个网络组成的,个是人类的经验,第二个是双手互搏、自学习。部分是监督策略网络,第二部分是强化策略网络,还有一个价值网络,再加上rollout网络,即快速走棋的网络,这四个网络再加上MCTS,就组成AlphaGo。

在AlphaGo里面输入了将近48种规则,但在AlphaGo Zero中,它的神经网络里面的输入只有黑子和白子,而且输入进的是一个网络,不是两套网络。这里所说的两套网络就是指价值网络和策略网络。AlphaGo和AlphaGo Zero的共同点是都用了MCTS。

在这里会想到一个问题,为什么AlphaGo和AlphaGo Zero都会用到DCNN神经网络。

,大家都知道解决围棋问题是比较有意思的,围棋是19个格,19×19,361个落子的可能性,这时候落子可能存在的向量空间就是361乘以N,这个向量的状态空间几乎是无穷无尽的,大概计算量是10的171次方,用100万个GPU去运算100年也是算不完的。

第二,在这里MCTS的搜索方法是无效的。MCTS的搜索方式在这里我通俗地讲解下,随机拿一个苹果,和下一个苹果进行对比,发觉到哪个苹果比较大,我就会把小苹果扔掉,然后再拿这个大的和随机拿的下一个苹果去对比。对比到,我一定会挑出一个的苹果。

第三是我们希望走棋的时候的探索空间必须要缩小,要看这个子落下之后另一个子有几种可能性,不要说别人下了一个子之后还有360个空间,那这360个空间里头都有可能性。DeepMind比较厉害的地方是做了一个随机过程,而不是说在三百多个里选哪个是的,这个用计算机是算不出来的。

第四个问题,它必须要做一种类似于人类下棋的方法。那么刚才有朋友问到什么是端到端,端到端在AlphaGo里边表现得非常明确。我把数据扔给神经网络,然后神经网络马上给出我一个状态,这个状态有两个,包括目前状态和目前状态的价值,这非常有效,表示棋子落在哪里,以及赢的概率到底有多大。

在这里我先给大家讲一下AlphaGo的原理。一般的棋盘比如围棋、象棋等,我们步先做一件事,把棋盘的状态向量标记成s,围棋的棋盘是19*19,它一共有361个交叉点,每个交叉点有三个状态,1表示黑子,-1表示白子,0表示没有子,考虑到每个位置还可能有落子的时间等信息,我们可以用361乘以N维的向量表示棋盘的状态。

我们把棋盘的状态向量变成s,从0开始,s0表示的棋盘里的所有状态,没有任何子,s1落的是个子,s2是第二个子,第二步加入落子的状态a,在当前的状态s下,我们暂时不考虑无法落子的情况。下个子的时候,可供下一步落子的空间是361个,我们把下一步落子的行动也用361维的向量表示,变成a。第三步我们来设计一个围棋的人工智能程序,给定s状态,然后寻找的策略a,让程序按照这个策略去走。有四个条件,先是棋盘的状态s,寻找下棋的策略a,然后让程序按照这个策略a走棋,获得棋盘上的地盘,这是围棋人工智能程序的基本原理和思路。

DeepMind以及我们之前在沃森那边做的,主要流程如下:

步先找一个训练样本,然后在观察棋局的时候,发现在每一个状态s里都会有落子a,那么这时候就会有一个天然的训练样本。

第二步,我们做一个网络,拿了一个3000万的样本,我们把s看成一个19×19的二维图像,然后乘以N,N指的是48种围棋的各种下赢的特征,落子向量a不断训练网络,这样就得到了一个模拟人下围棋的神经网络。

第三步我们设计一个策略函数和一个概率分布,我们拿到一个模拟人类棋手的策略函数跟某个棋局的状态s,可计算出人类选手可能在棋盘落子的概率分布,每一步选择概率的落子,对方对子后重新再算一遍,多次进行迭代,那就是一个和人类相似的围棋程序,这是开始的设计思维和方式,策略函数和概率分布。

其实DeepMind还不是很满意,他们设计好这个神经网络之后,可以和六段左右过招,互有胜负,但还是下不过之前从沃森中做出来的一个电脑程序。这时候,DeepMind把他们的函数与从沃森中衍生出来的程序的函数算法结合在一块,对原来的算法重新做了一个完整详细的修正。

DeepMind初对围棋一概不知,先假设所有落子的分值,这个大家一定要记住,在做任何科学研究的时候,当你发现你一无所知的时候,一定先要设定一个值,这个值千万不能是零。然后第二部分就简单了,就像扔骰子一样,从361种方法里随机选一个走法,落个子a0,那么棋盘状态就由s0变为s1,对方再走一步,这时候棋盘状态就变成s2,这两个人一直走到状态sN,N也许是360,也许是361,一定能分出胜负,计算机赢的时候把R值记为1。

从s0、a0开始再模拟一次,接下来如PPT中卷积所示,做激活函数。在下到10万盘次之后,这时候AlphaGo得到了非常完整的落子方案,比如说个子落在哪里赢的可能性比较大。

MCTS在这里起的作用是什么呢?MCTS能保证计算机可以连续思考对策,在比较的过程中发现的落子方式。在这之后,DeepMind发现用MCTS还不是非常好,他们就开始设计了一个比较有意思的东西,就是评价函数,我在这里就不太多讲评价函数。

AlphaGo的监督学习过程其实由两个网络组成,一个是从其他人中获得的学习经验,先是做了一个softmax,即快速落子,它的神经网络比较窄,第二部分是深度监督式神经网络。

到了做强化学习的时候,它会把原来通过机器学习过来的监督神经网络copy到强化神经网络里,然后进行初始化,让强化神经网络作为对手和另一个强化神经网络进行互相学习,来选择一个的结果。具体细节如PPT所示,500次做一次迭代,在这里会用到一些梯度下降的方式。

前面是我们看到的AlphaGo,接下来看AlphaGo Zero,它对原来的过程做了完整的简化,集成了价值网络和策略网络,放到一个架构里头,即将MCTS和两个神经网络放在一块。这两个神经网络其实用了一个比较有意思的神经网络,叫Resnet,Resnet的深度大家也知道,曾经做到过151层,我在这里就不讲得特别详细了。如PPT所示,它的参数是θ,深度神经网络的输入是s,输出落子概率(p,v)。

在这里我给大家大概说说AlphaGo Zero自我对弈训练的流程。

步是程序自己和自己下棋,标记为s1, ..., sT。在每个位置st,一个MCTS αθ被执行。每个走子选择的依据是通过MCTS(选择的θ参数)、at ∼ πt计算的搜索概率。终的位置sT根据游戏规则计算对局的终胜者z。

第二步是AlphaGo Zero中神经网络的训练。该神经网络将棋盘位置st作为输入,与参数θ一起将它传送到许多的卷积层,并同时输出表示每一走子的概率分布的向量pt和一个表示当前玩家在位置st上的赢率的标量值vt。同时MCTS 使用神经网络 fθ 指导其模拟。

搜索树中的每条边 (s, a) 都存储了一个概率先验 P(s, a)(概率先验是在CNN里非常关键的问题)、一个访问数 N(s, a)以及动作值 Q(s, a)。每次模拟都从根节点状态开始,不断迭代,选择能将置信区间 Q(s, a)+ U(s, a) 的上层化的落子结果,直到走到叶节点s′。 然后,网络会扩充这个叶节点,并且再进行一次评估,生成概率先验和评估值。在模拟中,遍历每条边(s, a) 后,会更新访问量N(s, a),然后将动作值更新,取得所有模拟的平均值。

此外还要做时间步长的计算,还有L2 权重正则化水平参数(防止过拟合)的覆盖,包括用损失函数的梯度下降来进行调节。

在这里还有一件非常好玩的事情,他们用了张量处理单元(TPU),同时还做了一系列的说明,在训练网络时完全用了分布式的训练方式,用了176个GPU,48个TPU,其实AlphaGo Zero比较厉害的地方的是只用了四个TPU去做。DeepMind还比较了AlphaGo Zero的神经网络架构和AlphaGo的神经网络架构的性能,在性能上我就不多说了。

AlphaGo Zero比较厉害的地方在哪里呢?一是它发现了五个人类的定式(常见的角落的序列),二是自我对弈中爱用的5个定式,三是在不同训练阶段进行的3次自我对弈的前80步棋,每次搜索使用1,600 次模拟(约0.4s)。

开始,系统关注夺子,很像人类初学者,这是非常厉害的,白板+非监督学习方式完全模拟到人类初学者。后面,关注势和地,这是围棋的根本。,整场比赛体现出了很好的平衡,涉及多次战斗和一场复杂的战斗,终以白棋多半子获胜。其实这种方式是在不停的参数优化过程中做出的一系列工作。

接下来大概说说AlphaGo和AlphaGo Zero的一些比较。

,神经网络权值完全随机初始化。不利用任何人类专家的经验或数据,神经网络的权值完全从随机初始化开始,进行随机策略选择,使用强化学习进行自我博弈和提升。

第二,无需先验知识。不再需要人为手工设计特征,而是仅利用棋盘上的黑白棋子的摆放情况,作为原始输入数据,将其输入到神经网络中,以此得到结果。

第三,神经网络结构的复杂性降低。原先两个结构独立的策略网络和价值网络合为一体,合并成一个神经网络。在该神经网络中,从输入层到中间层是完全共享的,到的输出层部分被分离成了策略函数输出和价值函数输出。

第四,舍弃快速走子网络。不再使用快速走子网络进行随机模拟,而是完全将神经网络得到的结果替换随机模拟,从而在提升学习速率的同时,增强了神经网络估值的准确性。

第五,神经网络引入Resnet。神经网络采用基于残差网络结构的模块进行搭建,用了更深的神经网络进行特征表征提取。从而能在更加复杂的棋盘局面中进行学习。

第六,硬件资源需求更少。AlphaGo Zero只需4块TPU便能完成训练任务。

第七,学习时间更短。AlphaGo Zero仅用3天的时间便能达到AlphaGo Lee的水平,21天后达到AlphaGo Master的水平。

今天讲这么多,大家在听我讲这个科普类的东西时,可能会需要有一些比较好的基础知识,包括MCTS、CNN、DNN、RNN、Relu、白板学习、Resnet、BP、RBM等,我希望大家对我讲的这些神经网络有一个比较详细的了解。

是了解它的基本网络架构,第二是去了解优点和缺点在哪里。第三个是它的应用,是用在语言处理还是图像上,用的时候它有哪些贡献。到了第四步的时候,当你了解这些深度学习的过程之后,你可以考虑在工程上应用这些算法,再建立你的数据模型和算法。到第五步可以开始用MATLAB或Python去做复现,然后再去看深度学习算法对自己所做的工作有什么样的回报。

然后特别是做一些微调的工作,这时候你很有可能就能发表论文了。在这种情况下,我给大家提供一个比较好的思维方式,如果大家去用深度学习,怎么能保证从目前简单的AI的应用工作变成复杂的应用工作。其实,这是从机器感知到机器认知的转变过程。

机器感知在这里要做一个总结,机器感知是指从环境中获取目标观测信息,这是步。到了机器认知就比较有意思了,是将当前的状态映射到相应操作,比如说旁边的车要发动了,可能会撞到你,这时候你戴的手表可能会智能提醒你,看你的动作是否有改变,从而判断提醒是否有效,再进一步提高报警级别。

其实在机器认知的过程中,可能会用到大批量的深度学习和NLP技术、图像理解技术、语音识别技术,多模态图像识别技术,在这些领域去做一些组合的时候,可能对大家的研究比较有意义。

说说我们近做的一些工作,这是一个MSR系统,我们在用DCNN的方法做优化,用image captioning来做这个系统的时候会面临一些问题。在这里用Multi-Scale Retinex技术会存在一些问题,比如边缘锐化不足,阴影边界突兀比较大, 部分颜色发生扭曲等。我们试过了很多方法,也做了很多参数的优化处理,发现效果都不是很好,Hinton出了capsule之后,我们立马开始去对物体坐标性的点进行描述处理,而不用BP的反向处理方式,现在我们正在做一些算法的猜想证明。

的结果如下:我们在训练图片的时候,它越来越能够认识到人在做什么事。图中是人和机器所看到的,机器会认为这个人在准备食物,但其实人会认为她在做更实际的东西,会把所有的图片都认出来,我们现在已经做到跟人的匹配率达到97.8%,也是通过反复Resnet学习去做出来的。

下面是在COCO上的结果。

今天公开课就结束了,我希望大家去看下AlphaGo Zero的论文,然后去看看Hinton的胶囊计划,如果大家在这里有什么想法可以和我来探讨。还有一个论坛大家可以进来去看一下,地址是,大家可以看这里边有什么需要去讨论的东西。

视频:

雷锋网 AI科技评论编辑整理。


昆山市制作不锈钢格栅
昆山市定制防风销
板材铝格栅定制价格
昆山市制作方型格栅
昆山市定制防风销厂家
板材铝格栅定做厂家
推荐阅读
图文聚焦