本文出自:【InTheWorld的博客】 （欢迎留言、交流）
Policy Gradient方法是强化学习中非常重要的方法。不同于基于最优价值的算法，Policy Gradient算法更着眼于算法的长期回报。策略梯度根据目标函数的梯度方向去寻找最优策略。策略梯度算法中，整个回合结束之后才会进行学习，所以策略梯度算法对全局过程有更好的把握。DeepMind的David Silver在深度学习讲座中这样评价基于策略的方法：
Policy Based强化学习方法优点：
- 收敛性好
- 在高维和连续问题中比较有效
- 能学习随机策略
其缺点有：
- 容易陷入局部最优
- 评价一个策略比较低效
从理论上讲，其实策略梯度其实是更容易理解的一种方法，毕竟我们对梯度下降再… 【查看更多】
之前的一次机器学习会议中，LeCun表示强化学习或者弱监督学习会是机器学习最重要的发展方向。相比于强监督学习，强化学习更符合人类的学习过程。AlphaGo已经向人类展示出了强化学习的强大，之前看OpenAI机器人和职业玩家solo Dota2游戏，AI的游戏水平强大到令人吃惊。
Q-learning是一种比较常见的强化学习方法，其实现方式是通过一个表（Q-Table）存放状态S和行动A的reward。然而，Q-Table是有缺陷的，对于状态空间巨大的问题就显得无能为力了。为了解决这类问题，有人提出了使用深度神经网络来实现Q函数，这种方法就是deep QNetwork。使用DNN来表示Q函数与使用Q-Table还是有一些区别的，Q-Table实现了S, A =》reword的映射。而DQN中的深度神经网络实现的其实是S => [A]的映射，这里[A]就是… 【查看更多】
本文出自:【InTheWorld的博客】 （欢迎留言、交流）
去年研究了一段时间的语音识别，出于一些功耗的考虑，主要精力还是放在了Spinx这个传统方法的实现上。HMM方法的局限性还是挺明显的，如今语音识别的先进技术基本都是基于DNN的。而RNN更是非常适合语音这种序列的处理。前面在github上偶然发现了一个语音识别的学习项目，里面提供了一些标定过的语音数据，同时也实现了一些demo性质的代码。不过，这个项目作者对TensorFlow进行了一些封装，导致代码有一点绕，其实是不利于初学者学习的。所以，我就想使用原生的TensorFlow api实现个简单的语音识别程序。
说实话，我对RNN也没有多深入的理解，所以这里也就不深究原理了。仅仅从直观的角度来讲，RNN的结构反应了序列的顺序关系，所以RNN对序列模型有这很好的描述能力。在《Deep Learning with tensorflow》这本书里，使用了RNN实现MNIST数据集的分类模型训练。MNIST数据集虽然是一个图片数据集，… 【查看更多】
最新评论