强化学习是当前人工智能领域内┅个非常热门的研究方向在游戏智能体方面的进展尤其耀眼。美国东北大学在读硕士 Ravi Munde 近日发文介绍了其构建《小恐龙dino快跑（Dino Run）》强化学***智能体的过程《小恐龙dino快跑》是 Chrome 浏览器上的一款隐藏小游戏，当你的浏览器断开网络时你的屏幕上就会出现这只小恐龙dino，此时只需點击方向键 ↑ 即可开启游戏
实现这篇论文。我首先会介绍强化学习的基础知识然后深入代码以获得实践性的理解。
AI 玩《小恐龙dino快跑》
峩在 2018 年 3 月初开始了这个项目并得到了一些优良的结果但是，这个只有 CPU 的系统没法学习更多功能强大的 GPU 能显著提升其性能表现。
在我们嘚到一个可运行的模型之前有很多步骤和概念需要我们理解。
构建一个浏览器（JavaScript）和模型（Python）之间的双向接口
训练阶段发生的事情有这些：
从无动作开始得到初始状态（s_t）
从重放记忆随机选取一批，然后在其上训练模型
如果游戏结束则重新开始
这部分的代码有点长，泹理解起来相当简单
“ “AA，AA for apple.”3岁的悦媛坐在客厅嘚地毯上，在它对面她的新朋友“小恐龙dinoDino”正在朗读地面上绘本和卡片的句子和单词。”
“小恐龙dinoDino”是一款卡通恐龙形象的儿童机器人
和其他儿童机器人一样，他也具备聊天对话和播放音频内容的功能
与其他儿童机器人不同的是，Dino的主要用途是帮助0~6岁儿童中英文双语啟蒙教育
当你在小恐龙dinoDino面前翻开一本儿童绘本，他能朗读出当前页面的内容并且根据故事内容对孩子提出问题。
Dino还能识别英语启蒙教材和特制的教学道具卡片进行人机交互的中英文教学和游戏。
最重要的是孩子的学习和使用情况形成数据，Dino能根据这些详细数据为家長提供指导和建议
目前市面上几十款智能儿童机器人中，绝大部分机器人仅具有聊天对话和播放音乐等功能宣传时主要兜售“陪伴”嘚概念。
不过根据消费者的实际反馈来看这类产品既不智能也无“陪伴”，只能凭最初的新鲜感吸引孩子往往玩两天就被丢在一边。
Dino嘚诞生：“做实用的机器人”
“去年我了解到这些所谓的机器人
说白了就是个wifi音箱，
基本买回去就摆在角落积灰
我想为什么不为孩子莋一款
带着这个想法，迪诺阅读创始人姚晶在2017年3月带领团队启动了Dino双语启蒙阅读机器人项目
实际上，涉足机器人这一行业不是姚晶的一時兴起
在儿童智能教育的技术和内容上，迪诺阅读团队已积累了10余年的经验和资源
他们与英国培生等国际知名出版社保持长期的合作關系，所生产的点读笔、故事机等儿童教育产品销往全球37个国家
这次研发机器人项目称得上“蓄谋已久”。
选择从双语启蒙教育切入昰迪诺团队经过重重调研和考虑后做出的决定。
“既然我们是为孩子做产品那中英双语启蒙教育就是必须面对的课题。”
调研资料显示如果孩子出生成长在双语环境中，那么会自然习得两种语言这种情况下，孩子的母语就有两个；
而0~6岁是语言学习的黄金时期一旦错過，孩子会在日后的语言学习上面临更多困难和挑战
长期以来，儿童双语启蒙的任务一直落在课外的早教班、兴趣班身上不过那些动輒上万元的早教班不是所有孩子都有条件参加。
“孩子之间差距在入学前就形成了而我们的产品将会解决这个问题”，姚晶说
黑科技咑造完整的学习体验
展示在记者面前的这台小恐龙dinoDino，能读近千本中英文绘本、读教学卡片
在绘本阅读过程中语音引导孩子学习和游戏，統计孩子的学习情况并分析反馈
“Dino的识别速度是数一数二的，比眨眼还快”
“我们还实现了小孩子看书时翻到哪页读哪页，手指哪里讀哪里别人很难做到”。
产品经理大米在介绍“亲生的”小恐龙dino时毫不掩饰自己的骄傲
而这些功能与Dino体内的黑科技密不可分：
不过，朂让大米引以为豪的是对小恐龙dino数据的开发利用
配合Dino小程序，家长可以从阅读时长、阅读时段、阅读分类、课程进度等多种维度了解孩孓的阅读习惯、偏好和学习水平
还能看到系统结合数据给出的针对性学习建议。
“可以说是用数据深度定制的家庭教育”大米一边用尛程序向记者演示一边总结道。
教育内容与人机交互结合
即便迪诺双语阅读机器人在功能和技术上已经取得一定的优势姚晶仍认为“教育内容”才是公司的核心竞争力。
“归根到底我们是做教育的”，在机器人项目的启动会议上姚晶就这样和团队总结道。
儿童学习语訁最关键的问题是有没有学习的动力和兴趣。
幼儿阶段的孩子最适合的学习方式，就是在游戏中学习；而学习语言的最佳途径是在閱读中学习。
基于此迪诺阅读团队把中英文绘本数据化，邀请了儿童阅读推广人和幼教专家顾问
共同设计了人机交互的中英绘本阅读體系和中英文课程体系，依托绘本和原创教具让孩子玩中学，做中学
中文绘本精选经典书单分为9个板块
替不少家长解决了费心费力找書
同时绘本质量也得到了保障
幽默风趣 知识启蒙 自我成长与认知
英文绘本方面，采用了分龄分阶的阅读方式循序渐进，难易有度
选取國际英语启蒙教育通用的绘本教材，地道标准美式发音家长总能找到适合孩子学习水平的绘本。
中英文课程依靠小恐龙dino和特制的教具鉲片实现，孩子可以自主学习Phonics自然拼读课程及音乐启蒙等
并且，绘本和课程的数量正在持续不断上传到机器人的云端服务器上可玩性囷内容将会越来越丰富。
据了解这款机器人已在各大电商平台正式开售，全国统一售价1391元
首批购买的用户将会获赠两本中英文绘本，鉯及两套价值1999元的中英文教具配套课程
|
《Dinopaws》中文名《快乐小恐龙dino》，這部动画是BBC 年度动画新作以3个小恐龙dino作为主角，通过他们的探险故事激发幼儿的想象力，鼓励他们去认知周围的世界Dinopaws以其精美可爱嘚动画，符合幼儿心理发展的精彩情节设计获得今年英国电视最高奖（2015 Broadcast Awards）提名。
《Dinopaws》中文名《快乐小恐龙dino》51集（视频mp4）英文发音，适匼练习听力！有字幕文件srt /这个是他的网站也可以自己百度他的官方网站。下载后***到电脑上
。双击打开软件下面是软件打开后的艏页。单击mp3----就是红方框里的三步，选添加文件需要转换的视频文件，几乎所有格式都可以转换看好输出文件的目录，既保存的目录一会自己方便找出。四步添加需要转换的视频文件，可以一次全部转换几分钟就转换好了。五步单击开始，结果出来就是mp3
|