《概率图模型：原理与技术》译者序
已有 30861 次阅读
|个人分类:|系统分类:|关键词:Machine Learning
《概率图模型：原理与技术》译者序王飞跃 & & 由清华大学出版社出版的《概率图模型：原理与技术》将于近期发布，敬请关注京东、当当、亚马逊的图书信息。--------------------------------------------------------------------------------------------译者序美国斯坦福大学教授 Daphne Koller和以色列希伯来大学教授Nir Friedman的专著《概率图模型：原理与技术（Probabilistic Graphical Models: Principles and Techniques）》是机器学习和人工智能领域一部里程碑式的著作。本书内容十分丰富，作者以前所未有的广度和深度，对概率图模型这一领域的基础知识和最新进展进行了全面描述和总结。显然，这本书是对Judea Pearl教授关于不确定情况下贝叶斯网络推理与决策方面开创性工作之权威和重要的拓广，是本领域专家学者和研究生的最佳参考书和教科书之一。近几年来，人工智能和机器学习的研究与应用已成为全球性的科技热点，此书的出版恰当其时、正当其用，并且已产生了十分积极的影响。将一本近1200页的英文原著翻译成中文，的确是一次刻骨铭心的难忘经历，有时甚至感觉自已比原著的第二作者Friedman更有资格被称为“烤焦的人”（英文就是Fried man）！此书内容广博，而且作者特别善于见微知著，长篇细论，即便是单纯地读完此书亦需要坚韧的毅力，何况将其译成中文！用Koller自己在邮件中的话说：“这是一次英雄般的努力！”对于英文原著国内外已有许多评论，我已无需锦上添花。在此，只希望简要回顾一下自己为何如此钟情于此书以及本书五年的翻译历程，权当为序。自提出社会计算这一新的研究领域之后，我一直试图寻求能够支撑社会计算的理论框架与解析方法。2004年正式提出基于人工社会、计算实验和平行执行的复杂系统计算方法ACP框架，同时也将其作为社会计算的一般框架，因为社会计算所涉及的社会问题，显然是典型的复杂系统问题。但社会计算用于量化分析的一般解析方法是什么？在哪里？这在当时是一个首要的研究问题。自2007年起，作为副主编，我不断地推动《IEEE智能系统（IEEE Intelligent Systems）》杂志将社会计算列为主题，并先后组织了社会计算、社会学习、社会媒体、社会安全等相关专题专刊的征稿与出版，试图通过这些工作寻找完整的社会计算框架、方法及应用的学术“生态”体系。这些工作，得到了时任主编James Hendler教授的热情支持，他自己与Tim Berners-Lee还相应地提出了社会机器（Social Machines）的研究方向。我于2008年底接任主编，次年的年度编委会之后，Jim打***问我对Koller和Friedman的《概率图模型》的看法如何，可否在IEEE Intelligent Systems上组织一篇书评。但当时我并没有看过此书，因此建议由他来找人写。2010年春，我们实验室的王珏研究员再次让我注意此书，认为这本书会将对机器学习的研究产生重要影响，建议我组织大家学习讨论，并组织人员翻译。在此情况下，我才买了英文原版书，一看此书一千多页，比一块厚砖头还厚，当即就对能否找到时间翻译产生怀疑，表示不可能有时间从事这项工作。然而，粗读此书后，特别是从网络搜索了相关基于概率图模型的研究论文之后，我下定决心组织人员翻译此书，并立即让正在从事相关研究的博士生周建英着手写相关综述（见周建英、王飞跃、曾大军，“分层Dirichlet过程及其应用综述”，自动化学报, 第37卷4期, 389-407, 2011）。促使我态度转变的原因主要有三点：首先，本书是按照“知识表示—学习推理—自适应决策”这一大框架组织的，与我自己的ACP（即：人工社会/组织/系统 + 计算实验 + 平行执行）方法之主旨完全一致。显然，基于概率图的表示是人工组织建模方法的特殊形式，机器学习和相关推理是计算实验的智能化方式，而自适应决策则更是平行执行的闭环反馈化的具体实现。实际上，我一直希望把计算实验与机器学习打通，从而使统计实验方法升华并与最新的机器学习方法，特别是与集成学习（ensemble learning）结合起来。其次，概率图模型方法已在文本分类、观点分析、行为分析、舆情计算、车辆分类、交通路况分析以及智能控制上有了初步应用，这些都是我所带领的团队当时正在从事的研究及开发工作，而我正苦寻有何方法能将这些工作的基础统一起来，从而实现从基础、研究到应用的一体化整合，概率图模型为我开启了一个十分具有前景和希望的途径。唯一的缺憾，是我对此书的内容组织和写作方式有所保留，觉得虽然总体合理流畅，而且还用了“技巧框盒（skill boxes）”、“案例框盒(case study boxes)”、“概念框盒（concept boxes）”等让人一目了然印象深刻的表述形式，但对一般研究人员，特别是伴随微博微信成长起来的QQ新一代，此书相对难读，对某些人甚至基本无法读下去。因此，我希望通过细品此书，能够写出一本自己的书，就叫《可能图模型：原理与方法》，作为社会计算、平行方法和知识自动化的基础教材，统一我们团队学生之基本功的培育和修炼。有了这些想法，立即付诸行动。为了尽快完成翻译，我准备尝试利用自己一直全力推动的“人肉搜索”众包形式，希望通过社会媒体号召专业和社会人士参与此次工作，也为将来此书中文版之发行打下一个良好基础，就算是一种“计算广告”和“精准投放”实习吧！首先，我在实验室组织了十多名学生参与此次工作，作为众包的“种子”；再请王珏老师给大家系统化地上课，讲解此书；希望在此基础上，再挑选一批人，进行翻译，其余的参加翻译的讨论，并将翻译讨论后的结果分布于网上，发动专业和社会人士，进行评论、修正和改进，以“众包”方式完成此书的中文翻译。王珏老师对此给予我极大地支持，并安排了他的学生韩素青和张军平等参与此次工作。与此同时，我也开始联系此书的版权事宜。王珏老师推荐了清华大学出版社薛慧老师作为联系人，我也找到了正邀请我写作《社会计算》的MIT出版社的Jane 女士，询问翻译版权事宜。Jane立即回信，表示感兴趣，同时将回信抄送Koller和Friedman，并表示她将参加2010年5月在Alaska召开的IEEE 机器人与自动化国际大会（ICRA）大会，因我是IEEE ICRA2010的国际程序委员会委员，希望见面细谈。其实自己原本不想去Alaska，但为了尽快顺利促成此事，我决定还是去一趟。对于此次会面，我印象极深，一是刚下飞机就接到国内***，社会计算工程团队发生重大事件，让我十分担心；二是刚进大会酒店Hilton大厅，一眼就看到左边酒吧里同事JM正与一位女士坐在一起品酒交谈，JM起身与我打招呼，并介绍他的女伴，原来正是Jane！版权事宜很顺利，Jane说她刚开始时担心翻译质量，因为此书很有难度，现在放心了。而且，对清华大学出版社也很了解，可又担心此文的中文版权是否有繁体与简体的冲突，因为繁体中文版权已授予一家台湾公司。对此，我只能介绍了她与清华大学出版社薛慧直接联系，似乎后来的版权事宜还算顺利。没有想到的是，接下来的翻译工作极不顺畅。参与学习班的许多同学提交的初稿可以用一个词来描述：“惨不忍睹”。错误理解、望文生义，甚至将意思满拧，比比皆是，有时让人哭笑不得，完全可以用“天马行空，独往独来”来形容。让我难以相信，这是出自完成大学甚至硕士学业的学生之手。我一度想把这些翻译放到网上，让大家开心一下，或许会吸引更多的人士参与此书翻译的众包工作。但王珏和几位同事的意见完全打消了我的想法，也使我放弃了以“众包”方式进行翻译的打算。主要原因是当时希望能趁大家还在热切期盼此书的时候出版中文版，而众包翻译这种形式从未尝试过，结果如何不能妄断，万一比学生翻译的还差怎么办？何时才能完成？就是完成之后，署名和其他出版问题如何解决？最后，决定由我主笔并组织翻译工作，分翻译、统稿、审校、修正、清样校对五个阶段进行，邀请实验室毕业的韩素青、张军平、周建英和杨剑以及王立威和孙仕亮等机器学习领域的一线年轻研究人员辅助。在2012年以前，我只能用零星时间从事翻译工作。2011年底的一场大病，让我在之后有了充裕的时间和精力一边修养一边翻译修改。特别是在北京西郊与山林相伴的日日夜夜，效率极高，终于在2012年夏初初步完成了此书的翻译和统稿。必须说明的是，本项工作是集体努力的结果。参与人员五十余人，多为我和王珏老师的历届学生。首先，非常感谢韩素青博士在翻译和统稿过程付出的巨大努力和心血，她的坚持使我打消了一度放弃此项目的想法。此外，我团队的学生王友忠、王坤峰、王凯、叶佩军、田滨、成才、吕宜生、任延飞、孙涛、苏鹏、李叶、李林静、李泊、李晓晨、沈栋、宋东平、张柱、陈松航、陈诚、周建英、赵学亮、郝春辉、段伟、顾原、徐文聪、彭景、葛安生等参与了本书的翻译，北京大学的王立威教授、复旦大学的张军平教授、华东师范大学的孙仕亮教授、北京工业大学的杨剑教授、公安部第三研究所的周建英博士、中国科学院自动化研究所的王坤峰博士参与了审校，我的学生王坤峰、田滨、李叶、李泊、苟超、姚彦洁等参与了修正，最后，王坤峰带领我团队的学生王晓、亢文文、朱燕燕、刘玉强、刘裕良、杨坚、陈亚冉、陈圆圆、苟超、赵一飞、段艳杰、姚彦洁等完成了清样的校对和通读，在此我向他们深表谢意。还有许多其他同学和同事在不同阶段参与了本项工作，十分感谢他们的贡献，抱歉无法在此一一具名。在此书的翻译过程中，还得到Koller教授的帮助。2011年8月上旬，我在旧金山的AAAI年会上与她相见，讨论了翻译事宜。Koller表示可以让她的两位中国学生参与翻译，我还同他们联系过，但除了几个名词和一些修正问题，并没有太劳驾其学生。Koller提供的详细勘读表和网站信息，对我们翻译的校正很有帮助。今年四月，我赴美参加主编会议，本计划去旧金山与Koller见面确定翻译的最后一些细节，不想因病作罢，只能通过邮件进行。此书的翻译还让我与斯坦福大学人工智能实验室的三位主任有了较深的来往，而且三位分别是当今世界上最成功MOOC网络大学Coursera和Udacity的创始人。当Koller因和吴恩达创办Coursera而辞去AI主任之后，Sebastian Thrun接任，那时我恰好与他合作组织IJCAI2013北京大会。2011年他来京得知我们正在翻译《概率图模型》后，希望也能翻译他的《概率机器人（Probabilistic Robotics）》。自己虽然教授了20年的机器人课程，但再无精力和时间做此类工作，只能安排实验室其他研究人员承担。但是他的中文翻译版权已被转让，只好作罢。后来Thrun辞去斯坦福和谷歌的工作，创办Udacity，接任实验室主任的，正是后来加入百度的吴恩达博士，十分感谢他表示愿为《概率图模型》中文版的推广而尽力。从初春北京的西山到五月阿拉斯加的海滨，从夏雨中长沙的跨线桥到烈日下图森的仙人掌，从秋枫叶飘的旧金山到海浪冲沙的海牙，从深秋风凉的青岛石老人再回到初冬消失在雾霾里的北京高楼，......本书的翻译伴我度过了五年的风风雨雨，差点成了完不成的任务（Mission Impossible！）。今日落稿，顿觉释然，除了感谢自己的学生与同事之外，我必须特别感谢清华大学出版社的薛慧女士，感谢她在整个翻译过程中的热心和耐心。最后，希望把本书的中文版献给王珏老师，没有他就没有本项目的开始。更重要的是，希望本书中文版的完成，能使他早日从疾病中康复！&中国科学院自动化研究所复杂系统管理与控制国家重点实验室国防科技大学军事计算实验与平行系统技术研究中心王飞跃&2012年秋初记于长沙跨线桥居，2013年初补记于北京国奥新村，2014年初春再记于美国图森Catalina山居，同年深秋重记于青岛石老人海滨。&又记：十分不幸的是，2014年12月3日传来噩耗：王珏老师因病逝世！相识相知相助21年，内心悲痛，无以言喻。特别是王珏老师生前没能看到本书中文版的正式出版，遗憾之余，深感自责。鉴于他和他学生的巨大帮助，我曾多次同他商谈，希望将他列为译者之一，但每次他都坚决拒绝；最后无奈，曾托薛慧拿着出版合同请他签字，但依然被拒绝。唯感欣慰的是，12月2日下午，在他神志清醒的最后时刻，我们见了最后一面。他去世后，当日我即电邮Daphne Koller，告她先前不曾知晓的王珏老师，还有他对中国机器学习的重要贡献以及在翻译其专著过程中所起的关键作用，希望她在中文版的序言里有所表述。英文如下：Prof. Jue Wang, a pioneer in ML in China and a research scientist in my lab, died of cancer today at age 66. He was a big promoter of your book and without his strong push behind, I might not have determined to do the translation in the first place. Many of outstanding young ML researchers in China are his former students and they have given me a huge support during the translation and proofreading of your book. So I would like you to say a few words about his effortin your preface.可以告慰王珏老师的是，Koller教授在其序言里恰如其分地表示了对他的贡献之衷心感谢。本书中文版的最终出版，就是对王珏老师的纪念！&2014年12月9日于北京科技会堂--------------------------------------------------------------------------------------------图书目录致谢插图目录算法目录专栏目录第章 引言动机结构化概率模型概率图模型表示、推理、学习概述和路线图各章的概述读者指南与其他学科的联系历史注记第章 基础知识概率论概率分布概率中的基本概念随机变量与联合分布独立性与条件独立性查询一个分布连续空间期望与方差图节点与边子图路径与迹圈与环相关文献练习第Ⅰ部分 表示第章 贝叶斯网表示独立性性质的利用随机变量的独立性条件参数化方法朴素贝叶斯模型贝叶斯网学生示例回顾贝叶斯网的基本独立性图与分布图中的独立性分离可靠性与完备性分离算法等价从分布到图最小发现小结相关文献习题第章 无向图模型误解示例参数化因子吉布斯分布与马尔可夫网简化的马尔可夫网马尔可夫网的独立性基本独立性独立性回顾从分布到图参数化回顾细粒度参数化方法过参数化贝叶斯网与马尔可夫网从贝叶斯网到马尔可夫网从马尔可夫网到贝叶斯网弦图等价部分有向图条件随机场链图模型小结与讨论相关文献习题第章 局部概率模型表确定性表示依赖性上下文特定的表示独立性因果影响的独立性模型广义线性模型一般公式化表示独立性连续变量混合模型条件贝叶斯网小结相关文献习题第章基于模板的表示引言时序模型基本假设动态贝叶斯网状态观测模型模板变量与模板因子对象关系领域的有向概率模型模型概率关系模型无向表示结构不确定性关系不确定性对象不确定性小结相关文献习题第章 高斯网络模型多元高斯分布基本参数化方法高斯分布的运算高斯分布的独立性高斯贝叶斯网高斯马尔可夫随机场小结相关文献练习第章 指数族引言指数族线性指数族因子化的指数族积分布贝叶斯网络熵和相对熵熵相对熵投影比较投影投影小结相关文献习题第Ⅱ部分 推理第章 精确推理：变量消除复杂性分析精确推理分析近似推理分析变量消除：基本思路变量消除基本消除证据处理复杂性与图结构：变量消除简单分析图论分析寻找消除排序条件作用条件作用算法条件作用与变量消除图论分析改进的条件作用算法用结构推理因果影响的独立性上下文特定的独立性讨论小结与讨论相关文献习题第章 精确推理：团树变量消除与团树聚类图团树信息传递：和积团树中的变量消除团树校准作为分布的校准团树信息传递：信念更新使用除法的信息传递和积与信息更新消息的等价性回答查询构建一个团树源自变量消除的团树来自弦图的团树小结相关文献习题第章 推理优化引言再议精确推理能量泛函优化能量泛函作为优化的精确推理不动点刻画推理优化基于传播的近似一个简单的例子聚类图信念传播聚类图信念传播的性质收敛性分析构建聚类图变分分析其他熵近似讨论用近似信息传播因子***的消息近似消息计算用近似消息推理期望传播变分分析讨论结构化的变分近似平均场近似结构化的近似局部变分法小结与讨论相关文献习题第章 基于粒子的近似推理前向采样从贝叶斯网中采样误差分析条件概率查询似然加权与重要性采样似然加权：直觉重要性采样贝叶斯网的重要性采样重要性采样回顾马尔可夫链的蒙特卡罗方法吉布斯采样算法马尔可夫链吉布斯采样回顾一马尔可夫链的一个更广泛的类利用马尔可夫链坍塌的粒子坍塌的似然加权坍塌的确定性搜索方法小结相关文献习题第章 最大后验推断综述计算复杂性求解方法综述（边缘）的变量消除最大积变量消除找到最可能的取值边缘的变量消除团树中的最大积计算最大边缘作为再参数化的信息传递最大边缘解码多圈聚类图中的最大积信念传播标准最大积消息传递带有计数的最大积讨论作为线性优化问题的整数规划的公式化线性规划松弛低温极限对使用图割使用图割的推理非二元变量局部搜索算法小结相关文献习题第章 混合网络中的推理引言挑战离散化概述高斯网络中的变量消除标准型和积算法高斯信念传播混合网面临的困难混合高斯网络的因子运算网络的一个“准确的”算法非线性依赖线性化期望传播与高斯近似基于粒子的近似方法在连续空间中采样贝叶斯网中的前向采样方法坍塌的粒子非参数信息传递小结与讨论相关文献习题第章 在时序模型中推理推理任务精确推理基于状态观测模型的滤波作为团树传播的滤波中的团树推理纠缠近似推理核心思想因子***的信念状态方法粒子滤波确定性搜索技术混合连续模型混合模型小结相关文献习题第Ⅲ部分 学习第章 图模型学习：概述动机学习目标密度估计具体的预测任务知识发现作为优化的学习经验风险与过拟合判别式与生成式训练学习任务模型限制数据的可观测性学习任务的分类相关文献第章 参数估计最大似然估计图钉的例子最大似然准则贝叶斯网的一个简单的例子全局似然***条件概率分布表高斯贝叶斯网作为投影的最大似然估计贝叶斯参数估计图钉例子的回顾先验与后验贝叶斯网络中的贝叶斯参数估计参数独立性与全局***局部***贝叶斯网络学习的先验分布估计学习具有共享参数的模型全局参数共享局部参数共享具有共享参数的贝叶斯推理层次先验泛化分析渐进性分析界小结相关文献习题第章 贝叶斯网络中的结构学习引言问题定义方法概述基于约束的方法基本框架独立性测试结构得分似然得分贝叶斯得分函数单个变量的边缘似然贝叶斯网的贝叶斯得分理解贝叶斯得分先验得分等价性结构搜索学习树结构网给定序一般的图用等价类学习贝叶斯模型平均基本理论基本给定序的模型平均一般的情况关于额外结构学习模型关于局部结构学习学习模板模型小结与讨论相关文献习题第章 部分观测数据基础知识数据的似然和观测模型观测机制的解耦似然函数可识别性参数估计梯度上升方法期望最大化（）比较：梯度上升与近似推断使用不完全数据的贝叶斯学习概述采样变分贝叶斯学习结构学习得分的结构结构搜索结构的用隐变量学习模型隐变量的信息内容确定基数引入隐变量小结相关文献习题第章 学习无向模型概述似然函数一个例子似然函数的形式似然函数的性质最大（条件）似然参数估计最大似然估计条件训练模型用缺失数据学习最大熵和最大似然参数先验与正则化局部先验全局先验用近似推理学习信念传播基于的学习替代目标伪似然及其推广对比优化准则结构学习使用独立性检验的结构学习基于得分的学习：假设空间目标函数优化任务评价模型的改变小结相关文献习题第Ⅳ部分 行为与决策第章 因果关系动机与概述条件作用与干预相关关系和因果关系因果关系模型结构因果关系的可识别性查询简化规则迭代的查询简化机制与响应变量功能因果模型中的部分可识别性仅事实查询成对的网络仅事实查询的界学习因果模型学习没有混合因素的因果模型从干预数据中学习处理隐变量学习功能因果关系模型小结相关文献习题第章 效用和决策基础：期望效用最大化非确定性决策制订理论证明效用曲线货币效用风险态度合理性效用的获取效用获取过程人类生命的效用复杂结果的效用偏好和效用独立性加法独立性特性小结相关文献习题第章 结构化决策问题决策树表示逆向归纳算法影响图基本描述决策规则时间与记忆语义与最优性准则影响图的逆向归纳影响图的决策树求和最大化求和规则期望效用的计算简单的变量消除多个效用变量：简单的方法广义变量消除影响图中的最优化最优化一个单一的决策规则迭代优化算法策略关联与全局最优性忽略无关的信息信息的价值单一观测多重观测小结相关文献习题第章 结束语附录背景材料信息论压缩和熵条件熵与信息相对熵和分布距离收敛界中心极限定理收敛界算法与算法的复杂性基本图算法算法复杂性分析动态规划复杂度理论组合优化与搜索优化问题局部搜索分支定界搜索连续最优化连续函数最优解的刻画梯度上升方法约束优化凸对偶性参考文献 符号索引符号缩写
转载本文请联系原作者获取授权，同时请注明本文来自王飞跃科学网博客。链接地址：
上一篇：下一篇：
当前推荐数：33
评论 ( 个评论)
扫一扫，分享此博文
作者的精选博文
作者的其他最新博文
热门博文导读
Powered by
Copyright &