本文为七月算法（）12月机器学习第十五次课在线笔记。
算法特性。文章介绍了pLSA和LDA两种方法，通过课程能够更加实际的了解主题模型的应用。
预备知识：
朴素贝叶斯的分析
模型(probabilistic Latent Semantic Analysis，概率隐语义分析)，增加了主题模型，形成简单的贝叶斯网络，可以使用EM算法学习模型参数。
计算方法：
Z代表主题(隐含类别)，W代表单词；
di的出现概率，
di中主题zk出现的概率，
zk的前提下单词wj出现的概率。
的概率选中文档di；
的概率选中主题zk；
的概率产生一个单词wj。
对，是隐含变量
pLSA模型算法：
对，主题zk是隐含变量。
、P(wj|zk)已知，求隐含变量zk的后验概率；（E-step）
已知的前提下，求关于参数P(zk|di)、P(wj|zk)的似然函数期望极大值，得到最优解P(zk|di)、P(wj|zk)，（M-step）
PLSA模型总结
pLSA考虑到词分布和主题分布，使用EM算法来学习参数。
可以看做概率化的矩阵***。
算法，也是学习EM算法的重要素材。
共轭先验分布
&|x)和先验概率p(&)满足同样的分布律，那么，先验分布和后验分布被叫做
--&Dirichlet分布
Dirichlet分布
维的单纯形上，其他区域的概率密度为0
篇文章，一共涉及了K个主题；
长度为Nm)都有各自的主题分布，主题分布是分布，该Dirichlet分布的参数为&；
分布，该Dirichlet分布的参数为&；
个词，首先从该文章的主题分布中采样一个主题，然后在这个主题对应的词分布中采样一个词。不断重复这个随机生成过程，直到m篇文章全部完成上述过程。
个term(不可重复)，这些term出现在具体的文章中，就是word&&在具体某文章中的word当然是有可能重复的。
篇文档d1,d2&dm；
，由Ni个word组成，可重复；
个主题T1，T2&Tk；
的对称Dirichlet分布&&表示在参数学习结束后，期望每个文档的主题不会十分集中。
篇文档di的主题分布是&i=(&i1,&i2&,&iK)，是长度为K的向量；
篇文档di，在主题分布&i下，可以确定一个具体的主题zij=k，k&[1,K]，
个主题的词分布，k&[1,K]，对于第k个主题Tk的词分布&k=(&k1,&k2&&kv)，是长度为v的向量
选择&zij，表示由词分布&zij确定term，即得到观测值wij。
为主题个数，M为文档总数，Nm是第m个文档的单词总数。&是每个Topic下词的多项分布的Dirichlet先验参数，&是每个文档下Topic的多项分布的Dirichlet先验参数。zmn是第m个文档中第n个词的主题，wmn是m个文档中的第n个词。两个隐含变量&和&分别表示第m个文档下的Topic分布和第k个Topic下词的分布，前者是k维(k为Topic总数)向量，后者是v维向量(v为词典中term总数)。
用于短文档往往效果不明显&&这是可以解释的：因为一个词被分配给某个主题的次数和一个主题包括的词数目尚未敛。往往需要通过其他方案&连接&成长文档。
LDA将长度为Ni的文档降维到K维(主题的数目)，同时给出每个主题的概率(主题分布)，从而可以使用if-idf继续分析或者直接作为文档的特征进入聚类或者标签传播算法&&用于社区发现等问题。
阅读(...) 评论()你是猪吗？的喜欢 | LOFTER（乐乎） - 记录生活，发现同好
LOFTER for ipad ---- 记录生活，发现同好
你是猪吗？ 的喜欢
  被喜欢
  被喜欢
{list posts as post}
{if post.type==1 || post.type == 5}
{if !!post.title}${post.title|escape}{/if}
{if !!post.digest}${post.digest}{/if}
{if post.type==2}
{if post.type == 3}
{if !!post.image}
{if post.type == 4}
{if !!post.image}
{if !!photo.labels && photo.labels.length>0}
{var wrapwidth = photo.ow < 500?photo.ow:500}
{list photo.labels as labs}
{var lbtxtwidth = Math.floor(wrapwidth*(labs.ort==1?labs.x:(100-labs.x))/100)-62}
{if lbtxtwidth>12}
{if !!labs.icon}
{list photos as photo}
{if photo_index==0}{break}{/if}
品牌${make||'-'}
型号${model||'-'}
焦距${focalLength||'-'}
光圈${apertureValue||'-'}
快门速度${exposureTime||'-'}
ISO${isoSpeedRatings||'-'}
曝光补偿${exposureBiasValue||'-'}
镜头${lens||'-'}
{if data.msgRank == 1}{/if}
{if data.askSetting == 1}{/if}
{if defined('posts')&&posts.length>0}
{list posts as post}
{if post_index < 3}
{if post.type == 1 || post.type == 5}
{if !!post.title}${post.title|escape}{/if}
{if !!post.digest}${post.digest}{/if}
{if post.type == 2}
{if post.type == 3}
{if post.type == 4}
{if post.type == 6}
{if drlist.length>0}
更多相似达人：
{list drlist as dr}{if drlist.length === 3 && dr_index === 0}、{/if}{if drlist.length === 3 && dr_index === 1}、{/if}{if drlist.length === 2 && dr_index === 0}、{/if}{/list}
暂无相似达人，
{if defined('posts')&&posts.length>0}
{list posts as post}
{if post.type == 2}
{if post.type == 3}
{if post.type == 4}
{if post.type == 6}
this.p={ dwrMethod:'queryLikePosts',fpost:'1db70adb',userId:,blogListLength:28};“博弈论”习题及参考***_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
“博弈论”习题及参考***
上传于||暂无简介
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩13页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢