感觉生了个病八月份就要过去了。。。难受。生病的就很想休息,一点也不想学习,然而一休息就半个月没了😔,又感觉自己浪费了宝贵的时间。这次我主要总结一下生病的情况,因为其实从过年开始就有症状了,但后面去医院医生居然看不出我是什么病,导致暑假里面吃了不该吃的东西让病情严重了。
潜在狄利克雷分配模型其实就是一个确定结构的概率图模型,他主要做两件事情:
学习到话题的单词分布\(p(w|z_k)\),意为给定对应话题得到对应的单词.
学习到文本的话题分布\(p(z|\mathbf{w}_m)\),意为给定对应文本得到对应的话题.
如下图所示:
\(\varphi_k\sim \text{Dir}(\beta)\)控制了多项分布\(p(w|z_k)\)根据主题随机生成当前文本下的单词分布\(\mathbf{w}\).
\(\theta_{m}\sim \text{Dir}(\alpha)\)控制了多项分布\(p(z|\mathbf{w}_m)\)根据当前文本得到所对应主题的概率分布.
蒙特卡洛法是对概率模型进行抽样来近似数值计算的方法.马尔科夫链蒙特卡洛法就是以马尔科夫链作为概率模型的蒙特卡洛法.
我的理解是传统的蒙特卡洛法需要进行采样,但他的采样还是需要依赖于目标分布\(p(x)\),当目标分布\(p(x)\)是一个多元函数,或者概率密度函数是奇怪的分布,或者内部分量不独立时,总之就是难以直接采样时,引入一个满足遍历定理的马尔科夫链,让他的平稳分布就是目标分布\(p(x)\),接下来我们利用马尔科夫链生成许多样本,生成的样本数量越大,那么这些样本就接近于直接抽样的结果.解决了难以直接抽样的问题.
最近因为各种杂事,导致我很难专心做一些事情.我觉得需要反省一下自己.
概率潜在语义分析(probabilistic latent semantic analysis, PLSA),也称概率潜在语义索引(probabilistic latent semantic indexing, PLSI),是一种利用概率生成模型对文本集合进行话题分析的无监督学习方法.
今天看两篇论文,因为只是学习一下他们的思路,所以不进行细写。
这是CVPR2020
的一篇度量学习的论文.来自韩国.我觉得还蛮有意思的,因此学习一番.
他的图画的是真好看,虽然做的事情其实就是把amsoftmax
换个皮...