蒙特卡洛法是对概率模型进行抽样来近似数值计算的方法.马尔科夫链蒙特卡洛法就是以马尔科夫链作为概率模型的蒙特卡洛法.

我的理解是传统的蒙特卡洛法需要进行采样,但他的采样还是需要依赖于目标分布\(p(x)\),当目标分布\(p(x)\)是一个多元函数,或者概率密度函数是奇怪的分布,或者内部分量不独立时,总之就是难以直接采样时,引入一个满足遍历定理的马尔科夫链,让他的平稳分布就是目标分布\(p(x)\),接下来我们利用马尔科夫链生成许多样本,生成的样本数量越大,那么这些样本就接近于直接抽样的结果.解决了难以直接抽样的问题.

最近因为各种杂事,导致我很难专心做一些事情.我觉得需要反省一下自己.

概率潜在语义分析(probabilistic latent semantic analysis, PLSA),也称概率潜在语义索引(probabilistic latent semantic indexing, PLSI),是一种利用概率生成模型对文本集合进行话题分析的无监督学习方法.

可能会长期更新,因为经常需要从pytorch偷代码翻译成tensorflow😑因此记录一下差异的地方.

今天看两篇论文，因为只是学习一下他们的思路，所以不进行细写。

1. RealMix: Towards Realistic Semi-Supervised Deep Learning Algorithms
2. EnAET: Self-Trained Ensemble AutoEncoding Transformations forSemi-Supervised Learning

这是CVPR2020的一篇度量学习的论文.来自韩国.我觉得还蛮有意思的,因此学习一番.

他的图画的是真好看,虽然做的事情其实就是把amsoftmax换个皮...

聚类方法书中只讲了Kmeans和层次聚类.这两个比较简单,所以我这里就不讲解了.

条件随机场的理论实在令人头疼,上来就介绍概率无向图,我是基本没看懂😹.而且又要准备别的东西,很难静心看下去,最后还是看苏神的博客大致了解了,因此这次的代码我也主要是修改了苏神的代码.

NOTE 我写可视化的时候也发现了crf的状态转移矩阵的变化比较缓慢,然后搜索了一份果然苏神也发现这个问题,并且给出了增大学习率的解决方案,因此我也在代码中实现了crf层的学习率修改方案,最终效果的确相当明显了.

Hidden Markov Model属于生成模型，是带时序的概率模型。时间关系我没有实现他的参数估计方法，等待有缘人pr一波。

这个论文是基于CycleGan的一个改进，论文中的典型应用是将自拍转换为卡通风格。我参考了小视科技开源的代码，这里对这个论文做一个详细描述。

我尝试用tensorflow 2.x复现这个项目，这个项目成功地把我从tensorflow劝退。。先吐槽一下，因为这个项目需要同时训练7个模型，我开启jit时用tf2.X的tf.function，autograph转换一下居然需要20分钟以上！每次启动训练得等20分钟，实在是受不了，不过转换之后的速度比pytorch实现快50%让我还可以接受。第二点是最不能忍受的，在pytorch中用8G显存即可训练，tensorflow中我降低了判别器的的层数还需要12G显存才能训练，直接劝退。

PS. 再提一句，他的生成器中间特征处理有两种做法，轻量级的方法是GMP再生成，否则直接生成。直接生成的话模型参数200MB往上了..我看了下他们po的图训练时显存需要22G..☹

关于EM算法.