统计学习方法:聚类方法

聚类方法书中只讲了Kmeans和层次聚类.这两个比较简单,所以我这里就不讲解了.

阅读全文

统计学习方法:条件随机场

条件随机场的理论实在令人头疼,上来就介绍概率无向图,我是基本没看懂😹.而且又要准备别的东西,很难静心看下去,最后还是看苏神的博客大致了解了,因此这次的代码我也主要是修改了苏神的代码.

NOTE 我写可视化的时候也发现了crf的状态转移矩阵的变化比较缓慢,然后搜索了一份果然苏神也发现这个问题,并且给出了增大学习率的解决方案,因此我也在代码中实现了crf层的学习率修改方案,最终效果的确相当明显了.

阅读全文

统计学习方法:隐马尔可夫模型

Hidden Markov Model属于生成模型,是带时序的概率模型。时间关系我没有实现他的参数估计方法,等待有缘人pr一波。

阅读全文

U-GAT-IT论文解读

这个论文是基于CycleGan的一个改进,论文中的典型应用是将自拍转换为卡通风格。我参考了小视科技开源的代码,这里对这个论文做一个详细描述。

我尝试用tensorflow 2.x复现这个项目,这个项目成功地把我从tensorflow劝退。。先吐槽一下,因为这个项目需要同时训练7个模型,我开启jit时用tf2.Xtf.functionautograph转换一下居然需要20分钟以上!每次启动训练得等20分钟,实在是受不了,不过转换之后的速度比pytorch实现快50%让我还可以接受。第二点是最不能忍受的,在pytorch中用8G显存即可训练,tensorflow中我降低了判别器的的层数还需要12G显存才能训练,直接劝退。

PS. 再提一句,他的生成器中间特征处理有两种做法,轻量级的方法是GMP再生成,否则直接生成。直接生成的话模型参数200MB往上了..我看了下他们po的图训练时显存需要22G..☹

阅读全文

统计学习方法:EM算法

关于EM算法.

阅读全文

统计学习方法:提升方法

提升方法。这个思路可以被考虑到集成中。提升方法AdaBoost的想法是将相同类型的不同参数的弱分类器的分类结果进行集成,他是一个串行的提升过程。此方法的流程比较清楚,关于原理部分建议大家仔细看书。

阅读全文

统计学习方法:支持向量机

这次实现中,关于如何选择违反KKT条件最严重的点在书中没有提到,我首先按照书上的方法实现了一下,但是发现没找到\(\epsilon\)违反KKT条件的量化方法,而且只按书上来,实现的SVM效果并不理想。看来我还是没有完全弄透...先写了个初级版的,以后需要再深入了解时可以重温。

阅读全文

统计学习方法:逻辑回归

这一章其实是逻辑回归和最大熵模型,最大熵模型的实现需要数个特征与定义对应的特征函数,因此我暂时没有实现.

阅读全文

统计学习方法:决策树

由于时间关系我没有实现决策树的剪枝与CART算法.

阅读全文

统计学习方法:朴素贝叶斯

明明简单的算法,代码写起来还真不轻松...感觉后面的算法我可能要偷懒了.

阅读全文