半监督学习:Unsupervised Data Augmentation
第八个算法UNSUPERVISED DATA AUGMENTATION FOR CONSISTENCY TRAINING
。此算法与VAT
的想法类似,都是通过加强扰动的质量来获得更好的一致性正则化。
第八个算法UNSUPERVISED DATA AUGMENTATION FOR CONSISTENCY TRAINING
。此算法与VAT
的想法类似,都是通过加强扰动的质量来获得更好的一致性正则化。
第七个算法MixMatch: A Holistic Approach toSemi-Supervised Learning
。此算法将之前的各个半监督学习算法进行融合,统一了主流方法,得到了最优的效果。此算法好,就是训练的过程慢一些。
第六个算法Interpolation Consistency Training forSemi-Supervised Learning
,这个算法是利用mixup
提出了一种简单的一致性正则化方法。
第五个算法mixup: BEYOND EMPIRICAL RISK MINIMIZATION
,这个算法应该很多人都听过或者用过,它十分简单但又十分有效,是之后大部分半监督论文都用到的技巧。
第四个算法Virtual Adversarial Training
(虚拟对抗训练),出自论文Virtual Adversarial Training:A Regularization Method for Supervised and Semi-Supervised Learning
,下面简称为vat
。
第二个算法Temporal Ensembling for Semi-Supervised Learning
,它提出了一个Π model
以及Temporal ensembling
的方法。
入坑半监督学习苦于找不到好的学习资料,不过就在昨天我发现了一个宝藏repo
,那就是谷歌research
的fixmatch仓库,是一套半监督算法的框架,包含数十种半监督算法,简直是入坑半监督学习的最佳教程😆
话不多说,先来看第一个算法pseudo label
,发表与2013年。
最近想搞半监督的东西,但是我发现一个人的精力着实不够,而且这个tensorflow
也让我很难受,莫名其妙只要一用jit
就core dump
,不用jit
训练又慢,显存又狂吃,再这样下去准备转mxnet了😤。然后今天把之前本来想做没做完的东西做做完,就是各种iou
的tensorflow
实现,顺便为自己做一个总结。