最近想用infomax算法和对比学习结合起来，然后应用在半监督学习中。在实验过程中遇到了一个非常奇怪的问题。

SimCLR实际上是Geoffrey Hinton和谷歌合作的论文A Simple Framework for Contrastive Learning of Visual Representations，严格来说他是一个自监督算法，不过我这里也把他归入半监督中了，他实际上是先无监督预训练然后进行监督微调的。

这个实际上是个伪需求，直接h5转tflite就好了，但是就是没办法，总有些东西不支持新的方法。下面记录一下怎样把tf2.0生成的h5模型转成tf1.10的pb模型。

CT Augment是论文ReMixmatch中提出的一种不需要通过控制方法不需要使用强化学习即可调整数据增强测量的一种方法。今天仔细学习一下。

对音频数据训练我认为还是对数Mel谱图的方式比较好一下，需要一个音频版的RandAugment，借此机会把一下Mel谱图的增强方式汇总一下。

今天尝试把insightface的模型转换到tflite格式，在此做个记录。

简单记录一下bce focal loss。

如何给tensorflow中预训练好的模型添加正则化器？

第十个算法FixMatch: Simplifying Semi-Supervised Learning withConsistency and Confidence，这依旧是谷歌研究组的作者提出的，是对MixMatch的改进。

第九个算法ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring，这也是谷歌MixMatch的同一作者提出的，是对MixMatch的改进。