之前一直用autopep8作为格式化公式，后来发现不能设置缩进两个空格就换成了yapf。但yapf实在是一言难尽，我不太喜欢这种整个文档都帮你格式化的，autopep8这样可以只考虑每一行的内部的格式化就足够了，可以给程序员更多的调整空间。

最近我开的vultr的vps好像全挂了，ip貌似被用滥了，所以使用机场了。现在用的这个一年dlercloud的一年288的套餐还挺贵的=_=。window下配置比较简单，下载官方提供的clash-win然后直接登陆账号密码就完事了，Ubuntu下面真的难倒我了，下面说下怎么配置。

最近偶然看到一篇AnimeGAN的推送，他的官方实现在这里。我很感兴趣，尝试学习并复现，下面是我的一些记录。

NOTE：虽然很有趣，但是没算力真的让我想放弃。

本文是对旷视所提出的论文：Circle Loss: A Unified Perspective of Pair Similarity Optimization的个人解读。

最近准备把自己写的训练框架全部升级到支持分布式以及混合精度训练，发现如果其中对于自定义层的改动还真不少。这里分享一个支持分布式以及混合精度训练的Spectral Normalization实现。

NOTE: 这里遇到一个问题，发现混合精度训练之后GPU使用率只有20%不到，查找一番之后发现果然有issue，貌似对于DepthwiseConv2d的支持不好，可能要等到tf2.2之后才可以更新了。

最近想用infomax算法和对比学习结合起来，然后应用在半监督学习中。在实验过程中遇到了一个非常奇怪的问题。

SimCLR实际上是Geoffrey Hinton和谷歌合作的论文A Simple Framework for Contrastive Learning of Visual Representations，严格来说他是一个自监督算法，不过我这里也把他归入半监督中了，他实际上是先无监督预训练然后进行监督微调的。

这个实际上是个伪需求，直接h5转tflite就好了，但是就是没办法，总有些东西不支持新的方法。下面记录一下怎样把tf2.0生成的h5模型转成tf1.10的pb模型。

CT Augment是论文ReMixmatch中提出的一种不需要通过控制方法不需要使用强化学习即可调整数据增强测量的一种方法。今天仔细学习一下。

对音频数据训练我认为还是对数Mel谱图的方式比较好一下，需要一个音频版的RandAugment，借此机会把一下Mel谱图的增强方式汇总一下。