Circle Loss

本文是对旷视所提出的论文:Circle Loss: A Unified Perspective of Pair Similarity Optimization的个人解读。

阅读全文

tf.keras实现Spectral Normalization

最近准备把自己写的训练框架全部升级到支持分布式以及混合精度训练,发现如果其中对于自定义层的改动还真不少。这里分享一个支持分布式以及混合精度训练的Spectral Normalization实现。

NOTE: 这里遇到一个问题,发现混合精度训练之后GPU使用率只有20%不到,查找一番之后发现果然有issue,貌似对于DepthwiseConv2d的支持不好,可能要等到tf2.2之后才可以更新了。

阅读全文

infomax中一些错误总结

最近想用infomax算法对比学习结合起来,然后应用在半监督学习中。在实验过程中遇到了一个非常奇怪的问题。

阅读全文

半监督学习:SimCLR

SimCLR实际上是Geoffrey Hinton和谷歌合作的论文A Simple Framework for Contrastive Learning of Visual Representations,严格来说他是一个自监督算法,不过我这里也把他归入半监督中了,他实际上是先无监督预训练然后进行监督微调的。

阅读全文

H5模型转pb模型

这个实际上是个伪需求,直接h5tflite就好了,但是就是没办法,总有些东西不支持新的方法。下面记录一下怎样把tf2.0生成的h5模型转成tf1.10pb模型。

阅读全文

Control Theory Augment

CT Augment是论文ReMixmatch中提出的一种不需要通过控制方法不需要使用强化学习即可调整数据增强测量的一种方法。今天仔细学习一下。

阅读全文

Augmentation For Mel Spectrogram

对音频数据训练我认为还是对数Mel谱图的方式比较好一下,需要一个音频版的RandAugment,借此机会把一下Mel谱图的增强方式汇总一下。

阅读全文

mxnet模型转tflite

今天尝试把insightface的模型转换到tflite格式,在此做个记录。

阅读全文

bce focal loss

简单记录一下bce focal loss

阅读全文

tf2.0 全局添加regularizers

如何给tensorflow中预训练好的模型添加正则化器?

阅读全文