Cross Entropy的数值稳定计算

今天在看centernetheatmap损失函数时,发现他的损失和熵差不多,但是我用tf的实现会导致lossNan,因此我看了下Cross Entropy的计算优化,这里记录一下.

阅读全文

tf.keras损失函数聚合测试

使用tf.keras自定义损失函数的时候,他的reduction的文档解释太少,所以写个代码测试一下预期的行为.

阅读全文

配置CenterNet环境

昨天我尝试用双cuda的方式来配置换,但是还是遇到了cuda的错误,我不懂pytorch又没办法解决。然后我浏览下issue,看到有同样的问题,大概率是由于显卡是20系列的,老版本的cuda不行,解决方式就是升级pytorch版本用新的cuda。所以我这里把配置环境重新做个记录,免得下次又来。。

阅读全文

tf.keras中优化metric计算(提取loss至metric)

有的时候我们的loss函数是一个复合函数,但是在tf.keras中,loss函数只能返回一个标量,这个时候我们如果想要观察loss中子部分的值就只能写个metric去重新计算,但是这样是很浪费计算资源的,所以最好直接将loss中的值提取至metric

阅读全文

Ubuntu多cuda版本控制

为了学习CenterNet,配置环境弄了半天。。由于我是主用tensorflow的,pytorch搞不来,只能按他的步骤来。他的环境比较老,是cuda 9.0 cudnn 7.1的,然而我早就在用cuda 10.1 cudnn 7.5了,所以我还得安装这个版本的cuda

下面我就说下安装多个版本的cuda的注意点。

阅读全文

条件VAE

这几天时间自己把TensorFlow Probability里面的几个例子过了一遍,希望以后可以做出一些深度学习与概率论结合的成果。

今天我试着用TensorFlow Probability把条件VAE实现一下。这个条件VAE通过控制传统VAE中的正态分布的均值来达到分类生成的效果,这样每个类别都有一个专属均值,可以通过这个专属均值来生成与此类相似的结果。

阅读全文

Tensorflow中的错误记录

以后这篇文章就来记录tensorflow中遇到的问题与解决方式。

阅读全文

人脸识别方法总结

要搞个人脸识别的应用,花了半天时间浏览一下,准备基于open face的模型来做移植。下面是对开源库face-recognition的使用指南进行一个翻译,看了一下基本知道了大致流程。不过我记得上次写过L softmx -> A softmx -> AM softmax的这些loss都是用在人脸识别里面的,但是如果基于softmax loss的话,每加一个人脸不都是要重新训练一波吗?不知道是不是这个情况,目前还没看到别的方式。

阅读全文

互信息:无监督提取特征

本文是对苏剑林的深度学习的互信息:无监督提取特征的学习总结,主要是关于Deep INFOMAX的论文复现.

阅读全文

树莓派修改配置使能串口登陆

树莓派真的太不人性化了,新的系统永远都是默认不开启串口登陆以及ssh-server的,每次接个显示器不是很累吗?这次我先配好一个,记录一下。

阅读全文