-
Squeeze-and-Excitation Networks
这篇是ImageNet2017的winner。虽然说ImageNet这个比赛已经凉了，但是SENet还是有一定借鉴的地方的。而且SENet最好的地方在于其高度扩展性。所以SENet配合各种Residual啊Inception啊都是可以的 SENet有点玄。 概述SENet解决的是图像多分类问题 SENet提出一种神经网络的performance的提升方式是将无需更多的监督（参数）能够获取空间相关性 …
-
通过深度学习增强药药反应和药食反应的预测效果
[TOC] 前言还是不要不务正业了，重新回到DDI的怀抱之中。（笑） 这篇是PNAS（美国科学院）的论文，还是有点分量的……虽然我觉得有点水 本篇文章主要讲的是基于深度学习的药物副作用与药物宇食物的作用的预测。 背景药与药(drug-drug interaction，DDI)，药与食物(drug-food constituent interaction，DFI)之间会产生极其大的反应，其中有很多恶 …
-
Pix2pix:基于条件对抗网络图对图翻译
Pix2pix:基于条件对抗网络图对图翻译我现在正在研究GAN，GAN也正是我的兴趣方向之一。 本篇要讲的是pix2pix，讲道理，那个网页版我可以玩一年 Pix2pix官网 pix2pix论文 Pix2pix的github （注：原代码是用torch写的，但是作者也在官网提供了tensorflow版和pytorch版。起码不用面对lua这个语言） 图像翻译“翻译”常用于语言之间的翻译，就比如中 …
-
DeLiGAN: 对于多样性和有限数据的GAN
开始遨游CVPR2017，主要是为了学习更多的深度学习网络架构 讲道理计算机视觉的深度学习架构是深度学习各领域比较先进的，比如CNN，自编码器，GAN，注意力机制都是出于CV然后应用于其他领域的。所以即使我不学CV了还是要看CVPR的论文 论文本身 DeLiGAN 讨论一下GAN的缺点: Mode Collapse：当GAN无法达到识别网络D每趟的运行次数大于生成网络G的时候，生成网络生成的所 …
-
神经网络实践经验(4)
前言地铁上无聊码的，思路比较凌乱 现代神经网络的目标 我认为，现代神经网络的目标只有两个 过拟合与欠拟合的调试 internal covariance shift过拟合和欠拟合的调试 神经网络的过拟合与欠拟合一直是个恒古不变的话题 如何能够防止神经网络产生没意义的特征工程和做出有意义的特征工程，就是这方面的一个问题 mlp擅长过拟合，因为他会提取完全无关系的神经元之间的关系并作为特征。 …
-
神经网络实践经验(3)
3. 慎用keras的binary_crossentropy有的时候我们在用神经网络训练二分类模型的时候，我们常会用keras。keras关于二分类的loss function有两个，一个是binary_crossentropy，一个是categorical_crossentropy（其实是多分类）。但是据本人实测，用binary_ceossentropy的训练效果非常差，几乎训练不出东西，所以暂 …
-
神经网络实践经验(2)
前言本人萌新，请多指教 2. 1x1卷积层的作用我们都知道，CNN强于MLP的地方在于其局部连接性减少了过拟合的可能，从而在有限的数据量下可以获取更好的模型。 而CNN是一个基于上下文的网络。对于上下文相关的数据（图像、自然语言等），有着非常理所应当、有理有据的好效果。但是如果filter的大小是1x1呢（本文只探讨2d的CNN，如果要强行说Conv1D我也没办法）? 1x1的filter貌似是上 …
-
神经网络实践经验(1)
前言本系列是本人记录在自己实践中遇到的很多读死书无法学习到的经验，不完全脱离理论，甚至说是超过理论之外的东西。 本人水平很差（深度学习之耻），有些说的简陋的东西也当是献丑了。 1. 神经网络的输入最好有一定相关性，否则很容易产生过拟合的效果所谓的过拟合，就是模型学习到本应该学习到的特征之外的特征。 如图，本来模型只应该学习到x，$x^2$ 和常数项的特征，但是由于模型的容量（capacity）太 …