-
神经网络实践经验(4)
前言地铁上无聊码的，思路比较凌乱 现代神经网络的目标 我认为，现代神经网络的目标只有两个 过拟合与欠拟合的调试 internal covariance shift过拟合和欠拟合的调试 神经网络的过拟合与欠拟合一直是个恒古不变的话题 如何能够防止神经网络产生没意义的特征工程和做出有意义的特征工程，就是这方面的一个问题 mlp擅长过拟合，因为他会提取完全无关系的神经元之间的关系并作为特征。 …
-
神经网络实践经验(3)
3. 慎用keras的binary_crossentropy有的时候我们在用神经网络训练二分类模型的时候，我们常会用keras。keras关于二分类的loss function有两个，一个是binary_crossentropy，一个是categorical_crossentropy（其实是多分类）。但是据本人实测，用binary_ceossentropy的训练效果非常差，几乎训练不出东西，所以暂 …
-
神经网络实践经验(2)
前言本人萌新，请多指教 2. 1x1卷积层的作用我们都知道，CNN强于MLP的地方在于其局部连接性减少了过拟合的可能，从而在有限的数据量下可以获取更好的模型。 而CNN是一个基于上下文的网络。对于上下文相关的数据（图像、自然语言等），有着非常理所应当、有理有据的好效果。但是如果filter的大小是1x1呢（本文只探讨2d的CNN，如果要强行说Conv1D我也没办法）? 1x1的filter貌似是上 …
-
神经网络实践经验(1)
前言本系列是本人记录在自己实践中遇到的很多读死书无法学习到的经验，不完全脱离理论，甚至说是超过理论之外的东西。 本人水平很差（深度学习之耻），有些说的简陋的东西也当是献丑了。 1. 神经网络的输入最好有一定相关性，否则很容易产生过拟合的效果所谓的过拟合，就是模型学习到本应该学习到的特征之外的特征。 如图，本来模型只应该学习到x，$x^2$ 和常数项的特征，但是由于模型的容量（capacity）太 …