-
神经网络实践经验(2)
前言本人萌新，请多指教 2. 1x1卷积层的作用我们都知道，CNN强于MLP的地方在于其局部连接性减少了过拟合的可能，从而在有限的数据量下可以获取更好的模型。 而CNN是一个基于上下文的网络。对于上下文相关的数据（图像、自然语言等），有着非常理所应当、有理有据的好效果。但是如果filter的大小是1x1呢（本文只探讨2d的CNN，如果要强行说Conv1D我也没办法）? 1x1的filter貌似是上 …
-
神经网络实践经验(1)
前言本系列是本人记录在自己实践中遇到的很多读死书无法学习到的经验，不完全脱离理论，甚至说是超过理论之外的东西。 本人水平很差（深度学习之耻），有些说的简陋的东西也当是献丑了。 1. 神经网络的输入最好有一定相关性，否则很容易产生过拟合的效果所谓的过拟合，就是模型学习到本应该学习到的特征之外的特征。 如图，本来模型只应该学习到x，$x^2$ 和常数项的特征，但是由于模型的容量（capacity）太 …