Kardel的希尔伯特空间


浅度辍学集大成者 the man who masters shallow dropout


神经网络实践经验(3)

3. 慎用keras的binary_crossentropy

有的时候我们在用神经网络训练二分类模型的时候,我们常会用keras。keras关于二分类的loss function有两个,一个是binary_crossentropy,一个是categorical_crossentropy(其实是多分类)。但是据本人实测,用binary_ceossentropy的训练效果非常差,几乎训练不出东西,所以暂时推荐使用categorical_crossentropy

至于为什么我也不知道,可能和内部写法有关但是我也没看keras内部实现

没有调查就没有发言权,对吧

所以先占个坑,知道了再补

Newer Post

神经网络实践经验(4)

前言地铁上无聊码的,思路比较凌乱 现代神经网络的目标 我认为,现代神经网络的目标只有两个 过拟合与欠拟合的调试 internal covariance shift过拟合和欠拟合的调试 神经网络的过拟合与欠拟合一直是个恒古不变的话题 如何能够防止神经网络产生没意义的特征工程和做出有意义的特 …

深度学习, 神经网络实践经验 继续阅读
Older Post

神经网络实践经验(2)

前言本人萌新,请多指教 2. 1x1卷积层的作用我们都知道,CNN强于MLP的地方在于其局部连接性减少了过拟合的可能,从而在有限的数据量下可以获取更好的模型。 而CNN是一个基于上下文的网络。对于上下文相关的数据(图像、自然语言等),有着非常理所应当、有理有据的好效果。但是如果filter的大小是1 …

深度学习, 神经网络实践经验 继续阅读