上期思考题及参考解析170.在选择神经网络的深度时，下面那些参数需要考虑？1 神经网络的类型(如MLP,CNN)2 输入数据3 计算能力(硬件和软件能力决定)4 学习速率5 映射的输出函数A 1,2,4,5B 2,3,4,5C 都需要考虑D 1,3,4,5答案：（C）所有上述因素对于选择神经网络模型的深度都是重要的。171.考虑某个具体问题时，你可能只有少量数据来解决这个问题。不过幸运的是你有一个类似问题已经预先训练好的神经网络。可以用下面哪种方法来利用这个预先训练好的网络？A 把除了最后一层外所有的层都冻住，重新训练最后一层B 对新数据重新训练整个模型C 只对最后几层进行调参(fine tune)D 对每一层模型进行评估，选择其中的少数来用答案：（C）172.增加卷积核的大小对于改进卷积神经网络的效果是必要的吗？答案：不是，增加核函数的大小不一定会提高性能。这个问题在很大程度上取决于数据集。173.请简述神经网络的发展史SIY.Z。本题解析来源：https:/zhuanlan.zhihu.com/p/29435406sigmoid会饱和，造成梯度消失。于是有了ReLU。ReLU负半轴是死区，造成梯度变0。于是有了LeakyReLU，PReLU。强调梯度和权值分布的稳定性，由此有了ELU，以及较新的SELU。太深了，梯度传不下去，于是有了highway。干脆连highway的参数都不要，直接变残差，于是有了ResNet。强行稳定参数的均值和方差，于是有了BatchNorm。在梯度流中增加噪声，于是有了 Dropout。RNN梯度不稳定，于是加几个通路和门控，于是有了LSTM。LSTM简化一下，有了GRU。GAN的JS散度有问题，会导致梯度消失或无效，于是有了WGAN。WGAN对梯度的clip有问题，于是有了WGAN-GP。