Building a Tiny-AlexNet in NumPy for MNIST
A Juejin AI tutorial presents a plan to implement a CNN in NumPy from scratch and validate it on MNIST for educational purposes. It adapts AlexNet’s eight-layer structure to 28×28 inputs, crops them to 27×27, and uses a 10-class output while omitting Local Response Normalization; the supplied report describes implementation and validation as planned work.
The article provides a detailed educational walkthrough of designing convolution, pooling, backpropagation, and an AlexNet-inspired network without relying on a deep-learning framework.
Intro
2012 年，AlexNet 团队训练了一个大型深层卷积神经网络，用于将 ImageNet LSVRC-2010 数据集中的 120 万张高分辨率图像分类为 1,000 个类别。在测试集上，AlexNet 取得了 37.5% 的 Top-1 错误率和 17.0% 的 Top-5 错误率，显著刷新了当时的最佳成绩。
AlexNet 包含约 6,000 万个参数和 65 万个神经元，由五个卷积层和三个全连接层组成，部分卷积层后接最大池化层，最终通过 Softmax 层输出 1,000 个类别的预测结果。为提高训练效率，AlexNet 使用了非饱和激活函数 ReLU，并通过 GPU 高效实现卷积运算。为缓解全连接层的过拟合问题，模型还采用了当时新近提出的正则化方法 Dropout。
在随后举行的 ILSVRC-2012 竞赛中，AlexNet 的一个变体取得了 15.3% 的 Top-5 测试错误率，而排名第二的参赛作品为 26.2%。这一成果推动了深度卷积神经网络在图像识别领域的广泛应用。
Some source content is omitted. Continue reading on the original site.