开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

python实现卷积神经网络

共 8 篇文章

1

【python实现卷积神经网络】开始训练

2

【python实现卷积神经网络】定义训练和测试过程

3

【python实现卷积神经网络】激活层实现

4

【python实现卷积神经网络】Dropout层实现

5

【python实现卷积神经网络】Flatten层实现

6

【python实现卷积神经网络】池化层实现

7

【python实现卷积神经网络】批量归一化层实现

8

【python实现卷积神经网络】全连接层实现

清单首页python实现卷积神经网络文章详情

清单「python实现卷积神经网络」 05/08

【python实现卷积神经网络】Flatten层实现

西西嘛呦·算法工程师

代码来源：https://github.com/eriklindernoren/ML-From-Scratch

卷积神经网络中卷积层Conv2D（带stride、padding）的具体实现：https://cloud.tencent.com/developer/article/1686529

激活函数的实现（sigmoid、softmax、tanh、relu、leakyrelu、elu、selu、softplus）：https://cloud.tencent.com/developer/article/1686496

损失函数定义（均方误差、交叉熵损失）：https://cloud.tencent.com/developer/article/1686498

优化器的实现（SGD、Nesterov、Adagrad、Adadelta、RMSprop、Adam）：https://cloud.tencent.com/developer/article/1686499

卷积层反向传播过程：https://cloud.tencent.com/developer/article/1686503

全连接层实现：https://cloud.tencent.com/developer/article/1686504

批量归一化层实现：https://cloud.tencent.com/developer/article/1686506

池化层实现：https://cloud.tencent.com/developer/article/1686507

padding2D实现：https://cloud.tencent.com/developer/article/1686509

这就相当于是pytorch中的在全连接层之前使用view()函数类似的操作：

class Flatten(Layer):
    """ Turns a multidimensional matrix into two-dimensional """
    def __init__(self, input_shape=None):
        self.prev_shape = None
        self.trainable = True
        self.input_shape = input_shape

    def forward_pass(self, X, training=True):
        self.prev_shape = X.shape
        return X.reshape((X.shape[0], -1))

    def backward_pass(self, accum_grad):
        return accum_grad.reshape(self.prev_shape)

    def output_shape(self):
        return (np.prod(self.input_shape),)

需要注意反向传播时的形状的改变。

还有Reshape层：

class Reshape(Layer):
    """ Reshapes the input tensor into specified shape
    Parameters:
    -----------
    shape: tuple
        The shape which the input shall be reshaped to.
    """
    def __init__(self, shape, input_shape=None):
        self.prev_shape = None
        self.trainable = True
        self.shape = shape
        self.input_shape = input_shape

    def forward_pass(self, X, training=True):
        self.prev_shape = X.shape
        return X.reshape((X.shape[0], ) + self.shape)

    def backward_pass(self, accum_grad):
        return accum_grad.reshape(self.prev_shape)

    def output_shape(self):
        return self.shape

举报