深度学习入门笔记——神经网络的构建和使用
神经网络的整体构建神经网络的基本骨架
首先可以在Pytorch官网的Python API中查看torch.nn的使用，如下所示。可以看到神经网络包括Container（基本骨架）、卷积层、池化层、Padding层、非线性激活等等。
构建一个神经网络首先要先构建起基本骨架，也就是Containers
nn.Moudle的使用
这是官网中给出的具体示例，重点在于创建我们自己的神经网络类的时候必须要继承父类nn.Moudle，然后就可以重写里面的函数等，这里的forward是前向传播函数，后面会有反向传播函数
这是一个简单的nn.Moudle使用示例，并没有涉及到神经网络的卷积层等。可以通过断点调试来查看具体的代码执行流程
from torch import nnclass CY(nn.Module): def __init__(self): super().__init__() def forward(self,input): output=input+1 return outputcy=CY()input=1output= cy(input)print(output)卷积层
构建好基本骨架之后，就需要对卷积层进行操作，可以看到官方给出的卷积层包括以下方式，其中对于图像来说常用的就是卷积2d操作
图像的卷积
首先明确一下图像卷积的概念，如下图所示，图像卷积就是用卷积核在输入图像上一步步的滑动，每个方格内的元素对应相乘后相加作为输出的对应位置的元素
官方文档中给出的示例是这样的，对于参数的解释已经很详细了
这里要注意的一个点就是 卷积层的输入和卷积核都要描述成(N,C,H,W)的tensor格式，其中N表示有多少张图片，C表示有多少个通道，H表示图片的高度，W表示图片的宽度。所以初始设置输入的时候不仅要用torch.tensor变成tensor格式，后续还需要将torch.reshape(input,)转变为conv2d的格式，因为初始格式是只有宽和高这两个参数的
这其中有几个参数可以解释一下：
[*]stride：也就是卷积核一次移动的步数
[*]padding：是否要将输入图像进行零填充，默认为0.可以看到设置填充之后，卷积得到的结果会比原来的大
具体代码如下：
import torchimport torch.nn as nnimport torch.nn.functional as Finput=torch.tensor([,# 输入图像 , , , ])kernel=torch.tensor([, # 卷积核 , ])print(input.shape)input = torch.reshape(input,)kernel=torch.reshape(kernel,)output= F.conv2d(input,kernel,stride=1)print(output)output_1= F.conv2d(input,kernel,stride=2)print(output_1)output_2=F.conv2d(input,kernel,stride=1,padding=1)print(output_2)nn.conv2d的使用
官方给出的函数使用方法如下：
这里要注意的就是in_channels和out_channels的理解，可以说in_channels就是图像的通道数，也就是RGB=3,out_channels代表的是用多少个卷积核来对图像进行卷积，如果out_channels=6的时候就是用6个卷积核来对图像进行卷积，然后对得到的输出进行处理
参数的具体描述如下：
具体代码如下，要注意的是使用tensorboard对图像进行显示的时候，由于tensorboard显示的图像格式是规定的3个通道，所以上面得到的6个通道的图像是会报错的。所以我们可以用 output = torch.reshape(output, (-1, 3, 30, 30))来将图像格式进行重新设置，其中-1表示的是占位符，表示这个位置的参数交给后面的参数来计算
# -*- coding: utf-8 -*-import torchimport torchvisionfrom torch import nnfrom torch.nn import Conv2dfrom torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10("dataset/cifar-10-batches-py", train=False, transform=torchvision.transforms.ToTensor(), download=True)dataloader = DataLoader(dataset, batch_size=64)class Tudui(nn.Module): def __init__(self): super(Tudui, self).__init__() self.conv1 = Conv2d(in_channels=3, out_channels=6, kernel_size=3, stride=1, padding=0) def forward(self, x): x = self.conv1(x) return xtudui = Tudui()writer = SummaryWriter("logs")step = 0for data in dataloader: imgs, targets = data output = tudui(imgs) print(imgs.shape) print(output.shape) # torch.Size() writer.add_images("input", imgs, step) # torch.Size()-> output = torch.reshape(output, (-1, 3, 30, 30)) writer.add_images("output", output, step) step = step + 1writer.close()最后得到到图像是这样的：
可以看到输出图像一个批次中有128个图像，这也就是我们将6个通道变为8个通道导致的，和初步设想一致
池化层
这里主要讲解的是2D类型最大池化层，同样的，详细的函数信息在官网上：
主要注意的就是**ceil_mode 这个参数，这里的意思其实就是要向下取整还是向上取整，如果为True的话就是向上取整，False的话就是向下取整。也就是说，在下图这个示例中，如果取为True的时候在进行池化的时候对于多出来的部分（原图像是5×5，池化核是3×3），会进行保留并得出结果，而为False的时候就不会保留结果。
dilation这个参数其实就是池化的时候是否要跳步进行
代码如下：
import torchimport torchvisionfrom torch import nnfrom torch.nn import MaxPool2dfrom torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10("../dataset", train=False, download=True, transform=torchvision.transforms.ToTensor())dataloader = DataLoader(dataset, batch_size=64)class Tudui(nn.Module): def __init__(self): super(Tudui, self).__init__() self.maxpool1 = MaxPool2d(kernel_size=3, ceil_mode=False) def forward(self, input): output = self.maxpool1(input) return outputtudui = Tudui()writer = SummaryWriter("../logs_maxpool")step = 0for data in dataloader: imgs, targets = data writer.add_images("input", imgs, step) output = tudui(imgs) writer.add_images("output", output, step) step = step + 1writer.close()得到的结果如下，其实池化就是相当于做一个缩略马赛克处理
非线性激活
非线性激活就是例如ReLu、Sigmod等非线性激活函数，在Pytorch中的使用是比较简单的，调用函数即可，例如Sigmod函数：
这里要注意inplace的作用就是是否要有一个新的返回值来存储输出值，默认为False，如果为True的话输出值覆盖输入值
除了上面列举的一些神经网络最基本必须的网络之外，torch.nn中还有很多其他的层：正则化层、线性层、Transformer层等等，有一些在特定的网络中需要特定使用，可以去了解一下
Sequential的作用
sequential的作用就是将我们要创建的神经网络的层数按照顺序堆叠起来，个人觉得用处就是简化代码，后面可以再了解看看，如下图所示，用sequential堆叠起神经网络之后就可以直接创建实例并输入。相较于用x输出承接x输入是简洁很多的。
损失函数和优化器
损失函数和优化器在模型构建中是十分重要的，直接决定到模型的最终效果好坏，不过与前面不同的是，这一部分在代码调用十分简单，重点在于理解 损失函数和优化算法的原理，所以直接看官方文档：损失函数、优化算法
页:
[1]