dropout在测试时应该如何处理？

2020-07-21 17:41发布

站内问答 / Python
5092 5 7
5条回答
汽水味的小盆友
2021-11-24 14:21

在pytorch中，网络有train和eval两种模式，在train模式下，dropout和batch normalization会生效，而val模式下，dropout不生效，bn固定参数。

想要在测试的时候使用dropout，可以把dropout单独设为train模式，这里可以使用apply函数：

1
2
3
def apply_dropout(m):
    if type(m) == nn.Dropout:
        m.train()

下面是完整demo代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# coding: utf-8
import torch
import torch.nn as nn
import numpy as np
class SimpleNet(nn.Module):
    def __init__(self):
        super(SimpleNet, self).__init__()
        self.fc = nn.Linear(8, 8)
        self.dropout = nn.Dropout(0.5)
    def forward(self, x):
        x = self.fc(x)
        x = self.dropout(x)
        return x
net = SimpleNet()
x = torch.FloatTensor([1]*8)
net.train()
y = net(x)
print('train mode result: ', y)
net.eval()
y = net(x)
print('eval mode result: ', y)
net.eval()
y = net(x)
print('eval2 mode result: ', y)
def apply_dropout(m):
    if type(m) == nn.Dropout:
        m.train()
net.eval()
net.apply(apply_dropout)
y = net(x)
print('apply eval result:', y)

运行结果：

可以看到，在eval模式下，由于dropout未生效，每次跑的结果不同，利用apply函数，将Dropout单独设为train模式，dropout就生效了。


一周热门 更多>