Pārlūkot izejas kodu

Remove DDP MultiHeadAttention fix (#3768)

modifyDataloader
Glenn Jocher GitHub pirms 3 gadiem
vecāks
revīzija
f2d97ebb25
Šim parakstam datu bāzē netika atrasta zināma atslēga GPG atslēgas ID: 4AEE18F83AFDEB23
1 mainītis faili ar 1 papildinājumiem un 3 dzēšanām
  1. +1
    -3
      train.py

+ 1
- 3
train.py Parādīt failu

@@ -252,9 +252,7 @@ def train(hyp, # path/to/hyp.yaml or hyp dictionary

# DDP mode
if cuda and RANK != -1:
model = DDP(model, device_ids=[LOCAL_RANK], output_device=LOCAL_RANK,
# nn.MultiheadAttention incompatibility with DDP https://github.com/pytorch/pytorch/issues/26698
find_unused_parameters=any(isinstance(layer, nn.MultiheadAttention) for layer in model.modules()))
model = DDP(model, device_ids=[LOCAL_RANK], output_device=LOCAL_RANK)

# Model parameters
hyp['box'] *= 3. / nl # scale to layers

Notiek ielāde…
Atcelt
Saglabāt