let me graduate

네트워크 학습시 loss.backward() 를 하다보면 변수에 inplace modification이 존재해서 gradient계산 과정에서 에러가 뜨는 상황이 발생한다. RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation 첫번째로, inplace modification이 발생한 variable을 찾기 위해서, loss.backward()가 일어나는 코드에 다음 코드를 추가한다. import torch with torch.autograd.set_detect_anomaly(True): a = torch.rand(1, requires_grad=True) c = tor..

네트워크 학습시 loss.backward() 를 하다보면 변수에 inplace modification이 존재해서 gradient계산 과정에서 에러가 뜨는 상황이 발생한다. RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation 첫번째로, inplace modification이 발생한 variable을 찾기 위해서, loss.backward()가 일어나는 코드에 다음 코드를 추가한다. import torch with torch.autograd.set_detect_anomaly(True): a = torch.rand(1, requires_grad=True) c = tor..

"Yoo, D., & Kweon, I. S. (2019). Learning Loss for Active Learning. Retrieved from http://arxiv.org/abs/1905.03677" 을 구현하던 중에 loss prediction module을 학습시키기 위한 loss for loss prediction module을 다음과 같이 정의했다. 따라서 기존에 정의되어 있지 않은 loss 를 새롭게 정의해서 사용해야할 필요가 생겼다. Pytorch에서 loss는 어떻게 동작하나? loss 함수에는 input을 Variable로 바꾸어 넣어준다. Variable은 required_grad flag가 True로 기본 설정되어 있는데, 이는 Pytorch의 아주 유용한 기능인 Autograd..