Vision Transformer (1)
Vision Transformer란 Vision Transformer(ViT)는 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale(2020) 라는 제목으로 발표되었다. 사실 제목에 답이 있는데,...
최근 포스트
지식 증류(Knowledge Distillation)
지식 증류(Knowledge Distillatioin) 딥러닝에서 지식 증류란 teacher model T로부터 추출한 지식을 student model S로 전수하는 것을 의미한다.
도커(Docker) 명령어 정리 (1)
주요 도커 컨테이너 명령어 정리 도커 환경이 설치되어 있다고 가정한다
Custom ResNet
널리 알려진 ResNet 34,50,101 등과 같은 모델을 그대로 가져와서 fine-tuning 할 수도 있지만 다른 모델 구조로 실험하고 싶거나 기타 등등의 이유로 직접 구현이 필요한 경우도 존재한다. resnet 뒤의 34,101과 같은 숫자는 모델 안의 컨볼루션 레이어의 개...
Custom Dataloader for Tensorflow
tensorflow/keras 에서 모델 학습을 진행할때 미니배치만큼만 가져와서 메모리에 올리는 코드. dataloader를 사용하지 않으면 일반적으로 모델+모든 데이터가 메모리에 올라간다. pytorch의 dataloader와 유사하다. keras의 Sequence 모듈을 상속받...