-AI researcher, InterX
-Master’s degree, AI

DL

2025 AI 빅테크 발자취 살펴보기 (Anthropic, OpenAI, Google)

3 분 소요

Anthropic 2025.02 Claude Code 베타 출시 CLI를 통해 다양한 환경에서 작동하게 출시했다. 장단점이 있지만 돌아보면 성공적인 판단이었던 것 같다. 2025.05 Claude Code 5월 정식 출시 2025.08 Claude for Chro...

Honeybee (Kakao MLLM) Inference 테스트

2 분 소요

Honeybee Inference Test MLLM 및 honeybee란 MLLM MLLM(Multimodal Large Language Model)은 다양한 modality의 데이터를 처리할 수 있다. 쉽게 말하면 기존의 GPT3.5를 예시로 들면 text를 input으로 ...

Docker memory error

최대 1 분 소요

상황 : torch dataloader를 사용했으나 메모리 오류 발생 원인 : 도커 컨테이너 생성 시 shared memory(–shm-size)가 기본적으로 64MB(or256MB)로 설정되어 있기 때문에 발생 해결 방법(1) 도커 컨테이너 생성시...

Vision Transformer (2)

9 분 소요

Encoder 저번 포스팅의 position embedding에 이어 본격적인 ViT의 인코더 부분을 설명하고자 한다.

Vision Transformer (1)

4 분 소요

Vision Transformer란 Vision Transformer(ViT)는 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale(2020) 라는 제목으로 발표되었다. 사실 제목에 답이 있는데,...

지식 증류(Knowledge Distillation)

3 분 소요

지식 증류(Knowledge Distillatioin) 딥러닝에서 지식 증류란 teacher model T로부터 추출한 지식을 student model S로 전수하는 것을 의미한다.

Custom ResNet

1 분 소요

널리 알려진 ResNet 34,50,101 등과 같은 모델을 그대로 가져와서 fine-tuning 할 수도 있지만 다른 모델 구조로 실험하고 싶거나 기타 등등의 이유로 직접 구현이 필요한 경우도 존재한다. resnet 뒤의 34,101과 같은 숫자는 모델 안의 컨볼루션 레이어의 개...

Custom Dataloader for Tensorflow

최대 1 분 소요

tensorflow/keras 에서 모델 학습을 진행할때 미니배치만큼만 가져와서 메모리에 올리는 코드. dataloader를 사용하지 않으면 일반적으로 모델+모든 데이터가 메모리에 올라간다. pytorch의 dataloader와 유사하다. keras의 Sequence 모듈을 상속받...