KimbgAI

본 리뷰는 아래 유투브 링크에 실린 이진원 님의 페이퍼 리뷰를 바탕으로 개인적으로 공부하기 위해 제작되었습니다.https://www.youtube.com/watch?v=mtUa3AAxPNQ&t=1463s  레즈넷의 저자인 카이밍허가 1저자로 참여한 논문FAIR에서 2021년 11월에 발표함. 논문에서 말하고자하는 것은 아래 이미지가 전부임이미지에 마스크를 씌워놓고 이를 복원하는 과정에서 모델을 사전학습하겠다는 것.  인트로던션딥러닝 모델의 capablility와 capacity가 커짐으로써 백만장 정도의 이미지는 쉽게 오버피팅이 되기 때문에 더 많은 데이터가 필요로 하게 됨. NLP 쪽에서는 이를 self-supervised pretraining 방법을 통해 다루었음.그래서 GPT나 BERT같은 모델들이..