KimbgAI

논문들을 보고있노라면 FLOPs라는 개념이 등장하는데, 대충 연산량? 모델의 크기? 등 추상적으로 알고 있던 내용이라 정확한 개념을 알아보고자 정리를 해보았다.찾아보니 연산량에 대한 다양한 개념을 접할 수 있었다. FLOPs? FLOPS? MAC? 등.. 정리해보자 FLOPs(FLoating point OPerations)는 부동소수점 연산을 의미합니다. FLOPs에서의 연산은 사칙연산을 포함하여 root, log, exponential 등의 연산도 해당되며, 각각을 1회 연산으로 계산합니다. 반면, FLOPS는 FLoating point Operations Per Second의 약자로, 1초당 얼마나 많은 연산을 처리할 수 있느냐하는 하드웨어의 퍼포먼스 측면을 본다는 점에서 차이가 있습니다. MAC(M..