딥러닝에서의 Heuristic 뜻은 무엇일까?

논문을 읽다보면 "heuristic" 이라는 단어가 상당히 많이 등장하게 된다. 막상 heuristic을 찾아 보았을 때 딱히 와닿는 설명이 없어서 의문점으로 남았었는데, 최근에 논문 발표를 하면서 교수님이 명확하게 짚고 넘어가주셔서 짤막하게 정리하려고 한다.

 

교수님께서 말씀해주신 heuristic의 뜻은 다음과 같다.

 

원래 optimal한 알고리즘은 따로 있는데, 해당 방식을 알 수 없는 경우 최적에 근사한 값으로 만들어 주는 것이다.

즉, 수학적으로 완벽하게 풀어낼 수 없는 것을 근사한(approximate) 방식으로 풀어내는 알고리즘.

 

좋게 포장해서 heuristic이지, 한 마디로 주먹구구식 알고리즘 이라고 생각하면 된다. 딥러닝에서 heuristic한 방식에 대해서 걸고 넘어지는 이유는 아래와 같다고 생각하면 편할 것 같다.

 

 

그림 1. DETR에서 나온 heuristic이라는 표현

위의 그림은 End-to-End objectd detection with transformer에서 일부 발췌한 내용이다.

내용을 대충 살펴보면, "기존의 detector들의 성능이 Anchor box 디자인 같은 heurisitc한 처리 방식에 따라서 큰 영향을 받는다." 라는 내용이다.