Archive for 18th June 2014

데이터 기반 결정의 장점과 단점

데이터 기반으로 벌어지는 결정의 장점과 단점의 이야기.. – 벌써 기승전병의 기운이 스멀스멀;;

 

최근에 의도하지 않게(?) 경험하게 되는 데이터 기반 결정 모델의 한계는 아마도 빅데이터를 적용해도 큰 차이점이 없을 것 같음.

얼마전 부터 카메라를 사려고 알아보고 있었는데 이게 리서치를 하면 할 수록 – 데이터를 더하면 더할 수록, 복잡해지는 머리속을 어쩔 수가 없더라는 – 결정을 하기 힘들어진다는..

데이터가 얼마 없더라면 예를 들어 처음으로 카메라를 사는 경우라면 어떤 항목들을 알아봐야 하는지 자체를 잘 모를 수 있기 때문에 친구가 추천해주는 또는 판매점에서 추천해주는 모델을 사고 그걸 사용하면 되는 상대적으로 적은 데이터를 참조했지만 나름 빠른 결정을 내릴 수 있게 되는데 이럴 경우 자신이 원하는 결정이 아닌 가능성이 높기에 이러한 문제를 해결하고자 데이터들을 모으고 모아서 자신에게 맞는 최적의 결론을 내는 것이 데이터 기반의 결정 모델이고 그러한 데이터를 엄청나게 많이 쌓아놓고 분석을 하는 것이 빅데이터인데…

 

문제는 데이터가 많아지면 많아질 수록 거기에서오는 노이즈도 참 크다는 것이 문제.

 

나에게 맞는 최적의 카메라를 사기 위한 ‘결정’을 위해 데이터를 모았는데 그러한 데이터들에서 나오는 결론들이 다르고 그렇기에 각 데이터의 우선순위/가중치 설정 및 변경된 가중치에 따른 결과 추론, 또 다시 가중치 수정 그 뒤 다시 결과…. 이러한 과정들을 거치게 되면 정작 해야하는 ‘결정’을 못하고 계속해서 새로운 결론을 보기위한 가중치 조절에 시간을 더 많이 쓰고 결국 ‘결정’을 내리지는 못하는 상황이 발생한다는 것.

 

최근 데이터를 가지고 이런저런 모델들을 만들고 궁극적으로는 그걸 기반으로 예측을 하는 시스템을 만들어야하는데 결국 결정을 내리는 것은 사람이라는 것과 그게 옳은지를 판단하는 것 역시 사람이라는 것이 데이터 기반 결정의 아이러니중 하나 인 것 같다.

 

 

백날 데이터 모으고 분석해도 결국 사람은 자기 하고 싶은거 한다는 소리 -_-;;