빅데이터 프로젝트의 범위

2013. 7. 1. 21:20Data Science/Insights(시사점)


빅데이터는 이제 귀가 닳도록 들어서 어떤 의미로 쓰이는지 널리 알려졌다. 다시 한번 강조하면, 빅데이터는 기존의 데이터 처리 기술로 쉽게 처리할 수 없는 데이터로 간략히 정의할 수 있다.

 

최근 공기업 프로젝트를 진행하면서, 빅데이터 프로젝트의 범위에 대한 논쟁이 잠시 있었다. 논쟁의 핵심은 데이터 품질 관련한 프로젝트가 빅데이터 프로젝트로 인정받는 프로젝트일까 하는 것이다.

 

빅데이터를 비즈니스와 관련지어 광의의 의미로 생각하면, 빅데이터를 비즈니스적 가치를 창출해 내는 경영혁신 방안으로 볼 수 있다. 기존에는 보관만 했던 데이터, 또는 기술적인 한계로 쌓지 못하고 버렸던 내부데이터, 실시간으로 볼 수 없었던 외부 오픈데이터를 이제는 기술적으로 처리할 수 있게 되었고, 결과적으로 이러한 환경은 빅데이터를 비즈니스적 가치를 뽑아낼 수 있는 경영혁신 방안 또는 전략적 도구로 인식하게 한다. 엄밀히 따지자면, 데이터 분석을 통한 것이니 분석에 대한 니즈가 한층 높아진 것이다.


 

위에서 살펴본것과 같이 빅데이터를 통해 비즈니스적 가치를 찾아내는 것을 빅데이터 프로젝트라 본다고 하면, 데이터 품질, 데이터 거버넌스 등으로 불리는 프로젝트는 빅데이터 프로젝트라 볼 수 없을 것이다. 하지만, 빅데이터가 비즈니스적으로 활용 되기까지의 절차를 생각해보면 이는 틀린 말이다.

 

어느 기업이 빅데이터를 활용해 의미 있는 작업을 하기 위해서는 기업내 인프라 수준 및 인력들의 지식 수준이 그에 걸맞은 수준이어야 한다. 빅데이터를 활용하기 앞서, 기업내 대량의 데이터를 저장하거나 처리할 수 없는 인프라가 없다면 우선적으로 빅데이터 처리 인프라를 도입해야 할 것이다.

 

빅데이터 처리 인프라가 갖춰지고 나면, 비로서 데이터를 분석 처리 할 수 있는 형태로 데이터를 관리해야 하는데, 이는 데이터 품질이나, 메타데이터 관리, MDM 프로젝트를 통해 가능하다. 다양한 데이터를 특정 주제 영역별로 보기 위해서는 MDM 프로젝트가 도입되어야 할 것이며, 데이터 품질 프로젝트를 통해 각 엔티티나 DB에 맞는 적합한 형식으로 데이터가 저장될 것이다. , 빅데이터를 분석/활용 하기 전 단계에 데이터 품질, 메타데이터 관리, MDM의 프로젝트가 포함되어진다.

 

빅데이터 프로젝트라 할 때, 빅데이터를 활용하기 전 기본적으로 갖춰야 할 인프라나 데이터 품질 수준을 포함해서 생각한다면, 데이터 품질, 메타데이터 관리, MDM 프로젝트도 빅데이터 프로젝트에 포함되는 개념으로 볼 수 있다. 이러한 기본 준비가 된 기업만이 본격적으로 빅데이터를 통해 의미있는 작업을 찾는 프로젝트를 진행할 수 있다.


결론적으로 빅데이터 프로젝트를 비즈니스에서 의미있는 것을 뽑아내기 위해 데이터 분석체계를 수립하고, 관련 Pilot 프로젝트를 진행하는 단계로 한정적으로 보는 것보다는, 빅데이터 분석을 위해 준비하는 단계까지 포함해서 보는 것도 틀린 말은 아니다.