빅데이터의 정의와 특징, 유용성이란

정보화시대에 살고 있는 우리는 빅데이터가 매우 중요해졌다고 할 수 있다. 빅데이터의 정의와 특징은 알고 있으면 도움이 되는 정보이다.

---

빅데이터의 정의

 

빅데이터란 보통 수십에서 수천 테라바이트 정도의 거대한 크기를 갖고, 여러 가지 다양한 비정형 데이터를 포함하고 있으는 것을 말한다.

 

생성, 유통, 소비가 몇 초에서 몇 시간 단위로 일어나 기존의 방식으로는 관리와 분석이 매우 어려운 데이터 집합을 의미한다. 다시 말해서 빅데이터란 기존 관리 도구로 데이터를 수집, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합을 뜻한다.

 

다양한 종류와 규모의 데이터에 대한 생성, 수집, 분석을 특징으로 하는 빅데이터 기술의 발전은 현대 사회를 정확하게 예측하여 효율적으로 작동하게 한다.

 

기존에는 데이터 분석 정보가 제한된 소수의 의사결정자 및 숙련된 사내 분석 전문가 등에 의해 활용되어 왔으며, 한번 구축되면 이를 변경하고 관리하는데 상당한 비용을 재투자해야 하는 문제점을 가지고 있었다.

 

그러나 빅데이터는 기존의 관계형 데이터베이스에 쌓여 있던 데이터들과 같이 잘 정리되어 담겨있는 데이터가 아닌, 웹문서, 이메일 등 비정형 데이터가 주를 이루게 되었다. 웹 2.0으로 인해 사용자에 의한 데이터의 공유가 가능하게 되었꼬, 이러한 데이터들은 텍스트, 오디오, HTML, XML 등 여러 가지 구조를 가지고 있다.

 

현대 사회에서는 이와 같이 다양한 구조의 정형 데이터와 비정형 데이터가 사람이나 장비에 의해 빠른 속도로 쏟아져 나오고 있다.

 

빅데이터 처리 기술이 많이 공개되어 있어 쉽게 접근이 가능하지만, 이보다 중요한 것은 어떤 데이터를 분석하고 의미 있는 정보를 얻을 것인가이다.

 

앞에서 언급한 것과 같이 데이터베이스에 쌓여있는 정형 데이터뿐만 아니라 사람들이 만들어낸 문서, 이메일 등 비정형 데이터도 분석해야 한다. 또한 이런 유형의 데이터를 통합하고 분석할 수 있어야 한다. 소셜 미디어 분석을 예로 들면, 기존의 고객관계 경영, 고객 메일, 소셜미디어 데이터를 통합적으로 분석할 때 비로소 고객의 성향을 파악할 수 있다.

 

빅데이터의 특징

 

빅데이터에는 다음과 같은 세 가지 특징이 있다. 첫째는 규모 즉, 데이터의 양이다. 많은 기업들이 분석을 위해 이미 대용량의 데이터를 보유하고 있다.

 

예를 들어 월마트는 2,500 테라바이트가 이미 넘었으며 데이터 웨어하우징 인스티튜트의 설문조사에 따르면 약 절반가량이 이미 10 테라 바이트가 넘는 데이터를 갖고 있는 것으로 응답하였다.

 

빅데이터의 둘째 특징은 수집된 데이터의 다양성이다. 이러한 데이터는 특정 형식에 맞추어 잘 정리된 구조적 데이터와, 우리가 일상적으로 다루는 동영상, 음악, 사진 등과 같이 비 정형화된 데이터로 나뉘는데 앞으로는 비구조적 데이터가 될 것으로 전망되고 있다.

 

빅데이터의 마지막 특징은 데이터가 수집되는 속도이다. 예를 들어, 어떤 사람이 인터넷으로부터 디지털 음원을 수집한다고 하면 하루 만에 평생을 들어도 다 못 들을 만큼의 음원을 수집하는 것이 가능하다.

 

즉, 데이터를 수집하는 데 걸리는 시간이 소비하는 시간을 훨씬 앞지르고 있다. 기업들은 인터넷을 통해 다양한 데이터를 실시간으로 수집하고 있다. 얼마나 빠르게 이러한 데이터를 처리하여 의미 있는 정보를 얻어낼 수 있는가가 기업의 핵심역량을 좌우한다고 볼 수 있다.

 

빅데이터의 유용성

 

이상 다음과 같은 특징으로부터 다음과 같이 빅데이터의 유용성을 정리할 수 있다. 첫째는 규모 측면의 유용성이다. 데이터가 규모가 커지면 정보의 왜곡을 줄일 수 있고, 새로운 기법들을 적용할 수 있다.

 

빅데이터를 이용하여, 적은 데이터로는 불가능한 다양한 문제 해결에 필요한 복잡 미묘한 패턴을 잡아내는 것이 가능하다.

 

둘째는 다양성 측면의 유용성이다. 다양한 데이터의 활용이 가능해짐으로써, 검색엔진이나 소셜 미디어에서 다양한 사람들의 관심이 어떻게 집중되고 있는지를 알아내는 것이 가능하다.

 

예를 들어 구글 트렌드로 정부보다 더 빨리 독감 유행 사실을 감지하는 것이 가능하며, 소비지출 예측에서도 더욱 정확한 예측이 가능했다.