생명에너지 빅데이터 마이닝기법 활용
"빅데이터 마이닝은 거대 규모의 데이터로부터 가치 있는 정보를 찾아내는 탐색 과정 및 방법을 의미한다. 빅데이터 마이닝의 절차를 보면 자료의 수집(Data Collection), 데이터의 준비(Data Preparation), 데이터 마이닝의 수행, 데이터 시각화(Data Visualization), 마이닝 결과의 활용 등이 있다.
빅데이터 마이닝 기법에는 연관성 법칙(Association Rule), 클러스터링 분석(Cluster Analysis), 의사결정 나무(Decision Trees), 신경망 모형(Neural Network) 등이 있다."
"연관성 법칙은 하나의 거래나 사건에 포함되어 있는 항목들의 경향을 파악해서 상호 유사한 패턴을 발견하는 것을 말한다.
클러스터링 분석은 데이터베이스내의 소속집단이 구분되지 않는 데이터들을 유사한 특성을 갖는 데이터끼리 묶어 이를 분석하는 기법을 말한다.
의사결정 나무는 분류 및 예측에 있어서 자주 쓰이는 기법으로, 통계학적인 용어를 쓰지 않고도, DM(Direct Mail)의 응답여부 등에 영향을 미치는 변수들과 변수들의 상호작용을 쉽게 설명할 수 있다는 것이 장점이다.
신경망 모형은 빅데이터 마이닝에 대한 관심이 모아지면서 가장 일반적으로 언급되어지고 또한 다양한 응용 분야를 가지고 있는 기법이다. 신경망 모형은 인간이 경험으로부터 학습해 가는 두뇌의 신경망 활동을 흉내 내어 자신이 가진 데이터로부터의 반복적인 학습 과정을 거쳐 패턴을 찾아내고 이를 일반화함으로써 특히 향후를 예측(Prediction)하고자 하는 문제에 유용하다."
도서관에 소장시켜놓은 책이 아무리 훌륭하고 귀감이 될 만한 책이라도 도서관을 찾는 사람이 없다면 무용지물이 될 것이다.
빅데이터 마이닝 기법은 기존에 수집된 자료를 재분석하여 효율적으로 이용해보자는 뜻이 강하다.
기존의 자료를 재분석해서 효율적으로 이용할 수 있다면 분석기법을 도입해서라도 철저하게 재가공 해내어 유용한 정보가 되도록 노력해보자는 것이 빅데이터 마이닝 기법이기도 하다.
각 분야에서 수집된 모든 데이터에 관한 자료를 저장창고에 놓아두는 것만으로는 유용한 정보가 될 수 없다.
유용한 정보가 되기 위해서는 기존에 수집된 자료를 재분석하는 작업이 필요하다. 그것도 세밀한 작업을 통해서 자신에게 가장 알맞은 정보로 재가공할 수 있도록 철저하게 분석하는 노력이 필요하다.
대기업들이 계속해서 성장하는 비법도 인재양성에 앞장서서 나서는 경우도 있겠지만 다 따지고 보면 의사소통에서 오는 불필요한 부분을 제거하고 고객에게 가장 필요한 것이 무엇인가 또는 중간유통과정에서 발생할 수 있는 마찰을 최소화시킨 후 기존에 확보된 자료를 재활용하면서 예리한 분석력을 통해 미래를 개척해나가기 때문일 것이다.
예리한 분석력과 통찰력을 갖는 것은 시대를 불문하고 기본적으로 갖추어야할 일인지도 모르는 일이다.
주어진 자료를 갖고 어떤 사람은 뛰어난 분석력으로 성공을 향해 달리는 사람이 있는가하면 어떤 사람은 자료를 제대로 분석하지 못해 무용지물로 만드는 사람도 있다.
땅을 밟지 않고서는 하늘을 날 수 없듯이 남다른 통찰력과 예리한 분석력 없이는 큰 목표점에 도달하기가 어려울지 모르기 때문이다.
이제부터라도 그 동안 무심코 지나쳤던 기존의 자료를 재분석해서 자신에게 맞는 정보를 얻는다면 수련에 대한 이해도와 더불어 깊이 있는 접근으로 수련에 임할 수가 있을 것이다.
예를 들면 정보를 검색할 때 인터넷을 다룰 줄 아는 네티즌이라도 "인터넷 정보검색사"에 비해 올바른 정보를 찾는데 걸리는 시간과 노력이 몇 배 더 걸릴 수 있을 것이다. 그리고 주어진 문제를 주어진 시간 안에 정확하게 찾아내지 못할 확률 또한 높을 수밖에 없다.
사실 정보의 홍수 속에서 유용한 정보를 찾아내기란 "인터넷 정보검색사"가 되지 않고서는 힘든 일인지도 모르는 일이다.
하지만 손을 놓고 있는 것보다는 "인터넷 정보검색사"가 되기 위한 과정을 밟는다고 생각하면서 노력한다면 결코 어려운 작업이 되지는 않을 것이다.
청아당 엄 상 호 글