SNS가 연 소셜빅데이터(Social Big Data)시대 전략은?

빅데이터(Big Data)라는 개념은 오래전 부터 연구되어 왔었습니다. 이전에는 빅데이터라는 단어보다는 데이터 마이닝(Data mining)이라는 포괄적 단어를 많이 사용했습니다. 

첫 데이터 마이닝에 대한 이야기는 1995년도에 지식발견 및 데이터마이닝(KDD：Knowledge Discovery and Data Mining) 국제학술대회가 처음 개최되면서 시작되었으니 역사적으로 그렇게 오래된 것은 아닌 것 같습니다. 그때만 하더라도 Data 라는 관점 즉 DB라는 관점에서 풀이가 시작되었기 때문에 의사결정을 하기 위한 정보(Knowledge - information)이 포함된 정의는 뒤에 나왔습니다.

“대량의 데이터 집합으로부터 유용한 정보를 추출하는 것으로 정의된다" - Hand  et al., 2001.

“데이터마이닝이란 의미있는 패턴과 규칙을 발견하기 위해서 자동화되거나 반 자동화된 도구를 이용하여 대량의 데이터를 탐색하고 분석하는 과정이다"  - Berry and Linoff, 1997, 2000.

“데이터마이닝은 통계 및 수학적 기술뿐만 아니라 패턴인식 기술들을 이용하여 데이터 저장소에 저장된 대용량의 데이터를 조사함으로써 의미있는 새로운 상관관계, 패턴, 추세 등을 발견하는 과정이다" -  가트너그룹 2004.1.

일전에 데이터마이닝에 대해 공부하면서 작성했던 노트의 일부분입니다. KM으로 가기 위한 샘플링과 분석을 위한 모델의 도식화 입니다.

긴 역사는 아니지만 Big Data를 분석하고 이를 체계화하기 위해 많은 고민과 연구가 지속적으로 이어져 왔습니다. 하지만 몇가지 문제점이 도출되기 시작했습니다. 이런 문제점의 시작은 기술이 아니라 DATA 확보를 위한 근본적인 문제점 이였습니다. (최소한 Web1.0 시대까지만 하더라도...)

가장 큰 해결과제(문제점)은 3가지였습니다.

1. 어떻게 Data를 모을 것인가?
2. 유효한 Data가 무엇인가?
3. 분석 기술 확보가 가능한가?

Web2.0 시대가 열리면서 이런 문제점들에 대한 해법이 보이기 시작했습니다.

1. 어떻게 Data를 모을 것인가?

- Open Platform

- API

- Web2.0 : XML, RSS, Trackback.....
- 등등등.... 

2. 유효한 Data가 무엇인가?

- DSS(Decision Support Systems)

- CRM 

- CIODS(Customer Information Operational Data Store)

- DT(Decision Tree)

- COM (Co-Occurrence Matrix)

- GA (Genetic Algorithm)

- K-Means Clustering
- 등등등.... 

3. 분석 기술 확보가 가능한가?

- OLAP (On-Line Analytical Processing)
- Ontology 

- 어원분석

- 연계성 분석 및 검증 
- 등등등.... 

등등의 다양한 기술들과 이론들이 나오기 시작했습니다.

초기 IT/Web 기술에서는 Big Data를 분석한 데이터마이닝은 열망하는 꿈의 영역이였습니다. 하지만 지금은 기술적 제약에서 굉장히 많이 풀려 이제는 가능성이 높은 분야가 되었습니다. 

온라인에서 유통되고 생산되고, 소비되는 엄청난 양의 데이터들(Big Data)를 잘 분석하고 이른 효율성 있게 이용할 수 있다면....
이런 기본적인 니즈가 현실화 된 것입니다. 

그런데 풀리지 않은 문제점이 또 한가지가 남았습니다.
Big Data 를 분석하기 위해서는 그 만큼의 Data가 쌓이고 다양해야 하는데... 온라인에 생성되는 Big Data라는 것은 대부분이 Search, Portal (검색, 포털) 회사들이 독식을 하고 있어 일반 서비스에서는 활용하기 어렵다. 라는 문제점인 것이죠.

Data를 독식하는 독점회사의 틀에서 벗어날 수 없다는 것이 가장 문제 입니다.

이미지 출처 : http://blog.ohmynews.com/gakgol/171196

기업/기관이 주로 데이터 또는 정보 생산의 중심이 되었기 때문에 정보 독점 가능성이 굉장히 높았습니다. 뿐만 아니라 기업/기관 중심에서 생산된 Data는 기업/기관의 입장 때문에 편향적 Data 일 가능성이 높아 DSS(의사결정시스템-Decision Support Systems) 이나 KMS(지식관리시스템-Knowledge management Systems)를 구성하는데 큰 도움이 되지 않았습니다. 

 당연히 국민, 고객, 사용자에 접근되기 위해서는 그들의 입장에서 생산된 데이터를 분석하는 것이 더 옳겠지요.
사용자들의 자발적으로 생산한 데이터는 기업의 이익이나 편의성 등 편향적 데이터가 아니라 대중적 의견(Folksnomy)일 가능성이 높습니다.

SNS의 가장 큰 가치는 강팀장 개인적 입장에서 당연히 바로 여기에 있다고 생각합니다.

"누구나 생활 중에 자유롭게 이야기 하고 그를 표현하고 다른 사람들과 나눌 수 있는 가치!!"

이를 다르게 표현하면

"Web Life를 구현하면서 Data를 생산하고 공유하여 집단지성을 형성할 수 있는 가치!!"

이미지 출처 : http://thesagepress.wordpress.com/2010/10/21/social-times-and-great-finds/

SNS 는 바로 이런 가치를 실현시켜 주고 있으며, SNS 기반속에서 자유롭게 생산되는 대량의 데이터(Big Data)를 잘 분석하고 활용할 수 있다면 더 넓은 새로운 가치를 창출할 수 있으리라 믿습니다.
(혹시 오해하실수 있겠습니다. 이것은 개인정보 침해와는 다른 문제 입니다. 개개인의 정보를 취득하자는 것이 아니라 군중지식을 분석하자는 것입니다.)

최근들어 제가 중요하게 이야기하고 있는 것, 바로 새로운 가치의 시작에 Social Big Data 가 중심에 있습니다.

물론 아직 풀어야할 과제는 많이 있습니다.
개인정보 침해에서 부터 군중지식, 집단지성이 과연 옳바르게 가기 위한 방법에 대한 고민과 연구도 있어야 될 것이고, 개개인의 바른 SNS 활용에 대한 공감대도 대중적으로 일어나야 할 것입니다.
하지만 분명한 것은 SNS 덕분에 우리는 새로운의 Web 가치를 열 수 있는 과도기에 있다는 것입니다. 

그루터 10.26 서울시장 트위터 동향 분석

얼마전 10.26 재보선에서 SNS, 트위터 등을 통해 지지도를 확인하고 시민과 연결된 후보가 유리한 전략을 구사하고 우의를 점하였습니다. (이전에는 관심과 참여였지만... 지금은 분석의 시대로 넘어가고 있는 것 아닐까요?)
영국에서는 트위터 내용을 분석하는 펀딩 상품이 좋은 수익율을 내고 있습니다. 
그리고 해외의 몇몇 기관들은 SNS의 특성과 집단지성을 이용한 정보를 구축 프로젝트를 활발하게 추진하고 있지요.
미국, 영국 의회는 flicker 서비스를 이용해서 국가적 중요한 이미지 콘텐츠를 발굴하는 프로젝트를 성공적으로 추진되고 있습니다.

Social networking connects friends all over the globe. Dimitri Vervitsiotis/Getty Images

Social Big Data 활용은 무궁무진 할 것입니다.물론 이런 가능성은 SNS에 의해 만들어진 것입니다.

앞으로 기업에서 '어떻게 Social Big Data를 활용할 것인가'의 능력에 따라 경쟁사와의 우의를 점할 수 있을 것이고, 공공기관에서는 국민, 시민들의 의견과 여론을 형성하고 분석하고 정책에 반영하는데 유용할 것입니다.

그런데 Social Big Data의 효율성을 높이고 온전하게 활용하려면 먼저 고민해야 할 것이 있습니다.

바로 사용자의 참여 보장 입니다. 그것도 단순히 참여 보장이 아니라 적극적 참여보장(Ensure participation) 이 필요합니다.
(얼마전에 모기관에서 SNS를 통제의 대상으로 고민하고 있는 모습을 보았습니다. 개인적으로 전세계적으로 불고 있는 사회적 변화를 생각하지 못하고 어떻게 이런 생각을 하게 되었는지 안타까웠습니다.)

이제 이야기를 마무리 해야 겠습니다. 

SNS는 오랫동안 고민해 오던 데이터마이닝을 한단계 발전 시킬 수 있는 계기와 여건을 만들어 주었습니다. 이제는 쏟아져 나오는 엄청난 정보, 데이터.. 그것도 국민, 고객의 생활과 생각, 입장에 굉장히 밀접한 데이터들이 온라인을 통해 유통되고 공유되고 있습니다. 이런 데이터를 그대로 두면 아무런 의미 없는 말 그대로 허공으로 던져버리는 소리에 불과할 것입니다. 
하지만 이를 어떻게 기업, 기관, 정치에 어떻게 효율적으로 분석하고 활용할 수 있을지 고민해야 할 때가 아닌가 싶습니다. 바로 Social Big Data 에 관심을 두어야할 시점인 것이지요.

그렇다면 Social Big Data 활용성을 높이기 위한 가장 기본적인 전략은 무엇일까요? 바로... 국민들, 고객들, 사용자들의 적극적인 참여를 보장에서 접근하는 것입니다.
참여의 보장을 이제는 여론을, 시장을 분석하기 위한 첫번째 과정이라는 관점에서 전략을 수립할 때 입니다.




덧붙임말 :
데이터마이닝에 대해서 궁금하신 분들은  

Data Mining-pdf2.pdf

파일을 다운 받아 보시면 도움이 되지 않을가 싶습니다. ^0^