책 빅데이터를 지배하는 통계의 힘

​

빅데이터를 지배하는 통계의 힘 국내도서 저자 : 니시우치 히로무 / 신현호역 출판 : 비전코리아 2013.07.30 상세보기

 입학식에 받았던 책을 한동안 읽지 않다가 최근에서야 읽게 되었다. 이유는 다른 읽고 싶은 책이 많이 밀려 있었고 둘째로 통계학 텍스트북이 이 책보다 더 자세히 나와 있을텐데 굳이 이 책으로 또 공부를 해야하나(...) 라는 생각을 해서였다. 다 읽고 나서 감상은 확실히 공부 전 초기에 읽었으면 좋았겠다였다. 왜냐면 어느 정도 통계를 배우고 난 뒤에 이 책을 읽었더니 그 심도가 얕게 느껴져서 흥미롭지 않았기 때문이다.

통계라는 것은 참 흥미롭다. 내 나이 또래의 대부분은 확률과 통계를 수1 뒷부분이 짱박혀 있어가지고 뭔지 모를 기호들과 설명과 종 모양의 그래프로 첨철되어 공포스러운 존재로 기억하고 있었다. 나도 처음에는 공식 때문에 매우 성가셔했지만 그 이유는 익숙하지 않은 그리스 문자 때문이었던 것 같다. 확률에 관련된 각종 공식에 꼭 abcd를 사용하지 않고 알파 베타 감마 델타 등등을 써서 찬찬히 보면 쉬운 공식들도 낯설게 느꼈기 때문이었다. 

하지만 나는 확률과 통계라는 것이 매우 흥미로웠다. 확률은 어떤 사건이 일어날 기대치를 알려준다. 미래에 발생할 일을 수학에 근거해서 예측 할 수 있다니, 이 얼마나 멋지지 않은가. 근거없는 사주팔자 타로카드보다 훨씬 흥미롭지 않은가? 통계 또한 무의미해보이는 데이터 집단에서 유의미한 가설들을 이끌어 내는 것이 나에게는 하나의 예술활동같아 보였다. 그리고 이제 통계라는 학문을 1학기동안 배웠지만, 그 무한한 실용성에 나의 사랑(?)이 더욱 증폭하게 되었다.

컴퓨터의 발달 이전에는 우리 사회는 데이터 수집과 분석에 관심이 없었던 것 같다. 많은 데이터를 분석하고 처리할 수단이 없었기 때문이었다. 하지만 수많은 데이터를 계산해낼 수 있는 컴퓨터가 개발되자 그에 따라 통계학은 폭발적으로 발전했다. 수 많은 데이터로부터 수 많은 가설을 입증하고 이론을 뽑아 낼 수 있었기 때문이다. 그래서 초반에는 데이터 수집에 주의를 기울였던 것 같다. 왜냐면 데이터가 없으면 아무것도 시작할 수 없기 때문이다. 그래서 데이터 수집의 툴의 발전이 증가했는데, 인터넷과 컴퓨터의 발달로 왠만한 데이터의 집중화가 가능해졌다. 우리가 매일 사용하는 스마트폰만으로도 이동정보와 관심정보가 수집될 수 있다. 서울심야버스 또한 빅데이터를 이용하여 만들어졌다고 들었는데,  KT의 정보를 위치 정보를 이용하여 많은 사람들이 이동하는 지점들을 분석하여 심야버스 노선을 많들었다고 한다. 

그리고 개인적으로 이제는 그 다음 단계인 분석의 기술이 발전하고 있는 것 같다. 많은 양의 데이터를 처리하는 하드웨어도 발전하고, 그것들을 분석해내는 소프트웨어들도 함께 발전중에 있다. 그런데 데이터 수집 단계와 다르게 분석의 단계는 여전히 사람이 중요하다는 생각이 들었다. 왜냐면 같은 결과를 가지고 분석하는 사람의 가치관이나 추구하는 바에 따라 다른 결과를 내 놓을 수도 있겠다는 생각을 했기 때문이다. 많은 데이터와 그의 분석으로 인해 미래를 예측할 수 있게 된 것은 환영하는 바이지만, 그 분석하는 사람은 반드시 통찰력을 갖춘 자질 있는 이여야 할 것이다. 

+

통계 공부 하면서 뜬금없이 인성 공부의 중요성을 깨달았을 뿐이고..