문제 해결을 위한 새로운 패러다임이 등장하는 오늘 컴퓨터로 e메일을 보내 카카오톡으로 친구들과 대화하고 금융거래 같은 아주 중요한 일도 모바일에서 할 수 있게 된 것은 바람처럼 살아간 실리콘밸리의 컴퓨터 과학자 짐 그레이의 덕이 크다. 짐 그레이는 젊은 시절부터 IBM 탠덤 DEC에서 근무하면서 데이터베이스 트랜잭션 이론을 확립하고 컴퓨터를 활용한 온라인 거래를 가능하게 하는 데 크게 기여했다. 오늘날 실리콘밸리로 상징되는 IT(Information Technology) 혁명의 주역 중 한 명이었다.
사람이 일생을 통틀어 한 번의 역사적 대변혁에 기여하기도 어렵지만 짐 그레이는 정보화 시대의 이론적 토대를 제공한 영웅이었을 뿐 아니라 빅 데이터 혁명이라는 DT(Data Technology) 시대의 개막이기도 하다. 짐 그레이는 90년대 중반 IT 전문가로 은퇴한 뒤 빌 게이츠의 제안을 받아들여 MS연구소에서 인류를 위한 새로운 과학연구에 몰두했다. 그리고 세월이 흘러 21세기 초엽 그 연구의 결과로 놀라운 비전을 제시했다. 그것은 ‘과학연구의 제4차 패러다임’에 대한 통찰이었다. 과학자도 아닌 IT전문가 출신이었던 ‘짐 그레이’는 과학연구 방법론에 새로운 패러다임이 다가오고 있음을 예견했고, 그것은 빅데이터 분석을 통한 새로운 과학의 시대가 올 것이라는 점이었다.
새로운 밀레니엄의 시대가 막 시작되었을 당시, 소위 지금 빅데이터라고 불리는 대용량의 데이터가 존재하고 있던 분야는 많지 않았다. 그 몇 안 되는 분야가 천문학이었다. 짐 그레이는 천문학 분야에서는 기존의 과학 이론으로는 설명되지 않는 많은 천문 현상이 있음을 지적했다. 그는 이를 분석, 예측하기 위해서는 빅데이터 분석을 통한 방법이 가장 효율적인 해결책이라고 주장하고 이것이 미래의 새로운 과학 방법으로 자리매김할 것이라고 예견했다.
짐 그레이에 따르면 역사적으로 과학연구의 첫 패러다임은 르네상스가 시작된 갈릴레오와 티코 브라헤의 실증적 천문데이터 수집시기이고, 두 번째 패러다임은 케플러와 뉴턴의 이론과학시기이며, 세 번째는 현대적 컴퓨터를 활용한 시뮬레이션 과학연구방법론의 시기로 변화해 왔다. 그런데 이러한 접근방식으로 인해 아직 설명과 예측을 할 수 없는 천문현상이 많이 존재하고 있으며 짐 그레이는 이를 해결하기 위해 당시 천문학 분야에서 쌓여있던 대용량 데이터의 활용방법인 빅데이터 분석을 통한 과학연구방법론을 주창하고 나섰다. 즉 과학연구에서 네 번째 패러다임의 도래를 예측한 것이다. 아직 빅 데이터라는 말이 존재하기 이전, 20년 전의 일이며 지금 돌이켜보면 얼마나 시대를 앞선 탁월한 통찰이었는지 알 수 있다.
20여 년이 지난 지금은 천문학뿐 아니라 IoT센서의 발달, 모바일 기기의 범용화, SNS의 활성화, 클라우드 컴퓨팅의 등장 등으로 이제 거의 모든 영역에 빅데이터가 쌓여 있다. 일찍이 천문학에서 빅데이터의 존재가 새로운 과학방법론으로 이어진 것처럼 지금은 모든 분야에서 빅데이터가 쌓여감에 따라 제조현장, 유통, 기업, 도시, 국가 등 거의 모든 영역에서 문제의 발견과 최적화, 그리고 의사결정에 이르기까지 새로운 빅데이터에 대한 접근이 필수적인 요소가 되는 것이다. 이러한 현상에 대해 2016년 다보스포럼의 클라우스 슈밥 의장은 제4차 산업혁명이라고 명명하며 인류에게 새로운 혁명의 시기가 왔음을 선언하고 있다.
의사결정을 최적화하는 빅 데이터 활용 빅 데이터 혁명 이전 20세기 동안 데이터를 분석했던 주요 분야는 통계학이었다.100년 전 영국의 “로널드 피셔”에 의해 본격적으로 발전한 통계학은 전수 데이터 분석은 현실적으로 불가능하다는 가정에서 출발한다. 그래서 모집단에서 표본을 추출해 가장 합리적인 추정을 통해 문제를 발견하고 예측하는 일을 해왔다. 예를 들어 반도체 장치에서 발생하는 엄청난 품질 관련 데이터를 모두 분석할 수 없었기 때문에 샘플링을 통해 일부를 추출하고 통계적 추정을 통해 품질검사를 실시했다. 그러나, 최근 빅 데이터 시대를 가능하게 한 기술인 GPU(Graphic Processing Unit)를 활용해, 반도체 생산 장치 자체에 부착한 컴퓨터로부터의 전수 데이터 처리, 즉 빅 데이터 분석이 가능하게 되어 있다.
표본추출을 통한 방법은 부득이 각 단계에서 사람에 의한 추정과 판단이 존재할 수밖에 없지만 기계기기에서 발생하는 모든 데이터를 처리하는 빅 데이터 분석은 사람에 의한 추정적 판단의 개입 여지가 현저히 줄어들게 된다. 이런 방식을 엣지 컴퓨팅이라고 하는데, 반도체 디바이스에 밀착한 컴퓨터로 전체 데이터 분석을 진행시켜 그 결과를 클라우드에 통합해 언제 어디서나 그 결과를 공유할 수 있게 된다. 빅데이터를 활용하는 엣지 컴퓨팅과 클라우드 컴퓨팅은 모든 조직에서 의사결정 프로세스의 최적화를 가능하게 하고 조직의 양태와 운영원리에 혁명적 변화를 가져올 것이다.
빅 데이터 시대의 핵심 역량인 데이터 리터러시 13세기 전 세계를 정복한 몽골 기병의 위대한 역량은 달리는 말 위에서 허리를 돌려 후방으로 화살을 날리는 능력이었다고 한다. 오늘날 스포츠 분야의 기술로서 의미 있는 역량이긴 하지만 당시에는 세계를 정복할 수 있었던 첨단 하이테크였다. 이처럼 시대에 따라 글로벌 경쟁력을 좌우하는 역량은 변화한다.◆가까운 예를 들면 말단사원으로 입사해 기술명장의 반열에 오른 대우중공업 김규환 명장의 말은 늘 감동을 주는 얘기다. 말단사원 시절 김규환 명장은 정밀기계의 품질 문제를 개선하기 위해 3년간 공장 바닥에 담요를 깔고 잠을 자면서 10분에 1도씩 온도와 금속 팽창과의 관계 데이터를 수집했다고 한다. 이러한 초인적 노력에 의해 수집한 데이터를 기본으로 정밀 기계 분야의 다대한 품질 향상을 가져왔다고 한다. 그러나 지금은 4차 산업혁명 시대, 빅 데이터 혁명 시대다. 반도체 제조라인의 장치에서 발생하는 데이터는 1초에 1,000개가 넘는다. 아무리 숙련된 전문가라도 사람의 능력은 1초에 1,000개가 넘는 데이터를 식별하여 기록할 수도, 판단할 수도 없다.
빅데이터 시대에는 초인적 집념과 열정으로 데이터를 수집한 전문가가 없어도 스마트한 IoT 센서가 너무 쉽게 데이터를 수집한다. 그렇다, 지금 이 시대에 새롭게 필요한 역량이란 데이터를 분석해 숨은 의미를 파악하고 목적에 맞게 활용할 수 있는 데이터 활용능력이다. 기업이나 사회 전반에 넘치고 있는 빅데이터를 잘 활용하고 연결해 새로운 인사이트를 얻을 수 있는 데이터 활용능력(literacy)이 개인과 기업 모두에게 필요한 시점이다. 13세기 몽골 기병의 활쏘기 능력이 세계 정복을 가능케 한 첨단 하이테크였다면 4차 산업혁명 시대의 글로벌 경쟁력을 갖추기 위해 필요한 역량은 빅데이터를 분석해 기업과 사회문제 해결에 잘 활용하는 데이터 활용능력인 것이다.
▲오픈소스 활용과 오픈 이노베이션=요즘의 빅데이터 분석 도구로 가장 주목받는 소프트웨어는 단연 R과 파이썬이다. R과 파이슨은 모든 90년대 초에 만들어진 무료 소프트웨어로 불과 10년 전만 해도 엑셀이나 SPSS 같은 훌륭한 상용 소프트웨어를 보조하는 역할에 불과했지만 지금은 대기업이나 공공기관에서도 앞 다퉈 도입을 검토하고 있어 직원들의 빅데이터 교육에 활용하고 있다. R과 파이슨은 상용 소프트웨어 외에 책임지고 개발하는 회사가 없으며, 개발자의 커뮤니티를 중심으로 개발되는 이른바 오픈 소스 소프트웨어이다. 오늘 밤 인터넷 게시판에 필요한 기능을 요청하면 다음 날 아프리카에 있는 한 개발자가 재능기부로 개발하고 내일 어떤 추가적인 요청을 하면 칠레의 한 개발자가 올리는 방식으로 유지된다.
과거에는 가격이 저렴하다는 점이 강점이었으나, 지금은 기능의 다양성과 효율성이 오히려 기존 상용 도구를 능가함에 따라 빅 데이터 시대의 필수 도구가 되고 있는 것이다. 놀랍게도 Microsoft, IBM 같은 거대 소프트웨어회사들을 제치고 이런 오픈소스 소프트웨어가 빅데이터, 인공지능 시대를 주도하고 있다는 것은 시사하는 바가 크다.
무엇이든 연결되고 있는 초연결 시대에 혼자서는 경쟁력을 유지하지 못하고 외부의 자원을 잘 끌어당겨 융합하는 오픈소스 생태계가 매우 중요해지고 있다. 특히 빅 데이터의 활용은 외부에 흩어진 데이터를 잘 조합해 분석했을 때 전문가도 알지 못했던 새로운 통찰을 얻을 수 있다. 빅 데이터 시대에는 오픈 소스 생태계를 잘 이해하고 활용하는 것이 곧 개인과 기업이 오픈 이노베이션을 하는 가장 좋은 방법이라 할 수 있다.
오픈소스를 활용한 빅 데이터 분석은 아이언맨 슈트를 입는 것과 같다.R과 파이썬은 필요한 기능이 패키지의 단위로 인터넷 리패지트리에 저장되어 있으며, 필요할 때 언제든지 무료로 내려받아 사용할 수 있고, 더 나아가 많은 공공데이터도 다양한 방법으로 쉽게 내려받아 사용할 수 있다. 또한 각종 코딩 샘플도 인터넷에 쉽게 공유되어 있으며, Copy & Paste 방식으로 목적에 맞게 조립하여 사용할 수 있다. CPU나 Memory 같은 어려운 컴퓨터 지식 없이도 자신의 업무에 대한 정확한 논리적인 지식만 있으면 손쉽게 데이터 분석과 코딩을 할 수 있기 때문에 이제는 전산요원이 아니더라도 누구나 R과 파이썬으로 자신의 데이터를 분석하고 디지털화할 수 있는 시대가 된 것이다. 자기 자리에 앉아 세계인의 훌륭한 아이디어나 무한한 능력을 쉽게 빌릴 수 있다면 이는 토니 스타크가 아이언맨 슈트를 입고 능력을 최대화하는 것과 비슷하다. 왜 흥분하지 않을 수 없을까.
조직문화로서의 데이터 활용 능력이 필요 무한한 글로벌 경쟁시대가 펼쳐지고 있는 이러한 빅데이터의 활용은 거의 모든 분야에서 개인이나 기업에 새로운 의사결정방식을 가져올 것이며 조직의 운영원리 또한 변화할 것이다. 오픈소스를 활용하는 빅 데이터로 무장한 개인과 기업은 몽골 기병처럼 글로벌 시장에서 경쟁력을 가질 수는 있지만 그렇지 않은 개인과 기업은 이 새로운 시대에 뒤떨어질 수밖에 없다. 그러면 당장 개인과 기업은 무엇을 해야 할까. 데이터 활용 능력은 시스템의 도입만으로는 실현될 수 없으며 전체 구성원의 문화로 정착되어야 한다. 따라서 개인과 조직의 데이터 활용능력 함양을 위한 다양한 교육이 필요하며 이것이 조직문화로 정착하려는 노력이 절대적으로 필요한 시점이다.
■성균관대 경영학과 겸임교수 권건우
