‘빅데이터’ 물류를 바꾸다

얼마 전 국내에서도 전 세계적인 핫이슈로 떠오른 ‘빅데이터(Big Data)'에 대해 기업 간의 제휴 및 정보교류를 위한 자리가 마련됐다. 지난 3월 서울대학교와 KMAC(한국능률협회컨설팅)은 빅데이터를 SCM전략의 일환으로 보고 SCM, 물류, 구매, 생산 담당 임원 중심의 커뮤니티를 형성하여 관련 업계의 발전 방향을 함께 모색해 보는 CSCO포럼을 개최했다. 이번 호에서는 지난 CSCO포럼의 주제였던 새로운 패러다임인 빅데이터, 그리고 물류산업에 어떻게 활용될 수 있는지 알아보고자 한다. <editor>

김철민 기자

오늘날 우리는 걷잡을 수 없이 많은 정보 속에서 살아가고 있다는 사실은 누구나 알고 있다. 정보의 양이 얼마나 방대한지 가늠하기 힘들 정도이다. 이에 대해 구글 회장인 에릭 슈미트는 “인류 문명이 시작된 이래 2003년까지 축적된 정보의 양과 이틀마다 새롭게 생겨나는 데이터의 양이 같다.”고 설명한다. 

바야흐로 ‘빅데이터’ 시대가 도래한 것이다. 즉, 기존의 관리 및 분석체계로는 감당할 수 없는 거대하고 복잡한 데이터의 집합이 출현하면서 지금까지와는 다른 방식으로 데이터를 분석, 관리해야 할 필요성이 대두된 것이다. 

특히 소셜 미디어에서 실시간으로 발생하는 비정형 데이터(텍스트, 이미지, 동영상)가 앞으로 전체 데이터에서 90%에 달할 것으로 전망되면서 단순히 현상의 결과를 파악하는 것을 넘어 다양한 키워드를 중심으로 사람들의 라이프스타일, 산업의 트렌드를 이해하고 브랜드 및 제품 모니터링이 가능해졌다. 

이처럼 빅데이터는 ‘정보가 곧 자산’이라는 전제 하에 경영환경의 판도를 바꿀 수 있는 새로운 기회로 다가온 것이다.   

<표1,2 설명: 데이터의 양이 기하급수적으로 증가하고 있는 가운데 이를 어떻게 관리할 것인지에 대한 고민의 결과로 나온 것이 빅데이터이다. 특히 기업 간 데이터 교환이 완만한 증가를 하는 것과 달리 웹 어플리케이션 데이터는 아주 빠르게 증가하고 있다.>

<표1. 텍스트>

Stored Digital Information(exabytes)

1970 / 1980 / 1990 / 2000 / 2010

Business Transation Data

Web Application Data

<표2. 텍스트>

Growth og Voice and Data Traffic onthe Internet (Terabytes / Month)

60000 / 50000 / 40000 / 30000 / 20000 / 10000 / 0

1997 / 2000 / 2005/ 2010 / 2015 / 2020

Credit: walton.com :volume of data

*Data based on research sources as cited in the Google FCC Filling of June 16,2011

◈빅데이터의 동인: 3Vs 

빅데이터를 정의함에 있어서 가장 널리 활용되는 것이 3Vs이다. 데이터가 3가지 차원, 즉Volume(데이터 규모), Velocity(데이터 속도), Variety(데이터의 다양성)에서 빠르게 증가하게 되면서 빅데이터가 대두된 것이다. 이 3Vs를 알면 빅데이터의 속성을 쉽게 파악해 볼 수 있다.

◈Volume(데이터규모)

사람들이 이틀 동안 쏟아내는 정보의 양이 약 5엑사바이트(Exabyte: byte)에 이른다. 따라서 이렇게 방대한 규모의 데이터를 저장하고 필요할 때 효율적으로 꺼내 쓸 수 있는 기술이 등장하게 되었다. 현존하는 대표적인 빅데이터 도구로 하둡(Hadoop)과 IBM의 Netezza, HP의 Vertica와 같은 병렬프로세스 데이터베이스가 있다. 

 

◈Velocity(데이터속도)

데이터가 생겨나고 공유되는 빈도수를 말한다. 오늘날 모바일 및 PC와 같은 기기가 보편화 되면서 데이터 속도는 빠르게 증가하였다. 이에 따라 실시간으로 생성되는 데이터를 분석하고, 텍스트 안에 내포된 사람들의 의견을 포착하여 새로운 패턴을 발견해 내는 것이 매우 중요해졌다. 핵심 기술로는 ‘스트리밍 프로세스’, ‘콤플렉스 이벤트 프로세스’가 있다.    

◈Variety(데이터 다양성)

기기의 발달과 소셜미디어의 등장은 데이터의 종류를 다양화시켰다. 데이터는 더 이상 일정한 구조를 띠지 않는다. 텍스트, 이미지, 영상, 위치정보, 행렬, RFID, 로그데이터 등 비정형 데이터는 과거에 숫자 및 코드를 다루었던 데이터 분류방식의 적용이 불가능할 정도로 복잡성이 증대되었다. 따라서 현재는 빅데이터 분석을 위한 툴로 데이터 마이닝, 텍스트 분석, 음성 분석 등이 활용되고 있다. 

◈빅데이터의 진화과정
그렇다면 빅데이터 이전에는 과연 어떠한 기법과 시스템이 활용되었을까? 앞서 언급한 3Vs를 중심으로 빅데이터의 진화과정을 도식화 해 보면 다음과 같다.

<표4>

Petabytes / Terabytes / Gigabytes / Megabytes

Increasing Data Variety and Complexity

ERP / CRM / WEB / BIG DATA

가로축은 데이터의 복잡성을, 세로축은 데이터의 양을 나타낸다. 데이터의 복잡성과 규모가 증가함에 따라 이를 분석하는 시스템 기법이 ERP, CRM, WEB, 그리고 BIG DATA 순으로 발전하게 된다. ERP, SCM, CRM 범위에서는 데이터가 대개 정형화 되어 있으며 데이터 교환이 일정한 방향에 따라 이루어진다. 하지만 빅데이터에서는 데이터가 단순히 교환되는 차원을 넘어 실시간으로 관찰되고 상호작용이 발생한다. 

 

◈빅데이터 마켓의 기회

그렇다면 세부적으로 빅데이터가 요청되는 핵심 배경은 무엇일까? 골드만 삭스 포럼에서 논의 된 바에 따르면 빅데이터가 다음 3가지 분야에서 제기된 문제들을 해결할 수 있는 열쇠가 될 수 있다. 

①비즈니스

-. 혁신적인 비즈니스 모델을 가능케 하는 기회가 존재하는가?

-. 무엇이 기업의 경쟁 우위를 이끌 수 있는 잠재적 가능성을 내포하는가?

②기술

-. 기하급수적으로 증가하는 데이터를 어떻게 수집하고 저장할 것인가?

-. 점점 다양한 형태로 산발적으로 생성되는 데이터를 어떻게 포착할 것인가?

-. 무엇이 기존의 데이터 분석 도구를 대체할 수 있을 것인가? 

③재무

-. 전체 IT 비용대비 데이터 시스템이 차지하는 비중이 증가하고 있다.

◈빅데이터의 활용 분야
기업의 핵심 전략을 정보를 토대로 수립된다. 그리고 유의미한 정보는 ‘데이터’를 기반으로 한다. 따라서 데이터는 가치창출의 근원이라고 할 수 있다. 이것이 빅데이터가 주목 받는 이유이기도 하다. 이에 따라 많은 기업들이 데이터 기반의 경영 방식을 시도하고 있으며 실제로 영국 주간지 이코노미스트의 조사 결과에 따르면 빅데이터를 활용함으로써 SCM 효율성을 높이는데 성공했다. 

 

<표5> 

Important / Notimportant

Marketing and communications

Regulatory compliance

Logistics

Information technology

Strategic decision-making

Customer service

Product development

위 그래프는 ‘기업에서 빅데이터가 구체적으로 어느 부서에서 가장 중요하게 활용되는가?’ 에 대한 문항이다. 전략 의사결정, 마케팅/커뮤니케이션, 고객서비스, 제품개발, IT, 물류, 인력관리 순으로 중요도가 높은 것으로 나타났다. 이를 통해 제품개발 단계부터 전략수립에 이르는 SCM전반에 빅데이터가 중요한 역할을 하고 있음을 알 수 있다. 

고객에 대한 깊은 이해는 혁신을 위한 발판을 제공한다. 단순히 새롭고 성능 좋은 제품을 생산함으로써 고객을 확보하려는 생각 보다는 빅데이터를 이용하여 고객의 경험에 혁신을 더하려는 것이다. 그리고 고객의 더 나은 경험은 기업에게는 그들이 하는 사업의 높은 수익성을 의미한다. 

사실상 많은 기업들이 여전히 고객을 제대로 이해하지 못한 채 더 많은 고객을 끌어들이려는 잘못된 전략을 구사하고 있다. 이제는 온라인, SNS에 표현된 고객의 생각, 느낌 등을 통해 고객 각각의 취향과 패턴을 파악하여 그에 맞는 마케팅과 커뮤니케이션을 함으로써 로열티를 증대시켜야 할 필요가 있다. 즉, 전략은 제품에 있는 것이 아니라 고객에게 있는 것이다.

◈데이터 중심의 사고방식 키워야

오늘날 몇몇 졸업생들은 ‘데이터 기술자’ 라는 다소 생소한 꿈을 가지고 대학을 떠나고 데이터 중심의 기업이 대거 생겨나고 있다. 빅데이터의 영향력은 지속될 예정이며 따라서 데이터를 가둬두는 조직은 그것을 내부적으로 공유하거나 다른 기업에 되파는 조직에 비해 뒤쳐지게 될 것이다. 

데이터의 파워가 점점 확실해져 가고 있는 것을 감안하면 끝내 소멸할 가능성도 배제할 수 없다. 우리는 이미 막강한 힘을 가지고 있는 정보의 흐름이 전환의 계기로도 작용할 수 있음을 예상할 수 있다. 맥킨지의 연구 결과에 따르면 빅데이터를 이용하여 효율성과 퀄리티를 높였을 경우, 미국의 헬스서비스 사업 한 분야에서만 매년 약 3000억 달러의 가치가 창출되는 것으로 나타났다. 

글로벌 경영 환경에서 복잡한 데이터 기술과 경쟁우위를 이끌 수 있는 지식을 겸비한 인력을 확보하고 이를 통해 심사숙고를 거친 데이터 전략을 수립하는 것은 이제 필수사항이다. 한마디로 정리하면 ‘데이터 중심 사고’ 이다. 경영자들은 자원을 분배하고 목표를 설정할 때에 항상 데이터를 기반에 두어야 할 것이다.  

   

Trend Monitor - 소셜 미디어를 통한 마켓 리서치

몇몇 제품들, 특히 소비재는 페이스북, 트위터, 블로그를 비롯한 온라인 플랫폼에서 자주 회자된다. 매일 수십만 건의 트윗과 페이스북 메시지가 공유된다. 이러한 데이터를 수집하고 분석하는 사람들은 그들의 책상에서 소비자들의 감정상태를 읽을 수 있는 통찰력을 가지게 된다. 

물론 의문점이 생길 수 있다. 트위터나 페이스북과 같은 소셜미디어를 사용하는 주 연령층은 20~40대에 치우쳐져 있어서 가령 소셜상에서 수집한 데이터를 바탕으로 새로운 차를 출시한다고 했을 때 나머지 연령의 고객들에게는 그 제품이 맞지 않을 것이라고 볼 수도 있다. 

하지만 소셜네트워크를 활발히 이용하는 연령층의 대표성은 점점 커져가고 있으며 조만간 통계적으로 편중된 데이터를 다룰 수 있는 기법이 개발될 것이다. 또한 모든 트윗이나 페이스북 메시지에 담긴 감정을 읽는 것이 불가능하지만 어느 정도의 유의수준을 가지고 분석할 수 있는 방법은 존재한다. 

심지어 인공지능연구자는 사람들의 빈정대는 말투까지도 식별해 낼 수 있는 선행기술을 개발해 놓았다. 모든 소셜네트워크에 걸쳐 브랜드와 제품에 대한 사람들의 반응을 추적하는 소프트웨어 패키지와 이로부터 가치 있는 정보를 추출하는 기술을 제공하는 공급자들도 있으니 마켓리서치의 혁신을 시도해 보는 것은 어떨까?