급증하는 다양한 포맷의 데이터에서 비즈니스 가치를 발견하라
테라데이타, 'SQL-맵리듀스(SQL-MapReduce)'활용으로
고객 데이터에 대한 통찰력 제고 강조

빅 데이터 분석, 데이터 웨어하우징 및 통합 마케팅 관리 분야 전문기업인 한국 테라데이타(대표 박진수, www.teradata.kr)는 오늘, 본사가 다양한 포맷의 정보 데이터가 급증하는 상황에서 분석 프로세싱 프레임워크인 'SQL-맵리듀스(SQL-MapReduce?)'를 활용해 고객 데이터 분석에 대한 통찰력을 제고해야 함을 강조했다고 밝혔다.

실제로 데이터 볼륨은 매일 액사바이트(Exabyte =1000 PB)씩 급증하고 있으며, 기업들은 이러한 복잡한 빅 데이터의 클릭 스트림(사용자들이 인터넷에서 보내는 시간 동안 방문한 웹사이트를 기록한 것)에 대한 이해를 시작하고 있다.

테라데이타 연구소(Teradata Labs)의 사장 스캇 나우(Scott Gnau)는 "기업들은 비즈니스에 대한 이해도를 높이기 위해 데이터웨어하우스(DW)를 기존에 보유하고 있던 기업 데이터 뿐만 아니라 새로운 소스에서 발생되는 새로운 멀티 스트럭쳐 데이터(multi-structured data)의 세계로 확대할 수 있는 방안에 대해 많은 관심을 가지고 있다"고 말하고, "이를 지원하기 위해 우리는 테라데이타 애스터(Teradata Aster) 기술을 적용하는 방안을 제시하고 있다. 이러한 특별하고 혁신적인 기술 적용을 통해 비용이 절감되고, 관리 효율성과 데이터 분석의 배치성(deployability)을 향상시킨다"고 말했다.

또한 그는 새롭게 발생되었거나 또는 기존의 빅 데이터 타입은 새로운 분석 및 어플리케이션을 필요로 한다고 말하고 테라데이타와 애스터 플랫폼의 결합이 신속하고 실용적인 통찰력을 얻을 수 있는 이상적인 빅 데이터 관리 조합임을 강조했다. 또한 테라데이타는 대부분의 다른 벤더가 제공하지 못하고 있는 테라데이타 애스터(Teradata Aster) 분석 플랫폼 환경인 설치 엔진(a deployment engine)을 보유하고 있다고 밝혔다.

▲ (왼쪽부터) 스캇 나우 사장, 마양크 바와 부사장, 스테파니 맥레이놀즈 이사

테라데이타의 자회사 애스터 데이터의 개발 담당 부사장 마양크 바와(Mayank Bawa)는 "우리는 이미 몇 년 전에 새로운 분석 기능의 필요성을 인식했다. 이에 애스터는 SQL(데이터베이스 검색언어: Structured Query Language)와 대규모 분산처리 분야에서 널리 쓰이고 있는 하둡(Hadoop) 기반의 구글 맵리듀스(MapReduce) 기술을 결합시킨 혁신적인 분석 프로세싱 프레임워크인 'SQL-맵리듀스(SQL-MapReduce)'을 통해, 고객들은 빅 데이터에 대해 익숙한 SQL 툴을 사용하고 동시에 맵리듀스의 유연성을 이용하여 비즈니스 데이터 분석 작업을 수행할 수 있다"고 말하고,  "우리는 표준 딜리버리 툴(standard delivery tools)을 위해 플랫폼을 통합하여 다양한 사용자가 쉽게 사용할 수 있도록 하였으며, 그 기술에 대해 미국 특허를 취득했다"고 말했다.

테라데이타 애스터의 제품 마케팅 이사 스테파니 맥레이놀즈(Stephanie McReynolds)는 "오늘날, 전체 기업 데이터의 80%가 표준 관계형 형식이 아닌 멀티 스트럭쳐(multistructured) 포맷이기 때문에 분석, 이해 및 평가가 어렵다. 이러한 데이터들은 고객과의 서비스 및 지원을 위한 연계 등 많은 소스 그리고 소셜 미디어 사이트(귀사의 고객들과 접촉하는 온라인 창구로 활용하고 있는)로부터 발생한다. 데이터는 기업 웹사이트 와 텔레매틱스 및 센서로부터(and sensors as well as telematics)로부터 발생한다"고 말하고, "아직 빅 데이터 전략을 수립하지 않거나 그 실천 계획을 마련하지 않은 기업들은 독보적인 비교우위를 확보하기 위한 준비가 시급하다"고 말했다.

빅 데이터는 테라데이타 고객들이 가장 중요시하게 생각하는 부분으로, 오는 10월 2일부터 6일까지 美 샌디에고 컨벤션 센터에서 열리는 '2011 Teradata 파트너스 사용자 그룹 컨퍼런스'에서 30 세션 이상이 빅 데이터 분석에 초점을 맞추어 소개될 예정이다. 이번 행사는 빅 데이터 분석을 포함하여 많은 발표 세션들이 고객들이 관심을 가지고 있는 내용에 초점을 맞추어 구성되었다.

세계 최대 소셜네트워크서비스(SNS)인 링크드인(LinkedIn)의 선임 데이터 연구원인 스캇 니콜슨(Scott Nicholson)은 '링크드인의 예측 모델링 및 데이터를 통한 제품 통찰(Predictive Modeling and Data-Driven Product Insights at LinkedIn)'이란 주제로 세션을 맡아 발표한다. 그는 "데이터 견인 서비스(data-driven service)를 제공하며 데이터 분석을 통해 경쟁력을 확보하고 있는 기업들은 빅 데이터의 신속한 분석을 통한 적용이 필요하다"고 강조했다.

이와 함께 진행되는 다른 빅 데이터 발표 세션들로는 SAS와 심도 있는 교육 및 리서치를 수행하는 선도업체인 TDWI(데이터 웨어하우징 인스티튜트, The Data Warehousing Institute)가 있으며, 특히 이베이의 분석 플랫폼 선임 이사 올리버 래치스버거(Oliver Ratzesberger)는 '이베이의 데이터 특이성 및 익스트림 분석[Data Singularity and Extreme Analytics]'에 대해 발표한다. 테라데이타의 CTO 스티븐 브롭스트(Stephen Brobst)는 테라데이타 애스터의 CTO인 태소 아기로스(Tasso Argyros)와 함께 '빅 데이터를 이용한 심층 분석(Do More with Your Data: Deep Analytics Using Big Data)'이라는 주제로 공동 발표에 나선다.

스테파니 맥레이놀즈(Stephanie McReynolds)는 "많은 벤더 및 전문가들이 빅 데이터 분석의 미래에 대해서 논의만 하고 있을 때 테라데이타 애스터의 많은 고객들은 첨단 분석 플랫폼 배치로 이를 이미 적용해 활용하고 있다"고 말했다.

애스터의 'SQL-맵리듀스(SQL-MapReduce?)'는 테라데이타 전용 제품군의 탁월한 데이터 관리 기능에 애스터의 첨단 분석 툴이 통합되어 테라데이타의 빅 데이터 분석 솔루션으로 완성됐다. 애스터의 'SQL-맵리듀스(SQL-MapReduce?)'는 데이터 분석가 및 비즈니스 분석가들이 복잡한 정보에 대한 신속하고 정확한 분석을 수행할 수 있는 프레임워크다. 그 프레임워크를 통해 자바, C#, Python, C++ 및 R 등 컴퓨터 언어의 절차 표현이 컴퓨터 클러스터간에 병렬화될 수 있으며, 표준 SQL을 이용하여 실행될 수 있다.

마양크 바와(Mayank Bawa)는 "당사의 SQL-맵리듀스 특허 기술을 채택한 기업들은 이전에 경험하지 못한 새로운 무한 멀티 스트럭쳐형 데이터소스(multi-structured data sources) 스펙트럼을 통해 보다 쉽게 미래의 가능성을 확인, 탐구 및 이해할 수 있다"고 말했다.

스캇 나우(Scott Gnau)는 "새로운 데이터 형식은 실제 트랜잭션에 연동되거나 연동되지 않는 많은 상호작용의 맥락에서 분석 및 이해되어야 한다"고 말했다. 사용자들이 발생하는 사항 그리고 데이터 내용에 따른 최적의 대응 방안에 대한 전체적 구도를 만들기 위해 많은 형식(형식화된 텍스트 또는 무형식 텍스트를 포함하며 모두 그 중 일부는 고유 랭귀지를 갖는다)을 강구함에 따라 복잡성 해결이 중요 과제가 되고 있다. 이에 스캇 나우는 "여러 새로운 문제들이 강구되고 해결되어야 하며, 그에 따른 비즈니스 인텔리전스(BI)는 종종 실시간으로 실행되어야 한다"고 말했다.

이규빈 기자 nazo@noteforum.co.kr

[디지털 모바일 IT 전문 정보 - 노트포럼]
Copyrights ⓒ 노트포럼, 무단전재 및 재배포 금지