인텔은 빅데이터를 사용할 수 있도록 돕는 '인텔? 아파치 하둡' 소프트웨어를 출시했다. 인텔? 아파치 하둡 매니저를 포함한 이번 제품은 업계 선도적인 성능과 향상된 보안성을 제공하도록 인텔 반도체 제품군의 관련기술을 활용하여 설계되었다고 인텔측은 설명했다.

빅데이터 분석 및 이해 능력은 새로운 과학적 발견과 비즈니스 모델, 소비자 경험을 가능하게 함으로써 인간 사회를 변화시킬 수 있는 놀라운 잠재력을 가지고 있다. 그러나 현재의 기술과 테크닉이 지금과 같은 형태의 데이터들을 분석하기에는 융통성이 없거나, 구축 비용이 많이 들기 때문에 현재 전체 정보 중 의미 도출이 가능한 부분은 일부분에 불과했다.

하둡은 다양하고 많은 양의 데이터를 확장 가능한 서버 클러스터에서 저장하고 처리하기 위한 오픈 소스 프레임워크로써 빅데이터 관리에 적합한 플랫폼으로 선호되고 있다. 향후 수많은 센서와 지능형 시스템으로부터 보다 많은 정보가 생성될 것으로 예측되는 가운데, 이 프레임워크는 반드시 확장이 가능한 공개 플랫폼으로 유지되어야 하며, 엔터프라이즈급 성능, 보안 및 손쉬운 관리 능력에 대한 까다로운 요건을 충족시킬 수 있어야 한다.

인텔 데이터센터 소프트웨어 부문 총괄 매니저 겸 부사장 보이드 데이비스(Boyd Davis)는 "사람과 기계는 악천후를 정확하게 예측하기도 하고 불치병을 위한 맞춤 치료법을 개발하는 등 다양한 방식으로 인간의 삶을 질적으로 향상시켜 줄 수 있는 가치 있는 정보를 만들어낸다"며, "인텔은 업계가 혁신의 한계를 극복하고 빅데이터의 무한한 잠재력을 실현시킬 수 있는 보다 나은 기반을 마련하기 위해 오픈 소스 커뮤니티 지원에 전력을 다하고 있다"고 말했다.

인텔은 급속히 발전하고 있는 빅데이터 분석과 보조를 맞출 수 있는 아파치 하둡 상에 구축된 혁신적인 공개 플랫폼을 제공하고 있다. 인텔 배포판은 최초로 인텔? 제온? 프로세서에 인텔? AES-NI(Intel? AES New Instructions)를 탑재해 전체 암호화가 가능하다. 하둡 분산 파일 시스템(Hadoop Distributed File System)의 실리콘 기반 암호화(silicon-based encryption) 지원을 통합하여 이제 조직들은 성능 저하 없이 안전하게 데이터 세트 분석을 할 수 있다.

또한 인텔 제온 프로세서 플랫폼에서 네트워킹과 IO 기술을 위한 최적화는 한층 높은 수준의 분석 성능을 제공한다. 이전에는 1테라바이트(terabyte)의 데이터 분석에 4시간 이상의 처리 시간이 소요된 반면, 현재 인텔의 하드웨어와 인텔 배포판의 조합으로는 7분1만에 가능하다. 인텔은 현재 매 11초마다 HD 비디오 13년의 양과 맞먹는 1페타바이트(PB)(1000 테라바이트(TB))의 데이터가 생산되고 있다고 추정하고 있으며, 이를 고려할 때 인텔의 기술은 보다 큰 가능성들을 제공할 수 있다.

예를 들어 병원에서 수백만 건의 전자적 의료 기록과 공적 건강 자료 및 사고 기록(claims record)등의 데이터 분석을 통해 도출된 정보들은 의료제공자들이 더 빠르고 정확한 진단을 내리고 약물의 효능과 약물의 상호작용, 권장 투여량 및 잠재적인 부작용까지 결정할 수 있도록 지원함으로써 환자 치료를 개선하는 데 도움을 줄 수 있다.  또한 전세계적으로 실행되고 있는 의료 및 결제 정보 보호에 관한 엄격한 가이드라인은 이러한 분석이 진행되는 과정에서의 보안 및 프라이버시 유지를 필수적으로 지키도록 하고 있다.

또 인텔 아파치 하둡 매니저(Intel? Manager for Apache Hadoop)는 새로운 응용프로그램 설치에 관심을 갖는 시스템 관리자들을 위해 클러스터의 구현, 구성 및 감시를 더욱 간소화시킨다. 지금까지는 이 작업을 위해 하둡 구성 및 성능 벤치마크와 함께 각 애플리케이션의 시스템 자원 이용에 대한 전문적인 이해가 요구됐지만, 아파치 하둡 소프트웨어를 위한 인텔? 하둡 액티브 튜너(Intel? Active Tuner for Hadoop)는 어림짐작으로 성능을 튜닝하지 않도록 최적 성능을 자동으로 구성한다.

인텔은 전략적 파트너들과 함께 이 소프트웨어를 다수의 차세대 플랫폼 및 솔루션에 통합하고, 퍼블릭 및 프라이빗 클라우드 환경에 구현이 가능하도록 협력하고 있다. 1degreenorth, AMAX, Cisco, Colfax Corporation, Cray, Datameer, Dell, En Pointe, Flytxt, Hadapt, HStreaming, Infosys, LucidWorks, MarkLogic, NextBio, Pentaho, Persistent Systems, RainStor, Red Hat, Revolution Analytics, SAP, SAS, Savvis, a CenturyLink company, Silicon Mechanics, SoftNet Solutions, Super Micro Computer, Inc., Tableau Software, Teradata, T-Systems, Wipro 및 Zettaset 등의 파트너사에서 인텔 출시를 지원하고 있다.

이 새로운 소프트웨어는 인텔의 포괄적인 데이터센터 컴퓨팅, 네트워킹, 스토리지 및 인텔리전트 시스템 제품 포트폴리오를 확장시킨다. 최근에 소개된 인텔 인텔리전트 시스템 프레임워크(Intel? Intelligent Systems Framework)는 인텔리전트 장치들의 연결성, 관리성 및 보안의 일관적이고 확장 가능한 방식으로 설계된 상호운용 솔루션 세트로, 디바이스로부터 데이터센터에 이르는 엔드투엔드 분석을 위해 중요한 정보를 수집, 분석 및 전달할 수 있는 기반을 마련한다.

아울러 인텔은 빅데이터 생태계를 발전시키기 위해 지속적으로 연구와 자본 투자를 진행하고 있다. 인텔 연구소(Intel Labs)는 대용량 데이터 세트를 그래프로 구성하여 데이터간 관계를 시각화하기 위한 라이브러리 아파치 하둡을 위한 인텔? 그래프 빌더(Intel? Graph Builder) 소프트웨어 개발 등 첨단 분석 연구를 진행 중이다. 인텔 그래프 빌더는 대량의 커스텀 코드 개발의 필요성을 제거하여 개발 시간을 줄일 수 있도록 인텔 배포판에 최적화되어 있다. 한편 인텔 캐피탈(Intel Capital)은 MongoDB 회사인 10gen 및 빅데이터 분석 솔루션 제공업체 Guavus Analytics를 비롯해 혁신적 빅데이터 분석 기술에 막대한 투자를 해 왔다.

인텔? 아파치 하둡에 대한 자세한 내용은 www.intel.co.kr/content/www/kr/ko/it-managers/apache-hadoop-framework-presentation.html 에서 확인할 수 있다.

김종렬 기자 obtain07@noteforum.co.kr

[디지털 모바일 IT 전문 정보 - 노트포럼]
Copyrights ⓒ 노트포럼, 무단전재 및 재배포 금지