“압도적인 규모와 기술, 그리고 보안” 워싱턴 퀀시의 MS 데이터센터 이모저모

어떤 IT 종사자들은 데이터센터를 찾기 위해 수 천 개의 데이터센터를 살펴본다. 이 모든 것들은 모습과 느낌과 냄새가 똑같다. 수 십 줄의 랙(Rack), 올림 바닥, 케이블, 수 백만 개의 깜빡이는 조명이 일반적인 데이터센터 경험을 구성하며 이제는 데이터센터 디자인의 예술이 과학의 수준에 도달했다고 생각하는 사람도 있을 것이다.

하지만 클라우드 거대 기업인 마이크로소프트, 아마존, 구글의 경우 데이터센터가 고정 불변의 것이 아니다. 그보다는 서버가 더욱 강력해지고 성능 비용이 점차 저렴해지며 컴퓨터의 성능 부족이 감소하고 규모가 거대해지면서 세대를 거듭하며 발전한다. 수 백만 대의 서버가 있는 데이터센터를 다른 수준에서 운영하고 있으며 긴밀한 보안까지 완성하면서 각 거대 기업들인 수 백만 대의 서버를 운영하는 방식이 경쟁 우위라고 생각한다.

필자는 지난 달 마이크로소프트가 말하는 데이터센터 혁명이 무엇인지 보기 위해 워싱턴의 퀸시에 위치한 데이터센터 그룹 투어의 일환으로 그 이면의 모습을 살짝 훔쳐볼 수 있는 기회를 얻었다. 우리 그룹은 사진을 촬영할 수 없었지만 마이크로소프트는 필자가 투어에서 본 것과 정확히 일치하는 이미지를 제공했다. 클라우드와 하이퍼스케일(Hyperscale)이 데이터센터를 조합하는 방식을 어떻게 바꾸고 있는지 살펴보도록 하자.

퀸시: 크롭(Crop)과 클라우드

워싱턴의 퀸시는 워시턴의 농업 도시일 뿐만 아니라 2006년에 연 마이크로소프트의 오래된 데이터센터 중 한 곳이다. 이 사진은 다양한 워크로드를 관리하는 거대한 퀸시 캠퍼스를 구성하는 270에이커 면적의 일부일 뿐이다. (또한 마이크로소프트 애저 시설이 현재의 시설 인근에 건설되고 있다. 당시 공사 중이었기 때문에 애저 시설은 돌아보지 못했다).

마이크로소프트는 상대적으로 온화한 기후, 낮은 습도, 엄청난 양의 서버를 위한 저렴하고 풍부한 수력 발전 전기의 근원인 콜럼비아 강과의 근접성 때문에 퀸시를 선택했다. 기후 자체 덕분에 단열 냉각을 사용할 수 있어 외부의 공기를 다양한 온도의 물과 혼합하여 데이터센터 캠퍼스에서 필요한 상당 부분의 냉각을 제공한다. (야후를 포함하여 다른 업체의 데이터센터도 이 지역에 있다.)

사실: 마이크로소프트는 워싱턴의 리치몬드(Richmond) 본사 및 캠퍼스에 1989년 최초의 데이터센터를 열었다.

전통적인 데이터센터 접근방식 또는 "1세대"



퀸시 데이터센터의 일부는 예상대로이다. 수 백 줄의 랙과 서버 및 네트워크 장비로 가득 차 있다. 이 공간들은 팬이 회전하는 수 백 대의 서버가 뜨거워지기 때문에 일반적으로 거대한 에어컨으로 냉각한다. (이 때문에 많은 데이터센터 운영사들이 기본적으로 일부 컴퓨터를 연결하여 거대한 에어컨을 가동하고 있다고 말한다).

마이크로소프트가 말하는 "1세대" 데이터센터에서는 랙 장비로부터 배출되는 열을 억제하기 위해 전통적인 데이터센터 구성에 열복도(Hot Aisle)를 구성했으며 이런 복도는 올림 바닥을 통해 공조 공기를 통과시키는 전통적인 냉각기로 냉각한다. 물론, 이런 냉각기는 엄청난 전력을 소모한다. 열복도는 열 손실을 제한하기 위해 단열 플라스틱으로 밀봉되어 있다. 랙의 전면은 일반 공기에 노출되어 있으며 단열되어 있지 않아 서비스 작업 및 문제 해결을 위해 좀 더 쉽게 접근할 수 있다. 그 결과가 더운 공기를 격리하여 냉각 및 에너지 비용이 꽤 감소한 서버실의 전통적인 구성이다.

흥미롭게도 이런 벽체 내부에서 기계가 차지하는 공간이 감소하고 있다. 퀸시 캠퍼스의 각 부분은 일정 메가와트 수로 등급을 매긴 데이터센터로 간주된다. 서버와 네트워킹 하드웨어가 더욱 효율적으로 변하면서 장비는 시간이 지남에 따라 더 적은 수의 기계로 통합되고 하드웨어들은 전체적으로 운영을 위한 메가와트 수가 감소한다. 그 결과, 일정 수의 메가와트를 위해 구축한 시설의 일부분이 더 이상 용량에 가깝지 않게 되었다. 우리가 볼 수 있었던 베이(Bay)의 상당 부분이 비어 있었으며 올림 바닥의 타일은 공기만 지탱하고 있을 뿐이었다.

사실: 마이크로소프트의 데이터센터는 항상 200개 이상의 온라인 서비스를 제공한다.

서버와 네트워킹의 컨테이너화



약 10년이 지나면서 마이크로소프트는 새로운 데이터센터를 구축할 때 서버 부하의 컨테이너화를 실험하기 시작했다. 마이크로소프트는 기본적으로 데이터센터의 사양을 하나의 상자로 설계하고 대형 컴퓨팅 벤더들이 서버, 네트워킹 장비, 전원 공급장치, UPS로 구성된 "POD"를 제공하기 위해 경쟁하도록 했다. 마이크로소프트는 이것들을 전원에 연결하고 필요한 업스트림 네트워킹을 제공하며 이것들이 데이터센터 현장에 인도되었을 때 말 그대로 냉각을 위해 전원용 호스만 붙잡고 있으면 되었다.

이 컨테이너 개념의 다양한 버전과 개정 버전이 존재하며 마이크로소프트는 이를 "ITPAC"이라고 부르고 그 중 둘을 위에서 볼 수 있다.

이때부터 데이터센터를 관리할 수 천 개의 개별적인 서버가 아니라 단일 유닛으로 보기 시작했으며, 하이퍼스케일로 관리할 때는 중요한 사항이다. 물론, 마이크로소프트 애저는 자격을 갖추고 있다. 마이크로소프트는 자사 제품에서 소프트웨어 정의 네트워킹과 데이터센터를 강조하고 있지만 그 주된 이유는 소프트웨어 정의 네트워킹 사용이 마이크로소프트가 온라인 서버를 구성하는 수 백만 대의 서버를 관리하는 방식이기 때문이다.

"ITPAC"에 따라 수 천 대의 서버와 네트워킹 장비를 주문하면서 개별적인 하드웨어 조각들이 하는 일에 대해 잊어버리기 십상이며, 시스템 관리 소프트웨어를 통해 경로, 워크로드, 시스템 대체 작동 절차 등을 손쉽게 재정의할 수 있다.

사실: 마이크로소프트는 자사 데이터센터에 있는 물리적인 서버의 수가 100만 대 이상이라고 밝혔다ITPAC

 

마이크로소프트는 처음에 ITPAC를 (이름을 밝힐 수 없는 대형 OEM들로부터) 주문했으며 안정된 온도와 습도를 유지하는데 도움이 되는 콘크리트 바닥, 안전한 벽, 단순한 지붕을 갖춘 소박한 구조물에 보관할 계획이었다. 이 사진은 ITPAC를 보관했던 초기의 시설이다. 사실 냉각되는 시설은 아니며 여기에서 ITPAC는 지붕을 설치하기 전에 비바람과 날씨에 노출된 채 운영되고 있었다. ITPAC는 자체적으로 냉각이 통합되어 있기 때문에 이렇게 작동할 수 있다. 진정으로 자립적인 데이터센터이다.

한 가지 재미 있는 이야기가 있다. 퀸시에서의 추운 겨울에는 지붕이 열려 있는 상태에서 눈이 내려 이 부분을 덮게 된다. 왼쪽에 보이는 배플(Baffle)이 추가되어 대부분의 경우 자연의 영향을 차단한다.

사실: 마이크로소프트는 전 세계적으로 100개 이상의 데이터센터를 보유하고 있다.

"쓸데 없는 건물을 버려라."



초기 ITPAC 세대들을 "서버 컨테이너"로 분류할 수 있다면 ITPAC의 두 번째 물결에서 얻은 교훈은 "쓸데 없는 건물을 버려라"다. 퀸시 캠퍼스에는 수 백 줄의 최신 세대 ITPAC가 있었으며 말 그대로 콘크리트 패드 위에서 외부의 비바람에 노출되어 있었다. 유닛이 자립적이기 때문에 이런 데이터센터 컨테이너가 퀸시처럼 상대적으로 온화한 기후 지역에서 비바람과 자연에 노출될 위험이 정말로 낮다.

마이크로소프트는 애저 클라우드 서비스를 구축하고 개별적인 온라인 서비스를 점차 애저 플랫폼으로 이전하면서 ITPAC 모델을 포기했다. 마이크로소프트가 자사 클라우드 서비스의 성장에 따라 이 모델을 충분히 확장할 수 없었다. 대신에 해당 기업은 OCP(Open Compute Project)의 일환으로 사용자 정의 디자인을 가진 수 만 대의 서버를 구매하는 쪽으로 생각하고 있다. (이 부분에 대해서는 뒷부분에서 자세히 다루도록 하겠다).

사실: 마이크로소프트의 데이터센터에는 30조 개 이상의 데이터 조각이 보관되어 있다.

ITPAC 안에는 무엇이 있는가?



마이크로소프트는 본래 자사의 시카고 데이터센터를 위해 ITPAC 인프라를 지정했다. 이 1세대 ITPAC는 퀸시에서 사용한 적도 없기 때문에 이를 시험하거나 이후의 세대와 비교 대조할 수 없었다. 하지만 그 개념은 여전했다. "우리에게 서버, 네트워킹, 전력 설비를 박스로 납품하면 우리는 전력, 네트워크, 물에 연결하고 모든 세부사항은 내부에서 처리한다."

ITPAC의 내부는 압축되긴 했지만 일반적인 데이터센터처럼 보인다. ITPAC 자체는 앞서 모델화한 "일반적인" 데이터센터와 마찬가지로 영역을 열복도와 냉복도로 격리시킨다. 하지만 각 업체의 ITPAC 프로필은 달랐다. 한 업체는 선적용 컨테이너에 기초하고 ITPAC를 구축했으며 다른 업체는 임시 건축용 트레일러 또는 큰 두 배 넓이의 트레일러 같은 ITPAC를 납품했다.

사실: 마이크로소프트의 데이터센터는 매 초 150만 개의 요청을 처리한다.보안이 무엇보다도 중요하다

마이크로소프트의 데이터센터 전략에 있어서 보안은 중요한 부분이며, 너무 중요한 나머지 외부에서 맨 눈으로 이 데이터센터가 사실 거대한 마이크로소프트의 자산이라는 증거를 찾아볼 수가 없다. 평평한 도로에는 기업의 이름이나 표시 로고가 없는 산업용 건물 및 발전기처럼 보이기 때문에 자신이 어디로 가고 있는지 알 필요도 없다.

시설에 진입하려면 반드시 마이크로소프트의 데이터센터팀에 사전 승인을 받고 자신이 보는 것에 대해 말로 할 수 있는 것과 없는 것을 제한하는 여러 장의 합의서에 서명해야 한다. 또한 반드시 정부의 신분증을 보여주어야 하기 때문에 모든 방문자가 출입 시간과 함께 기록된다.

또한 시설 내에는 여러 절차가 있으며, 이 부분에 대해서는 말할 수 없지만 우리가 방문하는 동안 엄격하게 실행되었다. 아마도 가장 멋진 특징은 쓸모 없거나 불필요한 장비를 재활용하기 전에 모든 하드 드라이브를 파괴하는 거대한 디스크 분쇄기였을 것이다. 그 어떤 데이터도 드라이브를 통해 시설에서 반출되지 않는다. 절대로.

이전에도 몇몇 데이터센터를 방문해 보았지만 이 정도의 보안과 실행력을 보이는 곳은 없었다. 이 때문에 일각에서 주요 클라우드 기업의 보안을 신뢰하기를 꺼려하는 이유가 궁금해졌다. 여러분의 데이터센터는 마이크로소프트의 그것만큼 내외부적으로 부지런히 보호하고 있는가? 생각해 볼 일이다.

사실: 북미에서 가장 큰 마이크로소프트의 광섬유 네트워크를 펼치면 달을 몇 번이나 왕복할 수 있을까? 3번.  

OCP(Open Compute Project)와 OCS(Open CloudServer)



마이크로소프트의 여러 데이터센터 운영 세부사항이 여전히 기밀이긴 하지만 OCP를 통해 서버 디자인 측면에서 일부 우수 사례를 공유하고 있다. OCP는 오늘날의 데이터센터 환경에서도 잘 작동하면서 미래의 전력 및 네트워크 제공 혁신을 활용할 수 있는 미래 지향적인 구성으로 전력, 컴퓨팅, 네트워킹을 통합하는 동급 최강의 서버 디자인을 구성하기 위해 페이스북이 주도하는 JV(Joint Venture)이다. 마이크로소프트는 일반적인 19인치 랙보다 큰 것을 활용하는 섀시 시스템인 OCS 디자인을 기증했다. 해당 프로젝트에 따르면 "12U 섀시는 밴드 관리, 상평형 전력, 고효율 냉각 전용으로 연결되어 있다."

궁극적으로 마이크로소프트는 이 데이터센터의 수명을 연장하고 소프트웨어 정의 속성을 개선하기 위해 표준 랙형 서버로의 회귀가 정답이라는 사실을 발견했다. 장비를 교체하기 용이하고 업그레이드하여 최신 전력, 냉각, 네트워킹 기술을 활용할 수 있다. 사실 앞으로 애저 지역으로 열리는 퀸시 캠퍼스의 일부 구간은 "미래 경쟁력" 방식으로 설계되어 발전된 전력 제공 기술을 건물 내에서 적극 활용할 수 있다. 또한 직렬 배터리를 개발하여 정전 시 서버를 유지하기 위해 캠퍼스에 거대한 배터리들을 보관한 거대한 공간이 필요 없다.

사실: 마이크로소프트와 데이터센터에는 2012년부터 카본 뉴럴(Carbon Neural)이 있으며 해당 기업은 지속적으로 풍력, 태양력, 수력 등의 재생 에너지원을 늘리고 있다. 
editor@itworld.co.kr

원문보기: 
http://www.itworld.co.kr/news/101849?page=0,2#csidx9340f1adb9ba126856370340a0c25d2