해결방법

SDSC가 향상된 제어 시스템을 통해 에너지 절감 및 운영 효율을 높이기 위한 방법을 연구하고 있을 당시 프로젝트 책임자가 밀코브였다. 그의 연구는 대부분의 산업군에서 표준적으로 사용되는 설계도를 구성하는 데서 시작되었다. 많은 회사들이 같은 설계기본구성과 반복되는 데이터센터 설계철학을 사용하였데, 차이점이 있다면 이를 구성하는 설비의 차이가 전부였다.

밀코브는SDSC에서 진행되고 있던 연구가 표준과는 많이 동떨어져 있고, 이에 대한 전혀 다른 접근 방식이 필요하다는 것을 깨달았다. 그래서 업데이트 된 데이터센터 운영 시스템을 위한 벤더평가과정과 에너지 절감 및 SDSC 운영스텝이 사용할 수 있는 제어 능력 향상 목표를 합쳤다.

광범위한 연구조사 끝에 밀코브는 프로토타입 설치를 위해 3개사를 최종 선정하였다. 상세한 평가 결과를 위해 시스템 통합 회사인 Earth Base One(EBO)社를 선정하였고, 광범위한 제어 능력 제공과 최상의 에너지 절감을 위해서는 SNAP PAC 기초제어시스템社를 선정하였다.

밀코브와 EBO의 마이클 하이드는 이 프로젝트를 진행하면서 똑 같은 비전을 가지고 있었다. 하이드는 “기존 시장에 나와 있는 시스템을 그대로 적용하기 보다는, SDSC의 특별한 도전을 위해 꼭 맞는 시스템을 직접 설계할 것이다.”라고 말했다. “Opto22는 주요한 제어 생산업체로 선정되었다. 왜냐하면, 그들이 추구하는 상품의 질과 역사를 보면 무엇을 만들고 나서 이를 위한 시장을 찾는 것이 아니라 진짜 소비자가 필요한 게 무엇인지를 알고 만들기 때문이다.

Opto22 하드웨어와 소프트웨어는 제어와 에너지 절감부분에서 경쟁력을 갖추었을 뿐만 아니라, 벤더솔루션 자체가격경쟁력에서도 큰 경쟁력을 가지고 있다.”고 하이드는 덧붙였다. “이 소프트웨어의 우월한 과거 데이터 수집능력과 미래 동향을 읽어내는 능력은 밀코브가 실시간 데이터를 기반으로 한 시스템을 지속적으로 향상시키는데 큰 도움을 줬다.

“우리는 이번에 프로젝트 설계와 프로토타입 단계에서 Opto22로부터 많은 기술적 지원을 받았다. 이에 매우 고맙다는 말을 전하고 싶다. 그리고 만약 이 글을 보고 있는 당신이 진행하고 있는 연구에서 수 백만달러를 아끼고 싶다면 당신이 충분히 의지 할 수 있는 제어 시스템을 꼭 사용하라고 말해 주고 싶다.”

제어시스템 세부내용

 SDSC에 있는 The SNAP PAC 제어 시스템의 구성
 6 rack-mounted SNAP-PAC-R1 제어기
 3 standalone SNAP-PAC-S2 제어기
 19 SNAP-PAC-EB1 Ethernet I/O brains
 1 groov Box
 2 Computers
 22 I/O panels



SDSC에 설치된 PAC Display HMI 화면: 공조기 상태를 나타내고 있으며, 노란색은 서행, 빨간색은 정지, 오렌지색은 가동시작을 의미한다.

SNAP PAC 시스템은 총 1,593 Opto 22 I/O 포인트와 약 400 Modbus 포인트를 타사 전력 분배유닛으로부터 운영하였다. SNAP PAC 시스템 사용은 SDSC가 데이터센터의 전체 단계를 모니터링하고 제어할 수 있게 해준다. 열기, 냉기 통로 온도는 SNAP-AICTD 모듈에 연결된 온도 센서들을 통한 제어 시스템에 의해 모니터링 된다.

SDSC는 PAC Display HMI 소프트웨어를 사용 함으로써 운영자들에게 데이터센터 냉각시스템의 전체 가동 상황을 알려주는 HMI 스크린을 이해하기 쉽게 개발 할 수 있다. SDSC HMI 스크린은 열기, 냉기 통로 온도의 명확한 개요 뿐만 아니라 데이터센터의 공기압정보도 제공한다.

“데이터센터의 온도 조절에 많은 변수들이 발생한다. 우리는 순환공기가 난기류를 줄이기위해 매우 느린 속도로 데이터센터를 통과하는 것을 선호한다. 난기류는 에너지 소모를 증가시킬 뿐만 아니라, 데이터센터의 특정 장소에 핫스팟을 만들어 데이터센터 전체 온도를 제어하는 능력을 감소시킨다.”고 밀코브가 말했다.

슈퍼컴퓨터의 정상적인 운영을 위한, 최적운영온도를 유지하기 위해 데이터센터는 17개의 분리된 공조기를 사용한다. 각 공조기와 냉각수(냉기를 데이터센터로 보내기위해 사용된 물)의 흐름을 제어하기 위해서는 열기, 냉기 통로의 지속적인 온도 변화의 모니터링을 필요로 한다. 또한 바닥타일의 정확한 위치 및 크기 또한 시스템에서 매우 중요한 부분이다.

SDSC는 공조기 데이터센터내의 공기압을 대기공기압보다 아주 조금 더 높게 유지하는데, 이는 내부 먼지가 밖으로 유출 될 수 있도록 하기 위함이다. “Opto22시스템은 빠르고 정확하게 공기압과 온도 변화를 측정할 수 있으며, 현재 서버로드에서 요구되는 양 만큼의 공기흐름과 냉기를 공급할 수 있다.”고 하이드는 말했다.

SDSC는 또한 냉각시스템의 각 공조기 전류 세기를 모니터하고 색깔 별 분류를 한다. 만약에 공조기의 작동이 느려지거나, 빨라지거나 또는 멈추었을 때 빠른 결정을 할 수 있다.

어떠한 변화라도 냉각시스템의 예지보전을 위해 사용 될 수 있다. 모든 공조기들은 벨트로 작동되기 때문에 공조기가 늦어진다는 것은 벨트가 곧 고장 날 것이라는 것을 알려주는 신호가 될 수 있다.

데이터센터 냉각 시스템은 각각 독립된 공조기 단계로 제어되지만, 또한 내장된 단일 전체 감지 시스템도 가지고 있다. 분리된 영역은 데이터센터 내에 설치되어 있고, 모든 영역의 설정된 값을 유지하기 위해 각 공조기는 SNAP PAC 시스템을 사용해 협업을 한다.

제어시스템은 수동 또는 자동으로 작동 될 수 있다. SNAP PAC 시스템은 데이터센터의 온도 조절과 모니터링을 위해 복수의 PID루프를 사용한다. 사전 설정된 알람 조건을 사용해, 만약 온도가 설정된 값보다 더 높게 나타나면 SNAP 시스템은 VFDs(개별 공조기)와 냉각수 밸브들 (캐스캐드¹ 및 입출력의 고/저 선택 뿐만 아니라 겹치는 구역 제어도 포함)을 제어한다.



또한 제어시스템은 지능화 되어 있다. 제어시스템 SNAP-AIPM-3V 모듈을 사용해, 코멧 슈퍼컴퓨터가 얼마나 많은 양의 전력을 소모하고 있으며, 이에 따라 자동적으로 냉각수흐름을 조절해 냉기 생산의 증가를 제어 할 수 있다. 사건이 발생하기 전에 우선적으로 온도 변화에 대한 보상을 한다.

SNAP PAC 시스템은 Modbus/TCP 프로토콜을 사용하는 400개가 넘는 에너지 분배 유닛(PDUs)과 인터페이스를 통해 다른 슈퍼컴퓨터들의 에너지 사용법에 대해서도 모니터한다.

PAC 디스플레이 알람의 특징은 알람이 발생 했을 때 시스템이 멈추지 않은 상태에서 운영자들이 문제의 원인을 정확하고 빠르게 찾아내기 위해 냉각시스템의 어느 부분을 확인해야 하는지를 알 수 있는데 있다.

SNAP PAC 시스템과 PAC 프로젝트 소프트웨어는 SDSC가 데이터센터 냉각시스템이 정확하게 어떻게 운영되고 있는지에 대한 정보를 세부적으로 볼 수 있게 해준다. 이를 통해 SDSC는 데이터센터 냉각시스템의 최적화를 유지할 수 있고, 냉각수 사용량을 2,000GPM에서 330GPM으로, 전력 사용량을 300KW에서 79kw로 줄일 수 있었다. SDSC는 이 새로운 시스템 덕분에 연간 168,000 달러의 에너지 비용을 절감할 수 있었다.


앞으로의 계획

SDSC와 인접해 있는 몇 몇의 데이터센터에서는 현재 존슨 컨트롤 빌딩 자동화 시스템을 사용한다. 밀코브는 이 데이터센터의 시스템 운영효율을 높이고, 빠른 제어반응시간과 모니터링을 위해 Opto22 SNAP PAC 시스템을 도입할 예정이다.

SDSC

센디에이고 슈퍼컴퓨터 센터(SDSC)는 데이터 집약 컴퓨팅과 사이버인프라(국가, 산업, 학교연구기관에 자원과 서비스 그리고 전문가를 제공)에서 글로벌 리더로서 역할을 하고 있다. 사이버인프라구조는 과학적 요구와 발견을 가속화하기 위한 접근 가능한 컴퓨터기반 자원과 전문가의 네트워크 통합을 말한다. SDSC는 수백개가 넘는 다양한 학문분야 프로그램을 지원하고 있다.

Earth Base One에 대하여

Earth Base One 협회(이하 EBO)는 상업 및 산업 시장에서 기술 서비스를 제공하기 위해 1991년 2월에 설립되었다. EBO의 사명은, 그들의 고객들에게 기술 전문가를 파견하여 효율적 에너지 관리와 쓰레기 줄이기를 통해 고객의 사업이 성장할 수 있도록 돕는 것이다. EBO는 고객 관리 직원 및 기술자와 전문가를 늘림으로써 이를 달성한다. 고객 회사가 어떠한 기술적 문제를 겪고 있으며 고객 회사의 직원이 이러한 특정 기술 분야에 대해서는 경험이 없을 때, EBO는 고객이 필요로 하는 분야에 도움을 줄 수 있다. EBO는 연수(軟水)장치와 공기 청정기에서부터 터빈 열병합 발전소에 이르기까지 다양한 접근 분야에 있어 성공적인 성과를 거두어 오고 있다.

캐스캐드¹ : 동위 원소 분리을 할 때에 분리 과정을 단 한 번만 하는 것을 단일 과정이라고 하는데, 일반적으로는 단일 과정만으로는 충분히 분리할 수 없으므로 분리 과정을 몇 회씩, 때로는 몇천 회나 반복할 필요가 있다. 그래서 분리 과정을 연속적으로 배열시킨 것을 이용하는데 이 경우의 개개의 분리 단위를 요소라고 하고, 요소를 연결한 배열을 캐스케이드라 한다.

글 : OPTO 22 Case Study _ San Diego Supercomputer Center
번역 : 박대희 선임연구원
편집 : 김수진 선임연구원