퀀텀의 멀티 계층화 스토리지 솔루션으로 자율 주행 차량 워크플로우에 속도를 더하는 자동차 전자 기술 선도 기업
수상 경력에 빛나는 능동형 안전 시스템 및 자율 주행 차량 기술을 위한 차세대 전자 기술 개발 기업에는 데이터의 대규모 증가와 한층 더 복잡한 워크플로우로 인해 발생하는 워크플로우 병목 현상을 해결할 솔루션이 필요했습니다. 개발 팀이 다시 전속력으로 작업을 진행하게 해줄 수 있었던 것은 대체 솔루션보다 뛰어난 성능 및 대체 솔루션의 10%에 불과한 비용으로 보다 심플한 워크플로우를 구현한 퀀텀의 멀티 계층화 스토리지 솔루션이 유일하였습니다.
이번 구축사례의 글로벌 조직은 자동화된 안전 기능과 자율 주행 기술을 비롯한 차세대 차량용 전자 기술 개발 분야의 선도 기업입니다. 자동 브레이크와 충돌 경고 시스템과 같은 능동형 안전 시스템의 장점이 사고를 줄이고 차량을 보다 안전하게 만들어주는 것이라고 입증되면서, 지난 몇 년간 자동차 전자 기술 연구는 급속도로 진전되었습니다. 이 기업은 최근 데이터양이 크게 증가하여 더 빠른 테스트, 더 정교한 분석에 대한 니즈와 충돌하면서 중요한 프로그램의 진척이 위기에 직면한 것을 발견했습니다.
보다 많은 데이터 용량의 자동차 연구 드라이브용 확장 데이터 세트
첨단 자동차 전자 기술 개발을 좌우하는 것은 차량에 장착된 센서와 비디오 카메라를 통해 수집되는 데이터 세트에 실시하는 정교한 테스트와 분석 프로그램입니다. 카메라와 센서의 수가 증가하고 해상도 비율이 높아진 결과, 저장해서 관리해야 하는 데이터 세트가 급격하게 늘어났습니다. 이 기업은 몇백 TB의 프로젝트 데이터를 저장하는 것에서 시작했으나 어느새 PB 이상에까지 이르렀습니다.
워크플로우에 변화의 바람을 일으킨 정교한 분석과 장기 데이터 보존
데이터양이 폭발적으로 증가함에 따라 고성능 컴퓨팅(HPC) 시스템이 IT 인프라에 추가적인 부담으로 작용하면서 워크플로우의 변화가 불가피하게 되었습니다. NAS 스토리지 시스템은 새로운 HPC 시스템에 사용할 수 있을 정도로 빠르지 않았기 때문에 엔지니어링 테스트를 하려면 데이터 세트를 로컬 디스크로 복사해야 했습니다. 데이터 세트의 용량이 커짐에 따라, 팀은 분석 실시를 위한 더 빠른 스토리지 성능이 필요했습니다. 그러나 현재 환경으로는 이를 따라갈 수가 없었습니다. 문제를 더욱 악화시킨 것은 팀이 향상된 새 분석 소프트웨어를 개발함에 따라 오래된 모든 데이터를 향후에 재사용할 수 있도록 저장해야 할 필요성이 대두된 것이었습니다.
IT 팀은 새로운 사업 요구 사항 지원을 위해 자체 데이터 관리 및 스토리지 시스템을 교체하기로 결정했습니다. 이를 위해서는 보다 많은 데이터를 더 오랜 기간 동안 보유할 수 있고, 데이터를 보다 효과적으로 보호하며, 해당 프로젝트에 참여하는 모든 팀의 접근성을 향상시켜주는 시스템이 필요했습니다. 물론, 이는 예산 내에서 이루어져야 합니다.
단일 관리 지점하에 고성능 디스크와 테이프 아카이브를 하나로 결합한 솔루션
IT 팀은 가능한 모든 옵션을 검토하고 다양한 벤더와 논의했습니다. NAS 스토리지 용량 확장을 고려해보기도 했으나, 높은 비용과 데이터 보호의 복잡성, 그리고 불확실한 성능 때문에 이 접근법은 선택하지 않았습니다. 대신, 이 기업은 고성능 디스크와 계층화 아카이브를 결합한 스토리지 아키텍처에서 퀀텀의 StorNext 데이터 관리 소프트웨어를 사용하는 계층화 스토리지 접근법을 선택했습니다.
StorNext 솔루션이 제공한 세 가지 주요 이점은 다음과 같습니다. StorNext는 이 기업의 작업에서 갈수록 중요성이 증가하고 있는 요소, 즉, 대단히 큰 용량의 파일 및 다수의 파일을 처리할 수 있도록 설계되었습니다. StorNext는 또한 협업 워크플로우를 구현할 수 있도록 설계되었습니다. 덕분에 여러 팀이 데이터 세트를 공유할 수 있으며, 엔지니어들이 동시에 같은 파일에서 작업을 할 수도 있습니다. 마지막으로, StorNext는 막대한 스토리지 용량, 자동화된 보호, 낮은 총비용을 지원하기 위한 테이프 아카이브가 포함된 계층화 접근법을 제공합니다. 팀들은 StorNext 솔루션을 사용할 때의 전반적인 비용이 이전에 고려했던 다른 접근법에 드는 비용의 10%에 불과하다고 결론 내렸습니다.
액세스, 보호, 아카이브를 결합한 새 워크플로우
새로운 워크플로우에서, 연구 데이터는 퀀텀 StorNext가 관리하는 스토리지 환경의 일부가 된 고성능 디스크 어레이로 다운로드됩니다. 엔지니어링 팀의 HPC 시스템은 고속 파이버채널 SAN 연결을 사용해 이 데이터에 바로 액세스할 수 있습니다. StorNext 덕분에 이제 모든 사용자가 동일한 데이터 세트를 볼 수 있으며, 다양한 팀이 동시에 같은 파일에 분석을 실시할 수도 있습니다. 전반적으로 워크플로우가 더 빠르고 효율적으로 변한 것입니다.
보호 또한 자동화된 프로세스의 일부가 되었습니다. StorNext는 데이터가 디스크에 담기는 즉시 자동으로 StorNext AEL 테이프 아카이브에 두 개의 사본을 만듭니다. 이 두 개의 사본은 처음에는 백업 역할을 하며, 시간이 지난 후에는 액티브 아카이브의 일부가 됩니다. 디스크의 데이터에 더 이상 활발한 작업이 이루어지지 않으면 해당 디스크 공간은 재활용됩니다. 그러나 테이프 사본 중 하나는 여전히 아카이브에 남아 있어 액세스가 가능합니다. StorNext는 디스크의 사본과 동일한 파일 시스템을 통해 (동일한 디렉토리 위치의) 아카이브에서 사본을 표시하므로 연구 팀은 바로 사본에 액세스할 수 있습니다.
프로젝트에 참여하는 엔지니어들은 바로 액세스할 수 있는 데이터의 양과, 파일이 사용을 위해 아카이브에서 다시 디스크로 기록되는 속도에 깊이 감명했습니다.
사이트 간 협업 지원
테이프에 저장된 데이터의 두 번째 사본에는 두 가지 사용 용도가 있습니다. 이 사본은 DR 보호를 위한 오프사이트 사본, 즉 일종의 보험을 제공할 뿐만 아니라, 세계 여러 지역에 있는 설계 팀과 엔지니어링 팀이 동일한 데이터에서 작업을 실시할 수 있는 아주 효과적인 방법으로 자리 잡았습니다. 이 두 팀은 북미와 유럽의 사이트가 서로 아카이브 테이프를 주고받는 것을 PB 용량의 데이터를 공유하는 가장 쉬운 방법으로 확인하였습니다. 두 번째 사이트의 데이터는 국가별 개발 팀이 동일한 데이터 세트를 공유할 수 있도록 하며, 핵심 파일의 DR 사본 또한 제공합니다.
이토록 급격하게 확장되는 엔지니어링 및 설계 분야에서 미래에 어떤 니즈가 생겨날지는 확실치 않습니다. 하지만 거기에 더 많은 데이터, 더 긴 보유 기간, 더 뛰어난 성능 및 더 빈번한 협업에 대한 니즈가 포함될 것임은 분명해 보입니다. StorNext 접근 방식은 IT 팀에 향후의 니즈 충족에 도움이 되는 다양한 옵션을 제공합니다. 여기에는 IT 팀이 성능과 용량을 개별적으로 확장할 수 있도록 하는 것이 포함됩니다. 덕분에 IT 팀은 비용 관리를 위해 액티브 디스크 작업 영역을 가능한 한 작은 규모로 유지하면서 아카이브의 규모를 계속 확대할 수 있습니다.