이전 글에서 언급한 바와 같이, 지금 우리가 누리고 있는 클라우드 환경에서 데이터베이스(DBMS)는 '보이지 않는(Invisible)' 존재에 가깝습니다. 그저 연결 정보를 입력하고 쿼리를 던지면 끝나는 마법 같은 서비스처럼 느껴지기도 합니다. 하지만 클라우드 네이티브라는 패러다임이 세상을 지배하기 전, 데이터베이스는 무겁고 차가운 철제 '박스(서버 장비)' 안에 갇혀 있었습니다. 인프라의 거대한 전환을 이해하기 위해서는 먼저 이 불편했던 'Box 시대'를 돌아볼 필요가 있습니다.
요즘처럼 클릭 몇 번이나 API 호출 한 번으로 데이터베이스가 생성되고 용량이 늘어나는 것은 당시에는 상상도 할 수 없는 일이었습니다. 서비스를 시작하거나 확장하려면 철저하게 물리적인 노동과 시간이 수반되었습니다.
이 박스 시스템의 가장 치명적인 병목 현상은 느린 하드디스크(HDD) 기반의 스토리지 성능(I/O)이었습니다.
2000년 초반에 한국시간에는 당시 박스 시스템의 한계에 도전하는 특별한 변화가 있었습니다
초고속 인터넷 보급과 함께 한국 주식시장에 HTS(홈트레이딩시스템)의 대중화된 것 입니다.
객장에 나가거나 전화로만 주식을 거래하던 사람들이 집에서 PC로 실시간 거래를 시작하면서, 증권사로 쏟아지는 트래픽은 그야말로 폭발했습니다.
이어 2000년대 초중반 휴대폰 보급 확산과 2008년 무렵 스마트폰의 등장은 통신사들의 요금 정산 및 네트워크 데이터 처리량을 기존 디스크 기반 DB로는 도저히 감당할 수 없는 수준까지 치솟게 만들었습니다.
기업의 심장과도 같은 데이터베이스를 바꾸는 일은 예나 지금이나 매우 보수적입니다. DB 장애는 곧 기업의 재무적 손실과 직결되기 때문입니다. 하지만 디스크 I/O의 물리적 제약 앞에서는 보수적인 금융과 통신 시장도 대안을 찾아야만 했습니다.
이때 등장한 것이 인메모리(In-Memory) DBMS입니다. 데이터를 느린 디스크 대신 압도적으로 빠른 메인 메모리(RAM)에 전부 올려서 처리하는 기술입니다. 국산 DBMS인 **알티베이스(Altibase)**가 이 시기 금융과 통신 영역에서 대성공을 거둘 수 있었던 요인도 바로 이것입니다. 당시에 대한민국 인메모리 데이터베이스 시장의 80%를 점유하고 있었습니다.
다만, 모든 데이터를 메모리에만 저장하는 방식은 메모리 용량 대비 비용이 매우 높다는 또 다른 현실적 장벽에 부딪히기도 했습니다. 이를 해결하기 위해 자주 사용하는 데이터는 메모리에, 사용 빈도가 낮은 데이터는 디스크에 나누어 저장하는 '하이브리드(Hybrid) DBMS' 기술이 등장하게 되었습니다. 이처럼 Box 시대의 데이터베이스 아키텍처는 스토리지와 메모리라는 물리적 자원의 한계를 어떻게 효율적으로 분배하고 관리하느냐를 중심으로 끊임없이 진화해 왔습니다.