Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

기능

...

InfiniFlux는 마크베이스는 전통적인 데이터베이스가 가지고 있지 않은 아래와 같은 혁신적인 특성들을 가지고 있다.

Write Once, Read Many

로그성 머신 센서 데이터는 일단 데이터베이스에 입력되면 변경 또는 삭제되는 경우가 거의 없다.

따라서, InfiniFlux는 마크베이스는 머신 데이터에 대한 특성을 최대한 살리기 위해 한번 입력된 데이터에 대해서는 UPDATE가 발생할 발생할 수 없도록 설계 되었다.

사용자는 한번 입력된 로그 데이터를 다른 악의적 사용자에 의해 변조되거나, 삭제될 위험성에 대해 걱정할 필요가 없다없다.

...

Lockless 지원

로그성 머신 센서 데이터 처리하는데 가장 중요한 것은 데이터의 입력, 변경, 삭제 연산과 읽기 연산이 서로 충돌하지 않고가능한 않고가능한 독립적으로 처리되어야 한다는 것이다.

이 때문에 InfiniFlux는 마크베이스는 SELECT 연산에 대한 어떠한 Lock도 할당 받지 않도록 설계되었고, 변경 연산인 입력 혹은 삭제와도 삭제와도 서로 절대로 충돌하지 않는 고성능 구조로 설계되었다.

따라서 수십만 건의 데이터가 입력되고, 실시간으로 일부가 삭제되는 상황에서도 SELECT 연산은 수백만 건의 레코드에 레코드에 대한 통계 연산을 빠른 속도록 진행할 수 있다.

초고속 데이터 저장

InfiniFlux는 마크베이스는 기존의 데이터베이스보다 수십배의 빠른 데이터 저장 성능을 제공한다. 특정 데이블에 인덱스가 다수 존재하는 존재하는 상황에서도 최소 초당 300,000 건에서 최고 2,000,000 만건까지 데이터를 받아들일 수 있다.

이것이 가능한 이유는 InfiniFlux가 마크베이스가 시계열 데이터를 최적화하는 구조로 설계되었기 때문이다.

실시간 인덱스 구성

InfiniFlux는 마크베이스는 인덱스가 많으면 많을수록 데이터 입력 성능이 비례적으로 느려지는 전통적인 데이터베이스 구조를 혁신적으로 혁신적으로 개선하여, 초당 수십만건의 데이터가 입력되더라도 거의 실시간으로 인덱스를 구성할 수 있다. 이 특징은 실

제 데이터가 발생하는 순간의 즉시 검색할 수 있는 강력한 기능적인 토대를 제공해 주기 때문에 머신 데이터와 같은 시계열 데이터 분석에 있어서는 핵심적인 기술이다.

...

머신 데이터와 같은 시계열 데이터의 특징은 끊임없이 데이터가 발생한다는 것이다. 이 사실은 필연적으로 해당 데이터베이스의 데이터베이스의 저장 공간이 언젠가는 부족해질 뿐만 아니라, 처리해야 할 데이터를 충분하게 보유하지 못한다는 의미이

...

특히, 전통적인 데이터베이스는 데이터 뿐만 아니라 인덱스가 늘어남에 따라 차지하는 데이터 공간의 급격하게 증가하기 증가하기 때문에 머신 데이터의 저장과 분석에 매우 부적절한 구조이다.

InfiniFlux는 마크베이스는 쏟아져 들어오는 데이터에 대해 혁신적인 실시간 압축 기술 2 가지를 통해 성능 저하 없이 적게는 수십배에서 수십배에서 수백배까지 데이터를 압축하여 저장한다.

첫 번째로 InfiniFlux는 마크베이스는 논리적 실시간 데이터 압축 기술을 지원한다. 이는 컬럼형 데이터베이스에서 유래한, 머신 데이터의 데이터의 데이터 중복성을 이용한 것으로서 동일한 값을 갖는 데이터가 많으면 많을수록 데이터의 중복을 코드화하여

데이터 저장공간을 혁신적으로 줄이는 기술이다. 이를 통해 데이터의 중복성이 높은 데이터에 대해 수백배까지 데이터를 데이터를 압축할 수 있다.

두 번째는 InfiniFlux의 마크베이스의 특허 기술인 물리적 데이터 압축기술이다. 이는 디스크에 저장될 물리적인 데이터 블럭을 미리 미리 일정한 크기의 파티션으로 나누어 압축하여 디스크에 별도로 내림으로써 저장될 물리적 데이터의 량을 줄이고, 더

불어 시스템이 유발시키는 I/O 비용을 급격하게 낮추는 기술이다. 이를 통해 실제 논리적으로 압축된 데이터를 다시한번 다시한번 더 압축하여 저장 공간의 효율성을 높이는데 일조한다.


탁월한 분석 성능

InfiniFlux의 마크베이스의 혁신적인 기술적 우월성은 초당 수십만 건의 데이터를 입력하는 와중에도 이미 저장된 과거의 수백만 혹은 혹은 수천만 건의 데이터에 대한 검색 및 통계 분석 성능이 매우 빠르다는 것이다.

삽입과 분석 모두에 탁월한 성능을 제공하는 InfiniFlux 마크베이스 만의 인덱싱 기술 때문에 가능한 것이며 실시간 비즈니스 의사 의사 결정에 핵심적인 역할을 수행할 것이다.

InfiniFlux 마크베이스 전통적인 데이터베이스와 달리 두 개 이상의 인덱스를 하나의 질의문에서 처리할 수 있기 때문에 병렬로데이터를 병렬로데이터를 처리할 경우 몇 배나 더 빠른 성능을 기대할 수 있다.

...

select * from table1 where c1 = 1 and c2 = 2;

시계열 데이터 특성 SQL 구문 지원

로그성 머신 센서 데이터의 경우 최신 데이터가 예전의 데이터보다 몇 배 더 가치가 있으며 데이터의 접근 빈도도 최근 데

이터가 예전 데이터보다 몇 배 더 많은 특징이 있다.

이런 이유로 InfiniFlux는 마크베이스는 아래와 같은 시계열 데이터 특징을 지원한다.

첫째, InfiniFlux는 마크베이스는 레코드가 데이터베이스에 저장되는 순간 나노 세컨드 단위의 timestamp를 _arrival_time이라는

필드로 저장한다. 이 의미는 InfiniFlux가 마크베이스가 저장하는 모든 레코드는 시간을 기준으로 검색하거나 조건을 줄 수 있다는

...

다는 것이다. 앞에서 언급한 _arrival_time 컬럼 기준으로 descendant order by를 한 것과 같은 결과이다.10 | InfiniFlux 마크베이스 특징

셋째, DURATION 키워드를 제공한다. 머신 데이터 분석의 경우 특정 시간 범위를 지정하는 경우가 많기 때문에 SQL

...

그런 이유로 전통적인 데이터베이스에서 특정 단어에 대한 검색은 매우 취약하다.

반면, InfiniFlux에서는 마크베이스에서는 실시간 검색을 위해 LIKE와 함께 SEARCH라는 SQL 키워드를 제공함으로써 실시간 단어 검색

...

select id, ipv4 from devices where msg search 'Error 102';

선택적 삭제 지원

로그성 머신 센서 데이터의 경우에는 삽입 이후에 삭제 연산이 거의 발생하지 않는 것이 현실이다.

...

이 경우 혹시나 머신 데이터에 의해 Disk full이 발생하거나 장애가 발생하는 것은 기업 입장에서 많은 손해를 감수해

야만 한다.

InfiniFlux는 마크베이스는 이런 환경에서 주어진 특정 조건에 레코드를 삭제할 수 있도록 기능을 제공한다.

따라서 embedded 개발사는 CRON 혹은 주기적인 프로그램을 통해서 InfiniFlux가 마크베이스가 일정 크기 이상의 데이터를 유지

하지 않도록 손쉽게 관리할 수 있다.

...

delete from devices before TO_DATE('2014-06-01', 'YYYY-MM-DD');

자동화된 데이터 수집

InfiniFlux는 마크베이스는 산재해 있는 머신 데이터 로그 파일로부터 데이터를 읽어 자동으로 전송해주는 기능인 "컬렉터" 기능을

...

로그 포맷의 경우에도 매우 쉽게 변환하여 자동으로 수집할 수 있는 기능을 제공한다.

...

마크베이스의 기술 구성

InfiniFlux는 마크베이스는 위의 그림과 같은 3개의 기술 요소를 혁신적으로 조합한 초고속 시계열 데이터베이스이다.12 | InfiniFlux 마크베이스 특징

컬럼형 데이터베이스 기술

컬럼형 데이터베이스는 아래의 그림과 같이 레코드를 구성하는 컬럼 데이터가 물리적으로 모여 있는 특성을 가지는

...

이런 구조를 가지고 있기에 대량의 데이터를 분석하는 용도로 이 기술이 활용되며 InfiniFlux에서도 마크베이스에서도 컬럼 구조로 레코

드를 저장한다.

그러나, 전통적인 컬럼형 DBMS에서는 분석 성능을 최고로 올리기 위한 목적으로 사용하기 때문에 데이터이 실시간

...

그러나, 메모리 데이터베이스는 그 동작 특성상 모든 데이터가 메모리에 상주해야 하는 제약사항이 있기 때문에 데이

터가 무한히 발생하는 로그성 머신 센서 데이터 처리에는 적합하지 않으며, Row 기반의 경우 데이터의 압축과 관리에도

상당한 제약사항이 존재한다.

InfiniFlux는 마크베이스는 최근에 발생한 로그성 머신 센서 데이터를 메모리에 적재하는 기술을 채택하여, 고성능의 데이터 처리를 가능

...

따라 유연하게 데이터를 관리할 수 있는 혁신적인 아키텍쳐를 제공한다.

InfiniFlux는 마크베이스는 해당 메모리 구조를 "메모리 윈도우"라고 지칭하고 메모리 윈도우의 크기는 테이블 생성시 지정되는 프

로퍼티에 의해 결정된다.14 | InfiniFlux 마크베이스 특징

실시간 인덱스 기술

InfiniFlux 마크베이스 실시간 인덱스를 가능케 하는 기술을 보유하고 있으며, 이 기술이 전통적인 데이터베이스 기술과 하모니를

...

이와 같이 전통적인 데이터베이스의 인덱스 구조는 실시간 시계열 데이터처리에 많은 어려움과 제약사항을 가지고

있으며, InfiniFlux는 마크베이스는 다음과 같은 인덱스 기술을 통해 실시간 요구사항을 만족시킨다.

...

첫째, 데이터 입력 속도가 매우 빠르다. 이 특성은 InfiniFlux의 마크베이스의 실시간 처리 성능과 밀접한 관계가 있다. 이렇게 빠른

...

가지고 있기 때문에 빠르고, 높은 효율로 데이터를 관리할 수 있다.

실시간 텍스트 인덱스

InfiniFlux는 마크베이스는 키워드 인덱스라는 이름으로 실시간 검색 기능을 제공한다.

...

텍스트 기반 로그 데이터의 경우 특정한 에러 메시지나 메시지 패턴을 찾는 경우가 주된 업무이기 때문에 검색 기능은

필수적이라고 할 수 있다.

특히 InfiniFlux는 마크베이스는 UTF8을 기준으로 특정 패턴을 검색하는데 탁월한 성능을 보유하고 있기 때문에 데이터베이스의 편

리한 기능 위에 강력한 검색까지 가능한 유일한 데이터베이스이다.

기본 구조

위그림은 실제 InfiniFlux의 마크베이스의 서비스 구조를 나타낸다.

InfiniFlux 마크베이스 Server는 다중 쓰레드 구조의 단일 프로세스로 서비스를 수행하며 저장장치에 다수의 파일 구성된 파티션

...

레코드 형태로 데이터를 입력하거나 데이터를 분석하고, 추출하는 작업을 하게 된다.

InfiniFlux 마크베이스 WebServer는 InfiniFlux 마크베이스 Server 에 부가적으로 설치되는 웹서버 및 웹 어플리케이션으로서 RESTful API

를 통해서 사용자 응용 프로그램을 개발하고, 모니터링 할 수 있도록 제공된다.

기본적으로 InfiniFlux는 마크베이스는 클라이언트/서버 구조로 동작을 하게 되며 InfiniFlux 마크베이스 Server는 별도의 서버로 분리하기를

추천한다.