빅데이터를지탱하는기술2 빅데이터를 지탱하는 기술 #Chapter 2 간략 정리 Chapter 2. 빅데이터의 탐색 크로스 테이블 : 행과 열이 교차하는 부분에 숫자 데이터가 들어간다. 트랜잭션 테이블 : 행 방향으로만 데이터가 증가한다. (* 트랜잭션 테이블에서 크로스 테이블로의 변환 과정을 크로스 집계라고 한다.) * 데이터 마트의 크기에 따라 시스템 구성이 결정된다. RDB는 원래 지연이 적고, 동시 접속 수가 많아도 성능 악화가 되지 않는다. 다만, 메모리가 부족하면 성능 저하가 된다. 많은 양의 데이터 처리를 위해 열 지향 스토리지가 필요하다. 따라서 MPP DB를 활용한다. 행 지향 데이터베이스 1. 매일 발생하는 대량의 트랜잭션을 지연 없이 처리하기 위해 데이터 추가를 효율적으로 할 수 있게 한다. 2. 데이터 검색 고속화를 위한 인덱스를 생성하지만, 데이터 분석 시에는.. 2023. 2. 5. 빅데이터를 지탱하는 기술 #Chapter 1 간략 정리 Chapter 1. 빅데이터의 기초 지식 빅데이터 기술 1. Hadoop : 다수의 컴퓨터에서 대량 데이터 처치를 위한 시스템으로, 확장성이 뛰어나다. (*SQL+Hadoop = Hive) 2. NoSQL : 전통적인 RDB의 제약을 제거하는 것을 목표로 한 DB의 총칭으로, 애플리케이션에서 온라인으로 접속한다. - 빅데이터 기술은 기존의 데이터 웨어하우스와는 달리 다수의 분산 시스템을 조합하여 확장성이 뛰어난 데이터 처리 구조를 만든다. 데이터 파이프라인 : 차례대로 전달해나가는 데이터로 구성된 시스템을 의미한다. 데이터 수집에는 총 2가지의 종류가 있는데, 1. 벌크형 : 이미 어딘가에 존재하는 데이터를 정리해 추출하는 것으로, 정기적인 데이터 수집에 사용한다. 2. 스트리밍형 : 차례대로 생성되는 .. 2023. 2. 3. 이전 1 다음