SooBlending

[ 2. 빅데이터 탐색 ] ( 1. 데이터 정제 ) 1️⃣ 데이터에 내재된 변수의 이해 1) 데이터 관련 정의 ① 데이터 (Data) : 이론을 세우는 기초가 되는 사실 또는 자료를 지칭, 컴퓨터와 연관되어 프로그램을 운용할 수 있는 자료 ② 단위 (Unit) : 관찰되는 항목 또는 대상을 지칭 ③ 관측값 (Observation) : 각 조사 단위별 기록정보 또는 특성 ④ 변수 (Variable) : 각 단위에서 측정된 특성 결과 ⑤ 원자료 (Raw Data) : 표본에서 조사된 최초의 자료 2) 데이터의 종류 ① 단변량자료 (Univariate Data) : 자료의 특성을 대표하는 특성 변수가 하나인 자료 ② 다변량자료 (Multivariate Data) : 자료의 특성을 ..

( 2. 데이터 적재 및 저장 ) ① 데이터 적재 1) 데이터 적재 도구 : 수집한 데이터는 빅데이터 분석을 위한 저장 시스템에 적재해야 한다. : RDB, HDFS를 비롯한 분산파일시스템, NoSQL 저장 시스템에 데이터를 적재할 수 있다. - 데이터 수집 도구를 이용한 데이터 적재 o 플루언티드 (Fluentd) : 사용자의 로그를 다양한 형태로 입력 받아 JSON 포맷으로 변환한 뒤 다양한 형태로 출력한다. o 플럼 (Flume) : 많은 양의 로그 데이터를 효율적으로 수집, 취합 이동하기 위한 분산형 소프트웨어이다. : 로그 데이터 수집과 네트워크 트래픽 데이터, 소셜 미디어 데이터, 이메일 메시지 데이터 등 대량 이벤트 데이터 전송을 위해 사용한다. o 스크라이브 (Scribe) : 수많은 서버..

( 1. 데이터 수집 및 전환 ) ① 데이터 수집 - 데이터 수집 수행 자료 : 용어집, 원천 데이터 소유 기관 정보, 서비스 흐름도, 데이터 수집 기술 매뉴얼, 업무 매뉴얼, 인프라 구성도 등 - 기초 데이터 수집 수행 절차 : 비즈니스 도메인 정보 수집 → 분석기획서 기반 도메인, 서비스 이해 → 수집 데이터 탐색 → 기초 데이터 수집 - 데이터 수집 시스템 구축 절차 : 수집 데이터 유형 파악 → 수집 기술 결정 → 아키텍처 수립 → 하드웨어 구축 → 실행환경 구축 1) 비즈니스 도메인과 원천 데이터 정보 수집 - 비즈니스 도메인 정보 : 도메인 전문가 인터뷰를 통해 데이터의 종류, 유형, 특징 정보를 습득 - 원천 데이터 정보 : 데이터의 수집 가능성, 데이..