SooBlending

[ 2. 빅데이터 탐색 ] ( 1. 데이터 정제 ) 1️⃣ 데이터에 내재된 변수의 이해 1) 데이터 관련 정의 ① 데이터 (Data) : 이론을 세우는 기초가 되는 사실 또는 자료를 지칭, 컴퓨터와 연관되어 프로그램을 운용할 수 있는 자료 ② 단위 (Unit) : 관찰되는 항목 또는 대상을 지칭 ③ 관측값 (Observation) : 각 조사 단위별 기록정보 또는 특성 ④ 변수 (Variable) : 각 단위에서 측정된 특성 결과 ⑤ 원자료 (Raw Data) : 표본에서 조사된 최초의 자료 2) 데이터의 종류 ① 단변량자료 (Univariate Data) : 자료의 특성을 대표하는 특성 변수가 하나인 자료 ② 다변량자료 (Multivariate Data) : 자료의 특성을 ..

( 2. 데이터 적재 및 저장 ) ① 데이터 적재 1) 데이터 적재 도구 : 수집한 데이터는 빅데이터 분석을 위한 저장 시스템에 적재해야 한다. : RDB, HDFS를 비롯한 분산파일시스템, NoSQL 저장 시스템에 데이터를 적재할 수 있다. - 데이터 수집 도구를 이용한 데이터 적재 o 플루언티드 (Fluentd) : 사용자의 로그를 다양한 형태로 입력 받아 JSON 포맷으로 변환한 뒤 다양한 형태로 출력한다. o 플럼 (Flume) : 많은 양의 로그 데이터를 효율적으로 수집, 취합 이동하기 위한 분산형 소프트웨어이다. : 로그 데이터 수집과 네트워크 트래픽 데이터, 소셜 미디어 데이터, 이메일 메시지 데이터 등 대량 이벤트 데이터 전송을 위해 사용한다. o 스크라이브 (Scribe) : 수많은 서버..

( 1. 데이터 수집 및 전환 ) ① 데이터 수집 - 데이터 수집 수행 자료 : 용어집, 원천 데이터 소유 기관 정보, 서비스 흐름도, 데이터 수집 기술 매뉴얼, 업무 매뉴얼, 인프라 구성도 등 - 기초 데이터 수집 수행 절차 : 비즈니스 도메인 정보 수집 → 분석기획서 기반 도메인, 서비스 이해 → 수집 데이터 탐색 → 기초 데이터 수집 - 데이터 수집 시스템 구축 절차 : 수집 데이터 유형 파악 → 수집 기술 결정 → 아키텍처 수립 → 하드웨어 구축 → 실행환경 구축 1) 비즈니스 도메인과 원천 데이터 정보 수집 - 비즈니스 도메인 정보 : 도메인 전문가 인터뷰를 통해 데이터의 종류, 유형, 특징 정보를 습득 - 원천 데이터 정보 : 데이터의 수집 가능성, 데이..

( 분석 작업 계획 ) ① 분석 작업 개요 1) 데이터 처리 영역 : 데이터 분석을 위한 기초 데이터를 정의하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 - 데이터 소스 - 데이터 수집 - 데이터 저장 - 데이터 처리 2) 데이터 분석 영역 : 저장되어 있는 데이터를 추출하여 가공한 후, 데이터 분석을 수행하고 그 결과를 표현하는 영역 - 데이터 분석 ( 도메인 이슈 도출, 분석목표 수립, 프로젝트 계획 수립, 보유 데이터 자산 확인) - 데이터 표현 ( 빅데이터 분석 결과 시각화 ) ② 데이터 확보 계획 1) 데이터 확보를 위한 사전 검토사항 - 필요 데이터의 정의 - 보유 데이터의 현황파악 - 분석 데이터의 유형 - 편향되지 않고 충분한 양의 데이터 규모 ( 훈련, 검증, 테..

③ 빅데이터와 인공지능 1) 인공지능(AI) - 인공지능의 정의 : 기계를 지능화하는 노력, 객체가 환경에서 예지력을 갖고 작동하는 것 - 딥러닝의 특징 : 깊은 구조에 의해 엄청난 양의 데이터를 학습할 수 있는 특징 - 기계학습의 종류 o 지도학습(Supervised Learning) : 학습 데이터로부터 하나의 함수를 유추해내기 위한 방법 : 지도 학습기가 훈련 데이터로부터 주어진 데이터에 대해 예측하고자 하는 값을 올바로 추측해내는 것 o 비지도학습(Unsupervised Learning) : 데이터가 어떻게 구성되었는지를 알아내는 문제의 범주 : 지도학습 또는 강화학습과 달리 입력값에 대한 목표치가 주어지지 않는다. : 통계의 밀도 추정과 깊은 연관이 있으며, 데이터의 주요 특징을 요약하고 설명할..

[ 빅데이터 분석 기획 ] ① 데이터와 정보 1) 데이터의 정의 - 데이터는 추론과 추정의 근거를 이루는 사실이다. - 현실 세계에서 관찰하거나 측정하여 수집한 사실이다. 2) 데이터의 특징 - 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 갖는다. - 객관적 사실이라는 존재적 특성을 갖는다. - 추론, 추정, 예측, 전망을 위한 근거로써 당위적 특성을 갖는다. 3) 데이터의 구분 - 정량적 데이터(Quantitative Data) : 주로 숫자로 이루어진 데이터 - 정성적 데이터(Qualitative Data) : 문자와 텍스트로 구성되며 함축적 의미를 지니고 있는 데이터 정량적 데이터 정성적 데이터 유형 정형, 반정형 비정형 특징 여러 요소의 결합으로 의미 부여 객체 하나..