[빅데이터분석기사] 빅분기 필기 3일차

( 분석 작업 계획 )

① 분석 작업 개요

1) 데이터 처리 영역

  : 데이터 분석을 위한 기초 데이터를 정의하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역

  - 데이터 소스

  - 데이터 수집

  - 데이터 저장

  - 데이터 처리

 

2) 데이터 분석 영역

  : 저장되어 있는 데이터를 추출하여 가공한 후, 데이터 분석을 수행하고 그 결과를 표현하는 영역

  - 데이터 분석 ( 도메인 이슈 도출, 분석목표 수립, 프로젝트 계획 수립, 보유 데이터 자산 확인)

  - 데이터 표현 ( 빅데이터 분석 결과 시각화 )

---

② 데이터 확보 계획

1) 데이터 확보를 위한 사전 검토사항

  - 필요 데이터의 정의

  - 보유 데이터의 현황파악

  - 분석 데이터의 유형

  - 편향되지 않고 충분한 양의 데이터 규모 ( 훈련, 검증, 테스트 데이터셋이 필요 )

  - 내부 데이터의 사용

  - 외부 데이터의  수집

 

2) 분석에 필요한 변수 정의

  - 데이터 수집 기획

  - 분석 변수 정의

 

3) 분석 변수 생성 프로세스 정의

  - 객관적 사실(Fact) 기반의 문제 접근

  - 데이터의 상관 분석

  - 프로토타입을 통한 분석 변수 접근

 

4) 생성된 분석 변수의 정제를 위한 점검항목 정의

  : 분석 기획 단계에서 도출된 문제 인식, 해결을 위한 개념적 대안 설계를 통해 도출된 데이터에 대해 가용성을 평가하고 점검항목을 정의한다.

  - 분석 변수 점검의 필요성

  - 분석 변수 점검항목 정의 ( 데이터 수집, 데이터 적합성, 특징 변수, 타당성 )

 

5) 생성된 분석 변수의 전처리 방법 수립

  - 데이터 전처리 수행

  : 추출한 정형, 반정형, 비정형 데이터를 분석 및 처리에 적합한 데이터 형태로 조작

  : 데이터 정제, 통합, 축소, 변환을 반복적으로 수행하여 분석 변수로 활용하는 방안을 수립할 수 있다.

 

  - 빅데이터 분석 프로세스 수행

 

6) 생성 변수의 검증 방안 수립

  - 분석 변수의 데이터  검증 방안 수립

  : 대량 데이터, 정밀 데이터, 데이터 출처 불명확 

  : 정확성(Accuracy), 완전성(Completeness), 적시성(Timeliness), 일관성(Consistency)

  

  - 데이터 검증 체계 수립

  : 출처가 명확한지 검증

  : 중복된 데이터가 존재하는지, 컴플라이언스 이슈가 없는지 확인

  : 다양성이 확보되었는지, 데이터셋이 충분한지 검증 

---

③ 분석 절차와 작업 계획

1) 분석 절차

  : 데이터 분석의 시발점이 되는 문제 인식에서부터 시작하여 데이터를 확보하고 분석하여 결과를 도출 및 제시하는 단계까지의 일반적인 과정을 정형화한 프로세스

 

  - 분석 절차의 특징

  : 데이터 분석을 위한 기본적인 과정을 명시

  : 분석 방법론을 구성하는 최소 요건

  : 상황에 따라 단계를 추가할 수도 있으며 생략 가능

 

  - 일반적인 분석 절차

  : 문제인식 - 연구조사 - 모형화 - 데이터수집 - 데이터분석 - 분석 결과 제시

 

  - 분석 절차 적용 시 고려사항

  : 문제에 대한 구체적 정의가 가능하고, 필요 데이터를 보유하고 있으며, 분석역량을 갖추고 있다면 통계 기반의 전통적 데이터 분석을 수행할 수 있다.

  : 문제에 대한 구체적 정의가 없다면 데이터 마이닝 기반으로 데이터를 분석하여 인사이트를 발굴하거나 일단 데이터 분석을 시도한 후 결과를 확인해 가면서 반복적으로 개선 결과를 도출해 볼 수 있다.

 

2) 작업 계획

  : 분석 절차에 따라 데이터 분석 업무를 수행하기 위한 전반적인 작업 내용들을 세부적으로 정의하는 과정

 

  - 분석 작업 계획 수립

  o 프로젝트 소요비용 배분

  o 프로젝트 작업분할구조 수립

  o 프로젝트 업무 분장 계획 및 배분

 

  - 분석 작업 계획 수립을 위한 작업분할구조(WBS:Work Breakdown Structure) 작성

  o 데이터 분석과제 정의

  o 데이터 준비 및 탐색

  o 데이터 분석 모델링 및 검증

  o 산출물 정리

 

3) 분석목표정의서

  : 문제의 개선방향에 맞는 현실적인 분석목표를 수립하여 필요한 데이터에 대한 정보나 분석 타당성 검토 및 성과측정 방법 등의 정리한 정의서

  

  - 분석목표정의서 구성요소

  o 원천 데이터 조사 ( 데이터 정보, 데이터 수집 난이도 )

  o 분석 방안 및 적용 가능성 판단

  o 성과평가 기준 ( 정성적, 정량적 )

 

  - 분석목표정의서 작성 방법

  : 분석 목적을 설정하고 이를 달성하기 위한 세부 목표를 수립한다.

  : 필요한 데이터를 정의하고, 분석 방법과 데이터 수집 및 분석 난이도, 수행 주기, 분석 결과에 대한 검증 기준을 설계

  : 도메인 이슈 도출을 통한 개선 방향을 토대로 목표 수준을 정리

---

④ 분석 프로젝트 관리

1) 분석 프로젝트

  : 분석 프로젝트는 과제 형태로 도출된 분석 기회를 프로젝트화하여 그 가치를 증명하기 위한 수단

 

  - 분석 프로젝트의 특징

  : 데이터 영역과 비즈니스 영역에 대한 이해와 더불어 지속적인 반복이 요구되는 분석 프로세스의 특성을 이해하여 프로젝트 관리방안을 수립해야 한다.

  : 지속적인 개선 및 변경을 염두에 두고 프로젝트 기한 내에 가능한 최선의 결과를 도출할 수 있도록 프로젝트 구성원들과 협업이 필요하다.

 

  - 분석 프로젝트의 추가적 속성

  : 데이터 크기, 데이터 복잡도, 속도, 분석 모형의 복잡도, 정확도와 정밀도

 

  - 분석가의 역할

  : 데이터, 비즈니스 영역의 중간에서 현황을 이해하고 분석 모형을 통한 조율을 수행하는 조정자 역할과 프로젝트 관리

 

2) 분석 프로젝트 관리

  - 효율적인 데이터 분석 수행을 위한 필요성

  : 범위, 일정, 품질, 이슈 및 리스크, 의사소통 등 영역별로 고려해야 하는 요소가 많아 체계적 관리가 필요

 

  - 분석 프로젝트의 관리 방안

  : 데이터 분석이 갖는 기본 특성(5V)을 살려 프로젝트 관리 지침을 만들어 기본 가이드로 활용해야 함

  : 프로젝트 관리 영역에 대한 주요한 사항들은 체크포인트 형태로 관리되어야 함

 

3) 분석 프로젝트의 영역별 주요 관리 항목

  - 범위 관리 (Scope Management)

  - 일정 관리(Time Management)

  - 원가 관리(Cost Management)

  - 품질 관리(Quality Management)

  - 통합 관리(Integration Management)

  - 조달 관리(Procurement Management)

  - 인적자원 관리(Human Resource Management)

  - 위험 관리(Risk Management)

  - 의사소통 관리(Communication Management)

  - 이해관계자 관리(Stakeholder Management)