SooBlending

[ 2. 빅데이터 탐색 ] ( 1. 데이터 정제 ) 1️⃣ 데이터에 내재된 변수의 이해 1) 데이터 관련 정의 ① 데이터 (Data) : 이론을 세우는 기초가 되는 사실 또는 자료를 지칭, 컴퓨터와 연관되어 프로그램을 운용할 수 있는 자료 ② 단위 (Unit) : 관찰되는 항목 또는 대상을 지칭 ③ 관측값 (Observation) : 각 조사 단위별 기록정보 또는 특성 ④ 변수 (Variable) : 각 단위에서 측정된 특성 결과 ⑤ 원자료 (Raw Data) : 표본에서 조사된 최초의 자료 2) 데이터의 종류 ① 단변량자료 (Univariate Data) : 자료의 특성을 대표하는 특성 변수가 하나인 자료 ② 다변량자료 (Multivariate Data) : 자료의 특성을 ..

( 2. 데이터 적재 및 저장 ) ① 데이터 적재 1) 데이터 적재 도구 : 수집한 데이터는 빅데이터 분석을 위한 저장 시스템에 적재해야 한다. : RDB, HDFS를 비롯한 분산파일시스템, NoSQL 저장 시스템에 데이터를 적재할 수 있다. - 데이터 수집 도구를 이용한 데이터 적재 o 플루언티드 (Fluentd) : 사용자의 로그를 다양한 형태로 입력 받아 JSON 포맷으로 변환한 뒤 다양한 형태로 출력한다. o 플럼 (Flume) : 많은 양의 로그 데이터를 효율적으로 수집, 취합 이동하기 위한 분산형 소프트웨어이다. : 로그 데이터 수집과 네트워크 트래픽 데이터, 소셜 미디어 데이터, 이메일 메시지 데이터 등 대량 이벤트 데이터 전송을 위해 사용한다. o 스크라이브 (Scribe) : 수많은 서버..

( 1. 데이터 수집 및 전환 ) ① 데이터 수집 - 데이터 수집 수행 자료 : 용어집, 원천 데이터 소유 기관 정보, 서비스 흐름도, 데이터 수집 기술 매뉴얼, 업무 매뉴얼, 인프라 구성도 등 - 기초 데이터 수집 수행 절차 : 비즈니스 도메인 정보 수집 → 분석기획서 기반 도메인, 서비스 이해 → 수집 데이터 탐색 → 기초 데이터 수집 - 데이터 수집 시스템 구축 절차 : 수집 데이터 유형 파악 → 수집 기술 결정 → 아키텍처 수립 → 하드웨어 구축 → 실행환경 구축 1) 비즈니스 도메인과 원천 데이터 정보 수집 - 비즈니스 도메인 정보 : 도메인 전문가 인터뷰를 통해 데이터의 종류, 유형, 특징 정보를 습득 - 원천 데이터 정보 : 데이터의 수집 가능성, 데이..

( 분석 작업 계획 ) ① 분석 작업 개요 1) 데이터 처리 영역 : 데이터 분석을 위한 기초 데이터를 정의하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 - 데이터 소스 - 데이터 수집 - 데이터 저장 - 데이터 처리 2) 데이터 분석 영역 : 저장되어 있는 데이터를 추출하여 가공한 후, 데이터 분석을 수행하고 그 결과를 표현하는 영역 - 데이터 분석 ( 도메인 이슈 도출, 분석목표 수립, 프로젝트 계획 수립, 보유 데이터 자산 확인) - 데이터 표현 ( 빅데이터 분석 결과 시각화 ) ② 데이터 확보 계획 1) 데이터 확보를 위한 사전 검토사항 - 필요 데이터의 정의 - 보유 데이터의 현황파악 - 분석 데이터의 유형 - 편향되지 않고 충분한 양의 데이터 규모 ( 훈련, 검증, 테..

③ 빅데이터와 인공지능 1) 인공지능(AI) - 인공지능의 정의 : 기계를 지능화하는 노력, 객체가 환경에서 예지력을 갖고 작동하는 것 - 딥러닝의 특징 : 깊은 구조에 의해 엄청난 양의 데이터를 학습할 수 있는 특징 - 기계학습의 종류 o 지도학습(Supervised Learning) : 학습 데이터로부터 하나의 함수를 유추해내기 위한 방법 : 지도 학습기가 훈련 데이터로부터 주어진 데이터에 대해 예측하고자 하는 값을 올바로 추측해내는 것 o 비지도학습(Unsupervised Learning) : 데이터가 어떻게 구성되었는지를 알아내는 문제의 범주 : 지도학습 또는 강화학습과 달리 입력값에 대한 목표치가 주어지지 않는다. : 통계의 밀도 추정과 깊은 연관이 있으며, 데이터의 주요 특징을 요약하고 설명할..

[ 빅데이터 분석 기획 ] ① 데이터와 정보 1) 데이터의 정의 - 데이터는 추론과 추정의 근거를 이루는 사실이다. - 현실 세계에서 관찰하거나 측정하여 수집한 사실이다. 2) 데이터의 특징 - 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 갖는다. - 객관적 사실이라는 존재적 특성을 갖는다. - 추론, 추정, 예측, 전망을 위한 근거로써 당위적 특성을 갖는다. 3) 데이터의 구분 - 정량적 데이터(Quantitative Data) : 주로 숫자로 이루어진 데이터 - 정성적 데이터(Qualitative Data) : 문자와 텍스트로 구성되며 함축적 의미를 지니고 있는 데이터 정량적 데이터 정성적 데이터 유형 정형, 반정형 비정형 특징 여러 요소의 결합으로 의미 부여 객체 하나..

[읽게 된 이유] 무언가를 해야할 이유를 찾는 나를 발견하였다 뭔가 목적이 뚜렸하지 않게 많은 일들을 하려고 하고 있다 이 책은 이런 나의 문제점을 해결해 줄 수 있을까? [내용] 나에게 가장 중요한 단 한 가지는 무엇인가? 삶을 관통하는 한 가지를 찾아라 한 번에 하나씩 습관을 들여라 습관 하나에 충분한 시간을 들여라 의지력이 가장 강할 때 중요한 일을 미리해라 (의지력은 연료이다 소모되고 다시 채워진다) 직업과 개인적인 삶의 균형을 맞춰라 (버릴껀 버리고 취할 껀 취해라) 고정된 사고보다는 성장하는 사고 내가 할 수 있는 단 하나의 일, 그것을 함으로써 다른 모든 일들을 쉽게 혹은 필요 없게 만들 바로 그 일은 무엇인가? 직업적 기술 향상을 위해 할 수 있는 단 하나의 일은 무엇인가? 나의 자산가치를..

DOM ( Document Object Model ) 파싱 : 메모리에 모두 로드를 한 후에 파싱한다. (장점) 메모리에 모두 로드 되어 있기 때문에 노드의 검색, 수정 등이 빠르고 용이하다. (단점) 대용량의 데이터를 파싱할 경우 메모리 문제가 발생 할 수 있다. SAX ( Simple API for XML ) 파싱 : 라인을 하나씩 순차적으로 읽으며 파싱한다. (장점) 메모리 사용량이 적고 단순히 읽을 때 속도가 빠르다. (단점) 발생한 이벤트를 활용만 하는 것이기 때문에 노드의 수정이 어렵다. 각 각의 상황에 맞게 잘 활용하여야 한다. 예를 들어, 단순히 xml 데이터를 변수에 담거나 특정 config만 활용할 때에는 SAX 파싱을 사용한다. 하지만 xml 노드의 검색이나 변경이 필요한 경우에는 D..

ajax는 기본적으로 비동기식으로 지원합니다. 하지만 때때로는 동기식으로 처리해야할 상황이 생기곤 합니다. 아래의 예시를 봅시다. function test(){ $.ajax({ data: {name: 'MinSoo'}, url: 'nameCheck', dataType: 'json', success: function(data){ var result = data; return result; } }); } 위의 코드와 같이 function 안에서 또 function을 콜하는 상황이 자주 발생합니다. 결과 값을 확인해보면 undefined 가 나올 것입니다. 이러한 이유는 비동기 방식에서 success 콜백 함수에서 리턴한 값을 받을 수 없다는 말입니다. ajax 호출로 서버로 부터 응답을 받는 것이 다음 로직..

노트패드++ 줄바꿈 하는 방법입니다. 이클립스나 다른 편집기와 마찬가지 \n 으로 줄바꿈을 할 수 있습니다. 다만 빨간 박스와 같이 '확장' 부분에 체크를 하여야 변경 됩니다.