[개념정리] 3-01 데이터 분석 개요

• 데이터 분석 기법 이해
  
  • DW or DM이나, Legacy(기존 운영시스템), 스테이징영역(임시영역?), ODS(Operational Data Store) 에서 데이터 get (되도록 클린징 영역인 ODS에서 데이터 전처리해서 활용하는 것이 이상적)
  • 시각화는 대용량 데이터 분석, 탐색적 분석시 필수로 복잡한 분석보다도 더 효율적이고, SNA(사회연결망 분석)에 자주 활용
  • 공간분석(GIS)은 공간적 차원과 관련 속성들을 시각화하며, 지도위에 속성들을 크기, 모양, 선굵기 등으로 구분
  • 탐색적 자료분석
    • 특이한 점, 의미있는 사실 도출, 분석의 최종 목적을 달성해가는 과정.
    • 데이터 이해(변수 분포, 특성파악), 변수생성, 변수선택에 활용.
  • 통계분석
    • 통계 : 현상을 일정한 체계에 따라 숫자, 표, 그림 형태로 표현
    • 기술 통계 : 표본이 가지고 있는 정보 쉽게 파악하도록 데이터 정리, 요약하기 위해 하나의 숫자 또는 그래프 형태로 표현
    • 추측(추론) 통계 : 표본의 표본 통계량으로 부터 모수에 관해 통계적으로 추론하는 절차
  • 데이터 마이닝
    • 고급 데이터 분석법 
    • 대용량의 자료에서 관계, 패턴, 규칙을 탐색해 정보를 요약, 미래를 예측, 유용한 지식을 추출하는 분석 방법
    • 데이터웨어하우스에서 데이터 마트를 생성하면서 속성을 사전분석으로 지식을 얻거나, 기계학습(인공신경망, 의사결정나무, 클러스터링, 베이지안 분류, SVM), 혹은 패턴인식(장바구니 분석, 연관규칙) 등의 방법

 

• quiz
  • ( 데이터 마이닝 ) 에서는 정확도, 정밀도, 디텍트 레이트, 리프트 등의 값으로 판단하고
  • ( 시뮬레이션 )     에서는 Throughput, Average Waiting Time, Average Queue Length, Time in System 등의 지표가 활용된다.
  • 지도위에 공간과 관계된 속성을 다양한 표현으로 시각화하는 방법은 ( 공간분석(Spatial analysis) ) 이다.