기록

MySQL JDBC 연결

이응 — Mon, 10 Feb 2025 17:55:09 +0900

MySQL :: Download Connector/J

MySQL Connector/J is the official JDBC driver for MySQL. MySQL Connector/J 8.0 and higher is compatible with all MySQL versions starting with MySQL 5.7. Additionally, MySQL Connector/J 8.0 and higher supports the new X DevAPI for development with MySQL Ser

dev.mysql.com

링크 접속

Platform Independent

mos > TAR

Download

해당 프로젝트 > Build path

Modulepath

다운받은 jar 파일 넣어주기

module-info에

requires java.sql;

입력 후

JDBConection class 생성

package 게시판;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLSyntaxErrorException;

import java.sql.Statement;

public class JDBConnection {

public Connection con; // 연결된 드라이버에 SQL을 요청할 객체를 생성하는 클래스

public Statement stmt; // SQL 실행 요청을 하는 클래스

public PreparedStatement psmt; // Statement 에서 ? 파라미터 확장기능을 추가로 제공하는 클래스

public ResultSet rs; // SQL 실행 결과를 받아오는 클래스

// 기본 생성자

public JDBConnection() {

// JDBC 드라이버 로드

// MySQL

try {

// mysql-connector-j.xxx.jar 드라이버의 클래스를 로드한다.

Class.forName("com.mysql.cj.jdbc.Driver");

// DB에 연결

// - 연결에 필요한 정보 : URL, id, pw

// URL : jdbc:mysql://도메인:[PORT]/[스키마]?옵션파라미터

// * 내 PC의 IP주소 : localhost:127.0.0.1

// * 3306 : MySQL 데이터베이스의 기본 포트

String url = "jdbc:mysql://localhost:3306/sample?useSSL=false&serverTimezone=UTC&characterEncoding=UTF-8";

String id = "root";

String pw = "*****";

// 자바 프로그램에서 JDBC 드라이버를 연결시켜주는 클래스

// getConnection() 메소드로 DB에 연결 요청하고 생성된 Connection 객체를 반환받는다.

con = DriverManager.getConnection(url,id,pw);

System.out.println("DB 연결 성공");

} catch (Exception e) {

System.err.println("DB 연결 실패");

e.printStackTrace();

}

public static void main(String[] args) {

JDBConnection jdbc = new JDBConnection();

}

연결코드입력

String url = "jdbc:mysql://localhost:3306/데이터베이스?useSSL=false&serverTimezone=UTC&characterEncoding=UTF-8";

실행하여 연결 확인

Mos 이클립스 롬복(Lombok) 설치 및 연동 / 연동안될 때

이응 — Wed, 15 Jan 2025 11:11:07 +0900

Download

projectlombok.org

링크 접속

다운로드

다운로드 폴더에서 경로 오른쪽 마우스 클릭

터미널에서 열기

java -jar lombok.jar 입력

Specify location

Applications 에서 Eclipse > Contents > Eclipse > eclipse.ini

Install / Update

Quit Installer

프로젝트 오른쪽 > Build Path > Configure Build Path

Add External JARS 클릭 후 lombok 넣어주기

module에 lombok 넣어주기

어노테이션을 했는데 outline에 뜨지 않는 이슈 발생

1. 첫번째 방법

프로젝트 오른쪽 마우스 클릭 > Properties

Annotation Processing 메뉴에서 Enable 체크박스 체크

2.두번째 방법

프로그램 내에 참조되어있는 롬복 라이브러리를 실행 시켜서

재설치

프로그램 닫고 다시 들어가보면

안됨.........

3. 3번째 방법

경로재설정

ADsp

이응 — Thu, 31 Oct 2024 14:21:30 +0900

1과목 데이터 이해

데이터

데이터 : 있는 그대로의 객관적 사실, 가공되지 않은 상태 (주문수량)

정보 : 데이터로부터 가공된 자료 (베스트 셀러)

데이터의 유형

(1) 정성적, 정량적

- 정성적 데이터 : 자료의 특징을 풀어 설명 - 언어, 문자 (기상특보, 주관식 설문응답)

- 정량적 데이터 : 자료를 수치화 - 수치, 기호 (온도, 풍속)

(2) 정형 , 반정형, 비정형

- 정형 데이터 : 정보 형태가 정해짐 ( 관계형 DB, 엑셀 스프리드시트, CSV)

- 반정형 데이터 : 데이터를 설명하는 메타데이터를 포함( 로그, HTML, XML ,JSON)

- 비정형데이터 : 형태가 정해지지 않음 (SNS , 유튜브 , 음원)

암묵지, 형식지간 상호작용

-암묵지 : 개인에게 습득되고 겉으로 드러나지 않음

-형식지 : 문서, 매뉴얼 등의 형상화된 지식

1) 공통화 : 암묵지 지식을 다른 사람에게 알려줌

2) 표출화 : 암묵지 지식을 매뉴얼이나 문서로 전환

3) 연결화 : 교재, 매뉴얼에 새로운 지식 추가

4) 내면화 : 만들어진 교재, 매뉴얼에서 다른 사람의 암묵지를 터득

DIKW 피라미드

(1) 데이터 : 있는 그대로의 사실 (A 대리점 핸드폰 100만원, B대리점 핸드폰 200만원)

(2) 정보 : Data를 통해 패턴 인식 (A대리점이 핸드폰이 싸다)

(3) 지식 : 패턴을 통해 예측 (A에서 핸드폰을 사면 이득을 보겠다)

(4) 지혜 : 창의적인 산물 (A대리점의 다른 기기들도 B대리점보다 저렴할 것이다)

데이터 단위

KB < MB < GB < TB < PB < EB < ZB < YB ( Pea < Exa < Zetta < Yotta )

데이터 베이스의 정의와 특징

데이터베이스의 정의

(1) DB : 일정 구조에 맞게 조직화된 데이터의 집합

스키마 : DB 구조와 제약조건에 관한 전반적 명세

인스턴스 : 정의된 스키마에 따라 저장된 값

(2)DBMS : DB 를 관리, 접근 환경 제공하는 소프트 웨어

1) 관계형 DBMS : 테이블 (표)로 정리 (오라클, MSSQL, MYSQL , MARIA DB)

2) 객체지향 DBMS : 정보를 객체형태로 정리

3) NoSQL DBMS : 비정형 데이터를 저장하고 처리 (HBASE, Mongo DB, Dynamo DB, Casandra)

(3) SQL : 데이터 베이스에 접근할 수 있는 하부 언어

정의언어 (DDL) : CREATE, ALTER, DROP

조작언어(DML) : SELECT, INSERT, DELETE, UPDATE

제어언어(DCL): COMMIT,ROLLBACK, GRANT, REVOKE

데이터베이스의 특징

(1) 공용데이터 : 여러 사용자가 다른 목적으로 데이터 공동 이용

(2) 통합된 데이터 : 동일한 데이터 중복되어 있지 않음

(3) 저장된 데이터 : 저장매체에 저장

(4) 변화되는 데이터 : 새로운 데이터 추가, 수정, 삭제에도 현재의 정확한 데이터 유지 (무결성)

데이터베이스의 구성요소

메타 데이터 : 데이터를 설명하는 데이터

인덱스 : 정렬 , 탐색을 위한 데이터의 이름

데이터베이스 설계절차

(1) 요구조건분석

(2) 개념적설계 : 개념적 스키마 생성

(3) 논리적설계: ERD 설계

(4) 물리적설계 : 저장구조 설계

데이터베이스 활용

기업 활용 데이터 베이스

- OLTP : 데이터를 수시로 갱신 (거래단위)

-OLAP : 다차원 데이터를 대화식으로 분석

-CRM : 고객과 관련 자료 분석, 마케팅 활용

-SCM : 공급망 연결 최적화

-ERP : 기업 경영 자원을 효율화

-BI : 기업 보유 데이터 정리 , 분석하여 리포트 중심 도구

-BA : 통계 기반 비즈니스 통찰력

-Block Chain : 네트워크 참여한 모든 사용자가 정보를 분산, 저장

-KMS : 기업의 모든 지식을 포함

Data Ware House(DW)

(1) 특징

주제지향적 : 분석목적 설정이 중요

데이터통합 : 일관화 된 형식으로 저장

시계열성 : 히스토리를 가진 데이터

비휘발성 : 읽기 전용 - 수시로 변하지 않음

(2) ETL (Extraction, Transformation , Load)

ETL을 통하여 DW와 DM 등의 DB 시스템에 데이터 적재

Data Lake

비정형 데이터를 저장하여 하둡과 연계하여 처리

하둡 : 병렬처리 오픈소스 프레임워크

1) HDFS : 분산형 파일 저장 시스템

2) MapReduce : 분산된 데이터를 병렬로 처리

2. 데이터의 가치와 미래

빅데이터의 이해

빅데이터 출현 배경

인터넷 확산, 스마트폰 보급, 클라우딩 컴퓨팅으로 인한 경제성 확보, 저장매체 가격하락, 하둡을 활용한 분산 컴퓨팅, 비정형 데이터 확산

빅데이터의 3V (가트너 정의)

1) Volume(규모) : 데이터 양 증가 (구글 번역 서비스)

2) Variety(다양성) : 데이터 유형 증가

3) Velocity(속도): 데이터 생성, 처리 속도 증가

4) 그 외 5 V에 포함되는 요소

-Value (가치)

-Veracity(신뢰성)

빅데이터에 대한 비유

(1) 산업 혁명의 석탄, 철 : 산업혁명에서의 석탄, 철 역할

(2) 원유 : 정보제공으로 생산성 향상

(3) 렌즈 : 현미경이 생물학 발전 영향 , 산업 전반에 영향 ( 구글 Ngram Viewer)

(4) 플랫폼 : 공동 활용 목적으로 구축된 구조물, 써드파티 비지니스에 활용 ( 페이스 북)

*써드파티 : 원천기술을 활용한 파생상품 만드는 회사

빅데이터가 만들어내는 변화

(1) 표본조사 -> 전수조사

(2) 사전처리 -> 사후처리

(3) 질 -> 양

(4) 인과관계 -> 상관관계

빅데이터의 가치와 영향

빅데이터 가치 산정이 어려운 이유

(1) 특정 데이터를 언제, 어디서 누가 활용할 지 알 수 없음

(2) 기존에 가치 없는 데이터도 새로운 분석기법으로 가치를 창출

비즈니스 모델

빅데이터를 활용 위한 3대 요소

-인력, 자원(데이터) , 기술

빅데이터의 주요 분석기법

-회귀분석 : 독립변수와 종속변수 관계 X가 Y에 어떤 영향을 미치는가?

(고객 만족도가 높은 사람은 재방문할 확률 높은가?)

-유형분석 : A와 B는 어디에 속하는 범주 (같은 패턴을 보이는 동물)

-연관규칙 : 여러 요소들간의 규칙 상관관계 존재 (마트에서 치킨과 맥주를 같이 사는 관계)

-유전자 알고리즘 : 최적화 필요한 문제의 해결책

(택배차량 어떻게 배치, 최대 시청률 얻으려면 어떤 프로그램을 어떤 시간대에 방송?)

-기계학습 : 훈련 데이터로부터 컴퓨터가 학습하고 미래를 예측 (넷플릭스 영화 추천 시스템)

-감정분석 : 감정(긍정/부정) 분석 (후기를 바탕으로 원하는 것 발견)

-소셜 네트워크 분석 : 사람간의 관계 SNS상 사용자들 관계 속 영향력 높은 사람 찾기)

위기 요인과 통제 방안

위기 요인과 통제방안

(1) 사생활침해 : SNS 올린 데이터가 사생활 침해

-> 제공자에서 사용자 책임으로 전환

(2) 책임 원칙 훼손 : 범죄 예측 프로그램으로 예측하여 체포하는 문제

-> 결과에 대해서만 책임

(3) 데이터의 오용 : 분석 결과가 항상 옳은 것은 아님

-> 알고리즘을 해석 가능한 알고리즈미스트 필요

개인정보 비식별화

(1) 데이터 마스킹 : 홍길동 -> 홍 xx

(2) 가명처리 : 홍길동 -> 임꺽정

(3) 총계처리 : A ; 165, B : 170, C : 175 -> 합 : 510, 평균 : 170

(4) 범주화 : 홍길동 35세 -> 홍길동 30 ~ 40 세

미래의 빅데이터

(1) 서비타이제이션 (Servitization) : 서비스와 제품의 결합, 기존 -신규 서비스의 결합

(2) 마이데이터 : 자신의 신용 정보를 다른 제 3자에게 제공하여 서비스를 제공받음

(3) 딥 러닝 : 사람의 뇌 구조를 모방한 인공신경망을 활용하여 기계학습(머닝러닝) 기법

2. 가치 창조를 위한 데이터 사이언스와 전략 인사이트

빅데이터분석과 전략 인사이트

전략 인사이트

- 집중과 선택 ( 많은 데이터나 다양한 대상에 분산보다는 현재 분석에 집중)

- 업계 상황만 보지 말고 더 넓은 시야에서 봐야함

- 경영진의 전략적 인사이트에 기여

조직이 분석을 배우는 상태이거나 특정 문제의 범위를 해결할 때는 집중과 선택

사업 상황들을 확인할 떄는 넓은 시야

데이터 사이언스

- 데이터와 관련된 모든 분야의 전문지식을 종합한 학문

- 정형 / 비정형 데이터를 막론하고 데이터를 분석 (총체적 접근법)

데이터 사이언스 핵심 구성요소

(1) Analytics : 이론적 지식

(2) IT : 프로그래밍적 지식

(3) 비즈니스 분석 : 비즈니스적 능력

전략 인사이트 도출을 위한 필요 역량

데이터 사이언티스트의 필요역량

(1) 하드 스킬 : 이론적 지식 (수학 , 통계학, 가설검정 등) 가트너 제시 역량에 미포함

(2) 소프트 스킬 : 스토리텔링, 리더십, 창의력, 분석 등

하드스킬은 이과적, 소프트스킬은 문과적인 느낌

빅데이터 그리고 데이터 사이언스의 미래

빅데이터 가치 패러다임 변화

- Digitalization -> Connection > Agency

(1) Digitalization : 아날로그 세상을 디지털화

(2) Connection : 디지털화된 정보들의 연결

(3) Agency : 연결을 효과적으로 관리

2과목 데이터 분석 기획

1. 데이터 분석 기획의 이해

분석 기획 방향성 도출

분석 대상과 방법

방법 \ 대상	Known	UnKnown
Known	최적화 (Optimization)	통찰(Insight)
Un-Known	솔루션 (Solution)	발견(Discovery)

분석 기획 방안

	과제중심적접근	장기적 마스터플랜
목적	빠르게 해결	지속적 분석 원인 해결
1차목표	Speed & Test	Accuracy & Deploy
과제유형	Quick & Win	Long Term View
접근방식	Problem Solving	Problem Definition

분석 기획서 고려사항

1) 가용 데이터 : 분석의 기본이 되는 데이터 확보 및 파악

2) 적절한 유스케이스 탐색 : 기존에 잘 구현 되어있는 유사 시나리오 활용

3) 장애요소에 대한 사전계획 수립 : 조직의 역량으로 내제화

의사결정을 가로막는 요소

고정 관념 편향된 생각

프레이밍 효과 : 동일상황임에도 개인의 판단, 결정이 달라짐

분석 방법론

분석 방법론의 구성요소

절차, 방법, 도구와 기법, 템플릿과 산출물

분석 방법론 모델

(1) 폭포수 모델 : 이전 단계 완료되어야 다음 단계 진행 (Top-Down)

(2) 나선형 모델 : 여러 개발과정 거쳐 점진적으로 완성, 위험요소 제거 초점

(3) 프로토타입 모델 : 일부분 (프로토타입)을 우선 개발하고 보완

(4) 애자일 : 일정한 주기를 가지고 프로토타입을 끊임없이 수정하여 고객의 Needs 반영

KDD 분석 방법론

-데이터 선택 -> 전처리 -> 변환 -> 마이닝 -> 결과 평가

1) 전처리 : 이상값, 잡음 식별 등 데이터 가공

2) 변환 : 변수 선택 및 차원 축소

Crip -DM 분석 방법론

-업무이해 -> 데이터 이해 -> 데이터준비 -> 모델링 -> 평가 -> 전개

1) 모델링 단계에서 모델 평가 수행하고 평가 과정 단계에서 모델 적용성 평가 수행

2) 평가 -> 전개에서 위대한 실패 발생 가능

빅데이터 분석 방법론

1) 분석 기획

- 비즈니스 범위 설정 : SOW(Statement of Works) : 구조화된 프로젝트 정의서

- 위험 계획 수립 (회피, 전이, 완화, 수용)

2) 데이터분석

- 추가적인 데이터 확보 필요 시 데이터 준비 단계로 다시 진행

3) 데이터 분석 - 모델링

- 가설 설정 통해 통계 모델이나 기계학습을 이용한 분류, 예측 등의 모델을 만드는 과정

- 의사 코드 : 일반적인 언어로 프로그래밍 언어의 알고리즘을 유사한 형식으로 써 놓은 것

분석 과제 발굴

디자인 싱킹

사용자에 공감으로 시작해서 아이디어 발산 / 수령 과정을 통한 피드백으로 발전하는 과정

-공감하기 -> 문제정의 -> 아이디어 도출 -> 프로토타입 -> 테스트

하향식 접근 방법

문제가 주어지고 해답을 찾기 위해 진행

문제탐색 -> 문제 정의 -> 해결방안 -> 타당성 검토

(1)문제 탐색

1) 빠짐없이 문제를 도출하고 식별하며 솔루션 초점보다는 가치에 초점

2) 기존 시스템 개선하여 사용 가능하면 개선하여 활용

3) 비즈니스 모델 캔버스 단순화 측면 : 업무, 제품 , 고객, 규제와 감사, 지원 인프라

지원 인프라 업무중에 고객이 제품을 규제와 감사 했다

4) 관점

거시적관점 : STEEP(사회, 기술, 경제, 환경, 정치)

경쟁자 확대 관점 : 대체자 , 경쟁자, 신규 진입자

시장의 니즈 탐색관점 : 고객, 채널, 영향자

5) 분석 유스 케이스

발굴한 분석 기회들을 구체적 과제로 만들기 전에 상세한 설명과 효과를 명시

(2)타당성 검토

경제적 타당성 : 비용대비 편익 분석관점 접근

데이터 타당성 : 데이터 존재여부, 분석역량 이 필요

기술적 타당성 : 역량 확보 방안 사전에 수립

상향식 접근 방법

: 문제 정의 자체가 어려울 때, 사물을 그대로 인식하는 What 관점

주로 비지도 학습

지도학습 / 비지도 학습

(1) 지도 학습

정답이 있는 데이터를 학습

분류분석, 회귀분석, 의사결정트리 , KNN , SVM

(2) 비지도학습

정답이 없는 데이터를 학습

군집분석, 차원축소, 연관규칙분석

분석 프로젝트 관리방안

분석과제에서 고려해야할 5가지 요소

데이터 크기, 속도, 데이터 복잡도, 분석 복잡도, 정확도 / 정밀도

정확도와 정밀도는 Trade - Off 관계

프로젝트 관리 지식 체계 10가지 영역

통합 , 범위 , 시간(일정) , 원가(비용) , 품질, 인적자원, 의사소통, 리스트(위험), 조달, 이해관계자

분석 마스터 플랜

마스터 플랜 수립

우선순위 선정

1) 전력적 중요도 : 전략적 필요성 , 시급성

2) 실행 용이성 : 투자 용이성, 기술 용이성

ISP

중장기 마스터 플랜을 수립하는 절차

ROI 관점

시급성 관점 : 비즈니스 효과 (Return) : Value

난이도 관점 : 투자비용 요소 (Investment) : Volume , Variey, Velocity

분석 거버넌스 체계 수립

분석 거버넌스 체계 구성 요소

조직 , 프로세스, 시스템, 데이터 분석관련 교육 및 마인드 육성 체계

데이터 분석 수준 진단

(1) 분석 준비도

1) 분석 업무 파악 : 사실 분석, 예측, 시뮬레이션, 최적화, 분석 업무 정기적 개선

2) 분석 인력 및 조직 : 분석 전문가 , 관리자, 조직, 경영진 이해

3) 분석 기법 : 적합한 기법 사용, 분석 기법 라이브러리/평가/개선

4) 분석 데이터 : 데이터 관리, 외부 데이터 활용, 기준 데이터 관리(MDM)

5) 분석 문화 : 의사결정, 회의에서 활용, 공유 및 협업 문화

6) IT 인프라 : 운영 시스템 통합 환경

(2) 분석 성숙도

CMMI 모델 기반 (1~5단계)

비즈니스 / 조직 , 역량 / IT 부문 관점으로 구분

1) 도입 : 환경 , 시스템 구축

2) 활용 : 업무에 적용

3) 확산 : 전사 차원 관리 , 공유

4) 최적화 : 혁신, 성과 향상에 기여

1) 준비형 : 낮은 준비도 , 낮은 성숙도

- 데이터 , 인력, 조직, 분석업무, 분석기법 적용 안되어 사전 준비 필요

2) 정착형 : 낮은 준비도 , 높은 성숙도

- 인력, 조직, 분석업무, 분석기법 등을 제한적으로 사용

3) 도입형 : 높은 준비도 , 낮은 성숙도

- 조직 및 인력 등 준비도는 높으나, 분석업무 및 기법 부족

4) 확산형 : 높은 준비도, 높은 성숙도

- 6가지 분석 구성 요소가 모두 갖추고 있으며 지속적 확산이 가능

분석 지원 인프라 방안 수립

: 확장성을 고려한 플랫폼 구조 적용 (중앙집중적 관리)

데이터 거버넌스

(1) 데이터 거버넌스

1) 전사 차원에서 데이터 대해 표준화된 관리 체계 수립

2) 구성요소 : 원칙, 조직, 프로세스

3) 중요 관리대상 : 마스터 데이터, 메타 데이터, 데이터 사전 등

- 마스터 데이터 : 자료 처리에 기준이 되는 자료

- 메타 데이터 : 다른 데이터를 설명해 주는 데이터

- 데이터 사전 : DB에 저장된 정보를 요약

(2) 데이터 거버넌스 체계

1) 데이터 표준화 : 메타 데이터 및 사전 구축

2) 데이터 관리 체계 : 효율성을 위함

3) 데이터 저장소 관리 : 저장소 구성

4) 표준화 활동 : 모니터링 , 표준 개선 활동

빅데이터 거버넌스

데이터 거버넌스 체계 + 빅데이터 효율적 관리, 데이터 최적화 , 정보보호 데이터 카테고리 별 관리 책임자 지정등을 포함

조직 및 인력방안 수립 (DSCoE : 분석 조직)

- 집중 구조 : 독립적인 전담 조직 구성 (중복 업무 가능성 존재) / 이원화

- 기능 구조 : 해당 부서에서 직접 분석 (DSCOE 가 없음)

- 분산 구조 : 분석 조직 인력을 현업 부서에 배치

3과목 데이터분석

1. R 기초와 데이터 마트

R 기초

데이터 전처리

- 데이터를 분석하기 위해 데이터를 가공하는 작업

1) 요약변수 :수집된 정보를 종합한 변수로 서 재활용성이 높음 (1개월간 수입)

2) 파생변수 :의미를 부여한 변수 , 논리적 타당성 필요 (고객 구매등급)

R에서의 데이터 전처리 패키지

1) reshape : melt 로 녹인 데이터를 cast로 재구조화

2) sqldf : R 에서 SQL을 활용하여 데이터프레임(DF)을 다룰 수 있게 해줌

3) plyt : apply 함수 기반 데이터 처리

4) data.table : 컬럼별 인덱스로 빠른 처리가 가능한 데이터 구조

데이터마트(DM)

데이터 웨어 하우스의 한 분야로 특정 목적을 위해 사용 (소규모 데이터 웨어하우스)

결측값과 이상값 검색

EDA(탐색적 자료 분석)

데이터의 의미를 찾기 위해 통계, 시각화를 통해 파악

EDA의 4가지 주제 : 저항성의 강조, 잔차 계산, 자료변수의 재표현, 그래프를 통한 현시성

결측값

존재하지 않은 데이터 null/NA로 표시 의미있는 데이터 일 수도 있음

1) 단순 대치법

:결측값 가지는 데이터 삭제

:complete.cases 함수로 FALSE 데이터에 결측값 제거

2) 평균 대치법

: 평균으로 대치

3) 단순 확률 대치법

: 가까운 값으로 변경 (KNN을 활용)

4) 다중 대치법

: 여러번 대치 (대치 -> 분석 -> 결합)

이상값

극단적으로 크거나 작은 값이며 의미있는 데이터 일수도 있음 (체중 3kg)

이상값을 항상 제거하는 것은 아님

1)ESD(Extreme Studientized Deviation)

: 평균으로부터 표준 편차의 3배 넘어가는 데이터는 이상 값으로 판단

2) 사분위수

: Q1 - 1.5IQR보다 작거나 Q3 + 1.5IQR 보다 크면 이상값으로 판단

2. 통계분석

- 통계학 개론

전수조사와 표본조사

전수조사 : 전체를 다 조사, 시간과 비용 많이 소모

표본조사 : 일부만 추출하여 모집단을 분석

표본 추출 방법

1) 랜덤 추출법 : 무작위로 표본 추출

2) 계통 추출법 : 번호 부여하여 일정 간격으로 추출

3) 집락 추출법

- 여러 군집으로 나눈 뒤 군집을 선택하여 랜덤 추출

- 군집 내 이질적 특징, 군집 간 동질적 특징

4) 층화 추출법

- 군집 내 동질적 특징, 군집 간 이질적 특징

- 같은 비율로 추출 시 비례 층화 추출법

5) 복원, 비복원 추출

-복원 추출 : 추출되었던 데이터를 다시 포함시켜 표본 추출

-비복원 추출 : 추출되었던 데이터는 제외하고 표본 추출

자료의 척도 구분

1) 질적 척도

명목척도 : 어느 집단에 속하는지 나타내는 자료 (대학교, 성별)

순서척도(서열척도) : 서열관계가 존재하는 자료 (학년, 순위)

2) 양적 척도

등간척도(구간척도) : 구간 사이 간격이 의미가 있으며 덧셈과 뺄셈만 가능 (온도 지수 등)

비율척도 : 절대적 기준 0 이 존재하고 사칙연산 가능한 자료 (무게 나이 등)

기초 통계량

1) 평균(기댓값) : 전체 합을 개수로 나눈 값

2) 중앙값 : 자료를 크기 순으로 나열했을 때 가운 데 값

3) 최빈값 : 가장 빈번하게 등장하는 값

4) 분산 : 자료들이 퍼져있는 점도 / 표준편차 : 분산의 제곱근 값

5) 공분산 : 두 확률 변수의 상관 정도

- 공분산 = 0 : 상관이 전혀 없는 상태

-공분산 > 0 : 양의 상관 관계

-공분산 < 0 : 음의 상관 관계

- 최소, 최대값이 없어 강약 판단 불가

6) 상관계수

-상관 정도를 -1 ~1 값으로 표현

-상관계수 = 1 : 정비례 관계

-상관계수 = -1 : 반비례 관계

첨도와 왜도

1) 첨도 : 자료의 분포가 얼마나 뾰족한 지 나타내는 척도

- 첨도 = 0 : 정규 분포 형태

3을 기준으로 정규분포 형태를 판단하기도 함

- 값이 클수록 뾰족한 모양

(2) 왜도 : 자료 분포의 비대칭 정도 (0일 때 대칭)

- 왜도 < 0 : 최빈값 > 중앙값 > 평균값

- 왜도 >0 : 최빈값 < 중앙값 < 평균값

Summary 함수 결과의 해석

기초 확률 이론

1) 조건부 확률 : 특정 사건 B 가 발생했을 때 A 가 발생할 확률

2) 독립사건 : A,B가 서로 영향을 주지 않는 사건

3) 배반사건 : A, B 가 서로 동시에 일어나지 않는 사건

확률 분포

- 확률 변수가 특정한 값을 가질 확률을 나타내는 함수

1.이산 확률 분포

-값을 셀 수 있는 분포 , 확률 질량함수로 표현

1) 이산균등분포 : 모든 값에서 값이 일정한 분포

2) 베르노이분포 : 매 시행마다 오직 두 가지의 결과 뿐인 분포

3) 이항분포 : n번의 독립적인 베르누이 시행 통해 성공할 확률 p를 가지는 분포

4) 기하분포 : 처음 성공이 나올 때까지 시도횟수를 확률변수로 가지는 분포

5) 다항분포 : 여러개의 값을 가질 수 있는 확률 변수들에 대한 분포

6) 포아송분포 : 단위 공간 내에서 발생할 수 있는 사건의 발생 횟수 표현하는 분포

2. 연속 확률 분포

- 값을 셀 수 없는 분포, 확률 밀도 함수로 표현

1) 정규분포 : 우리가 일상생활에서 흔히 보는 가우스분포(Z검정)

2) t분포 : 두 집단의 평균치 차이의 비교 검정 시 사용 (T검정)

-데이터 개수가 30개 이상이면 정규성 검정 불필요

3) 카이제곱분포 : 두 집단의 동질성 검정, 혹은 단일 집단 모분산에 대한 검정 (카이제곱검정)

4) F분포 : 두 집단의 분산의 동일성 검정 시 사용 (F검정)

3.확률 변수 X의 f(x) 확률분포의 대한 기댓값(E(X))

1) 이산적 확률변수 = 시그마

2) 연속적 확률변수 = 적분

추정

- 표본으로부터 모집단을 추측하는 방법

(1) 점추정 : 모집단이 특정한 값

(2) 구간추정 : 모집단이 특정한 구간 (95%, 99%를 가장 많이 사용)

가설검정

모집단의 특성에 대한 주장을 가설로 세우고 표본조사로 가설의 채택여부를 판정

1) 귀무가설(H0) : 일반적으로 생각하는 가설(차이가 없다)

2) 대립가설(H1) : 귀무가설을 기각하는 가설 , 증명하고자 하는 가설 (차이가 있다, 크다/작다)

3) 유의수준 (a) : 귀무가설이 참일 때 기각하는 1종 오류를 범할 확률의 허용 한계 (일반적 0.05)

4) 유의확률(p-value) : 귀무가설을 지지하는 정도를 나타내는 확률

실제 \ 검정결과	H0 가 사실이라고 판정	H0가 거짓이라고 판정
H0가 사실	옳은 결정	1종 오류(a)
H0가 거짓	2종 오류	옳은 결정

가설 검정 문제풀이 방법

1) 귀무가설 / 대립가설 설정

-'차이가 없다' 혹은 '동일하다' -> 귀무가설

2) 양측 혹은 단측 검정 확인

-대립 가설의 값이 '같지 않다' -> 양측검정 / '값이 크다', '값이 작다' -> 단측검정

3) 일표본 혹은 이표본 확인

-하나의 모집단 -> 일표본 / 두 개의 모집단 -> 이표본

4) 귀무가설 기간 혹은 채택

-p-value < 유의수준(0.05) -> 귀무가설 기각 / p-value > 유의수준(0.05) -> 귀무가설 채택

5) t 검정인 경우 -단일 표본 , 대응 표본, 독립표본 확인

모집단에 대한 평균검정 -> 단일 표본

동일 모집단에 대한 평균 비교 검정 -> 대응 표본

서로 다른 모집단에 대한 평균 비교 검정 -> 독립표본

비모수 검정

1) 모집단에 대한 아무런 정보 없을 때

2) 관측 자료가 특정 분포를 따른다고 가정 불가

3) 부호검정, 순위합검정, 만-휘트니 U검정, 크리스컬-월리스 검정

기초 통계분석

회귀분석

1. 개념 : 독립변수들이 종속변수에 영향을 미치는 파악하는 분석방법

1) 독립변수 : 원인을 나타내는 변수 (x)

2) 종속변수 : 결과를 나타내는 변수 (y)

3) 잔차 : 계산값과 예측값의 차이 오차 : 모집단 기준, 잔차 : 표본집단 기준)

2. 회귀계수 추정방법

최소제곱법 : 잔차의 제곱합이 최소가 되는 회귀계수와 절편을 구하는 방법

3. 회귀모형 평가

R-squared : 총 변동 중에서 회귀모형에 의하여 설명되는 변동이 차지하는 비율 (0 ~ 1 )

0일때는 모델이 안좋은 거고 1일 때는 모델이 좋은 거

회귀분석의 가정

1) 선형성 : 종속변수와 독립변수는 선형 관계

2) 등분산성 : 잔차의 분산이 고르게 분포

3) 정상성(정규성) : 잔차가 정규분포의 특성을 지님

4) 독립성 : 독립변수들간 상관관계가 없음

- 정규성은 Q-Q plot, 샤피로 월크 검정, 히스토그램 , 왜도와 첨도 활용 확인

회귀분석 종류

1) 단순회귀 : 1 개의 독립변수와 종속변수의 선형관계

2) 다중회귀 : 2개 이상의 독립변수와 종속변수의 선형관계

3) 다항회귀 : 2개 이상의 독립변수와 종속변수가 2차 함수 이상의 관계

4) 릿지회귀 : L2 규제를 포함하는 회귀 모형

5) 라쏘회귀 : L1 규제를 포함하는 회귀 모형

회귀 모형의 검정

1) 독립변수와 종속변수 설정

2) 회귀계수 값의 추정

3) 모형이 통계적으로 유의미한가 : 모형에 대한 F 통계량 , p -value

-귀무가설 : 모든 회귀계수는 0이다

4) 회귀계수들이 유의미한가 : 회귀 계수들의 t 통계량 , p-value

-각각의 회귀계수에 대한 귀무가설 : 회귀 계수는 0 이다

5) 위 1) 2) 모두를 기각하면 해당 모델을 활용

6) 모형이 설명력을 갖는가 : 결정계수(R square) 값

최적의 회귀 방정식 탐색 방법

1) 전진선택법 : 변수를 하나씩 추가하면서 최적의 회귀방정식을 찾아내는 방법

2) 후진제거법 : 변수를 하나씩 제거하면서 최적의 회귀방정식을 찾아내는 방법

3) 단계별 선택법 : 전진선택법 + 후진선택법으로 변수를 추가할 때 벌점을 고려

1) AIC (아카이케 정보기준)

-편향과 분산이 최적화되는 지점 탐색, 자료가 많을 수록 부정확

2) BIC (베이즈 정보 기준)

- AIC를 보완했지만 AIC보다 큰 패널티를 가지는 단점 , 변수가 적은 모델에 적합

다변량 분석

상관분석

- 두 변수간의 선형적 관계가 존재하는 지 파악하는 분석

(1)종류

1) 피어슨 상관분석 : 양적 척도, 연속형 변수, 선형관계 크기 측정

2) 스피어만 상관분석 : 서열 척도, 순서형 변수, 선형 /비선형적 관계 나타냄

(2)다중공선성

- 다중 회귀분석에서 설명 변수들 사이에 상관관계가 클 때 모델을 불안정하게 만듬

다차원 척도법

- 데이터 간의 근접성을 시각화 ( 2차원 평면이나 3차원 공간에 표현)

1) 특징 : 데이터 축소 목적, Stress 값이 0에 가까울 수록 좋음 x/y 축 해석이 불가

2) 종류

1) 계량적 MDS : 양적척도 활용

2) 비계량적 MDS : 순서척도 활용

주성분 분석 (PCA)

상관성 높은 변수들의 선형 결합으로 차원을 축소하여 새로운 변수를 생성

자료의 분산이 가장 큰 축이 첫번째 주성분

70 ~ 90 % 의 설명력을 갖는 수를 결정

(1) 스크리플롯 (Screeplot)

주성분의 개수를 선택하는데 도움이 되는 그래프 (x 축 주성분 개수 ,y축 분산변화)

수평을 이루기 바로 전 단계 개수로 선택

(2) 바이플롯

데이터 간 유사도를 한 번에 볼 수 있는 그래프 ( x 축 첫번째 주성분, y 축 두번째 주성분)

PC와 평행할수록 해당 PC에 큰 영향

화살표의 길이가 길수록 분산이 큼

시계열 예측

시계열 분석

시간의 흐름에 따라 관찰된 자료의 특성을 파악하여 미래를 예측 (주가데이터, 기온데이터)

정상성

시계열 예측을 위해서는 모든 시점에 일정한 평균과 분산을 가지는 정상성을 만족해야함

정상시계열로 변환 방법

1) 차분 : 현 시점의 자료를 이전 값으로 빼는 방법

2) 지수변환, 로그변환

백색잡음

시계열 모형의 오차항을 의미하며 원인은 알려져 있지 않음

평균이 0이면 가우시안 백색 잡음

시계열 모형

1) 자기회귀(AR) 모형

자기 자신의 과거 값이 미래를 결정하는 모형

부분자기상관함수(PACF)를 활요하여 p +1 시점 이후 급격 감소하면 AR(p)포형 선정

2) 이동평균(MA)모형

이전 백색잡음들의 선형결합으로 표현되는 모형

자기상관함수 (ACF)를 활용하여 q+1 시차 이후 급격히 감소하면 MA(q) 모형 선정

3)자기회귀누적이동평균(ARIMA) 모형

AR 모형과 MA 모형의 결합

ARIMA (p,d,q)

1) p 와 q 는 AR 모형과 MA 모형이 관련 있는 차수

2) d 는 정상화시에 차분 몇번 했는 지 의미

3) d = 0 이면 ARMA 모델

분해시계열

시계열에 영향을 주는 일반적인 요인을 시계열에서 분리해 분석하는 방법

1) 추세요인 : 장기적으로 증가 감소하는 추세

2) 계절요인 : 계절과 같이 고정된 주기에 따라 변화

3) 순환요인 : 알려지지 않은 주기를 갖고 변화 ( 경제 전반, 특정 산업)

4) 불규칙 요인 : 위 3가지로 설명 불가한 요인

정형 데이터 마이닝

데이터 마이닝

방대한 데이터 속에서 새로운 규칙, 패턴을 찾고 예측을 수행하는 분야

데이터 마이닝의 유형

1) 지도학습 : 정답이 있는 데이터를 활용

: 인공 신경망, 의사 결정트리, 회귀분석, 로지스틱회귀

2) 비지도 학습 : 정답이 없는 데이터들 사이의 규칙을 파악

:군집분석 , SOM, 차원축소, 연관분석

과대적합과 과소적합

1) 과대적합 : 모델이 지나치게 데이터를 학습하여 매우 복잡해진 모델 (회귀: 릿지,라쏘)

2) 과소적합 : 데이터를 충분히 설명하지 못하는 단순한 모델

데이터 분할

과대적합과 과소적합을 방지하고 데이터가 불균형한 문제를 해결하기 위해 사용

(1) 분할된 데이터 셋 종류

1) 훈련용 : 모델을 학습하는데 활용 (50%)

2)검증용 : 모델의 과대, 과소 적합응 조정하는데 활용 (30%)

3) 평가용 : 모델을 평가하는데 활용 (20%)

(2) 분할된 데이터의 학습 및 검증 방법

1) 홀드아웃 : 훈련용과 평가용 2개의 셋으로 분할

2) K-fold 교차검증 : 데이터를 k개의 집단으로 구분하여 k-1개 학습, 나머지 1개로 평가

3) LOOCV : 1개의 데이터로만 평가, 나머지로 학습

4) 부트스트래핑 : 복원추출을 활용하여 데이터 셋을 생성, 데이터 부족, 불균형 문제 해소

분류분석

로지스틱 회귀분석

종속변수가 범주형 데이터를 대상으로 성공과 실패 2개의 집단을 분류하는 문제에 활용

1) 오즈

성공할 확률과 실패할 확률의 비

Odds = 성공확률 (p) / 실패확률 (1 -P)

2) 로짓 변환

오즈에 자연로그 (자연상수 e 가 밑)을 취하는 작업

독립변수 X가 n 증가하면 확률이 e만큼 증가

의사결정 트리

-여러개의 분리기준으로 최종 분류값을 찾는 방법

(1)분류(범주형)에서의 분할 방법

1) CHAID 알고리즘 : 카이제곱 통계량

2) CART 알고리즘 : 지니지수 활용

3) C4.5 / C 5.0 알고리즘 : 엔트로피지수 활용

(2) 회구(연속형) 에서의 분할 방법

1) CHAID 알고리즘 : ANOVA F 통계량

2) CART 알고리즘 :분산 감소량

(2) 학습간 규제

1) 정지규칙

: 분리를 더이상 수행하지 않고 나무의 성장을 멈춤

2) 가지치기

: 일부 가지를 제거하여 과대적합을 방지

앙상블

여러개의 예측 모형들을 조합하는 기법으로 전체적인 분산을 감소시켜 성능 향상이 가능

1)보팅

다수결 방식으로 최종 모델을 선택

2)배깅

복원추출에 기반을 둔 붓스트랩을 생성하여 모델을 학습 후에 보팅으로 결합

복원추출을 무한히 반복할 때 특정 하나의 데이터가 선택되지 않을 확률 : 36.8%

3)부스팅

잘못된 분류 데이터에 큰 가중치를 주는 방법 , 이상치에 민감

종류 : AdaBoost, GBM , XGBoost, Light GBM

4) 랜덤포레스트

베깅에 의사결정트리를 추가하는 기법으로 성능이 좋고 이상치에 강한 모델

인공신경망

인간의 뇌 구조를 모방한 퍼셉트론을 활용한 추론모델

(1) 구조

1) 단층 신경망 : 입력층과 출력층으로 구성 ( 단일 퍼셉트론)

2) 다층 신경망 : 입력층과 출력층 사이에 1개 이상의 은닉층 보유 ( 다층 퍼셉트론)

-은닉층 수는 사용자가 직접 설정

(2) 활성화 함수

인경 신경망의 선형성을 극복

1) 시그모이드 함수

- 0 ~ 1 사이의 확률 값을 가지며, 로지스틱 회귀 분석과 유사

2) 소프트맥수 함수

- 출력 값이 여러 개로 주어지고 목표 데이터가 다범주인 경우 활용

3) 하이퍼볼릭 탄젠트 함수

- -1 ~ 1 사이 값을 가지며 시그모이드 함수의 최적화 지연을 해결

4)ReLU 함수

기울기 소실문제를 극복, max(0,x)

(3) 학습방법

1) 순전파(피드포워드) : 정보가 전방으로 전달

2) 역전파 알고리즘 : 가중치를 수정하여 오차를 줄임

3) 경사하강법 : 경사의 내리막길로 이동하여 오차가 최소가 되는 최적의 해를 찾는 기법

4) 기울기 소실 문제

다수의 은닉층에서 시그모이드 함수 사용 시 학습이 제대로 되지 않는 문제

기타 분류모델

(1) KNN: 거리기반으로 이웃에 많은 데이터가 포함되어 있는 범주로 분류

(2) 나이브베이즈 : 나이브 (독립) 베이즈 이론을 기반으로 범주에 속할 확률 계산

(3) SVM :선형이나 비선형 분류 , 회귀 등에서 활용할 수 있는 다목적 모델

분류모델 평가지표

(3) ROC 커브

가로축을 1-특이도(FPR), 세로축을 민간도(TPR) 로 두어 시각화한 그래프

그래프 면적이 클수록 (1에 가까울수록) 모델의 성능이 좋다고 평가

(4) 이익도표

임의로 나눈 각 등급별로 반응검출율 , 반응률, 리프트 등의 정보를 산출하여 나타내는 도표

향상도 곡선 : 이익도표를 시각화한곡선

군집분석

비지도 학습으로 데이터들 간 거리나 유사성을 기준으로 군집을 나누는 분석

거리측도

(1) 연속형 변수

유클리디안 거리 : 두 점 사이의 직선거리

맨하트 거리 : 각 변수들의 차이의 단순 합

체비셰프 거리 : 변수 거리 차 중 최댓값

표준화 거리 : 유클리디안 거리를 표준편차로 나눔

민코우스키 거리 : 유클리드, 맨하튼 거리를 일반화한 거리

마할라노비스 거리 : 표준화 거리에서 변수의 상관성 고려

(2) 범주형 변수

자카드 유사도 , 코사인 유사도

실루엣 계수

군집분석을 평가하는 지표로서 같은 군집간 가깝고 다른 군집간 먼 정도를 판단 ( -1 ~1 )

계층적 군집분석

(1) 거리측정방법

1) 최단 연결법 (단일 연결법) : 군집간 가장 가까운 데이터

2) 최장 연결법 (완전 연결법) : 군집간 가장 먼 데이터

3) 평균 연결접 : 군집의 모든 데이터들의 평균

4) 중심 연결법 : 두 군집의 중심

5) 와드 연결법 : 두 군집의 편차 제곱합이 최소가 되는 위치

(2) 덴드로그램

계층적 군집화를 시각적으로 나타내는 Tree 모양의 그래프

K 평균 군집화

비계층 군집화 방법으로 거리기반

(1) 특징

안전된 군집은 보장하나 최적의 보장은 어려움

한번 군집에 속한 데이터는 중심점이 변경되면 군집이 변할 수 있음

(2)과정

1) 군집의 개수 K개 설정

2) 초기 중심점 설정

3) 데이터들을 가장 가까운 군집에 할당

4) 데이터의 평균으로 중심점 재설정

5) 중심점 위치가 변하지 않을까지 3),4)번 과정 반복

(3) K-medoids 군집화

K 평균 군집화의 이상치에 민감함을 대응하기 위한 군집방법

일반적으로 실형된 것이 PAM

혼합분포군집

-EM 알고리즘 활용

(1) E-Step

1단계 ) 초기 파라미터 값 임의 설정

2단계 ) 파라미터 값 활용하여 기댓값 계산

(2) M-Step

3단계) 기댓값으로부터 확률분포의 파라미터 값 추정

4단계) 2단계부터 반복수행

SOM(자기 조직화 지도)

차원 축소와 군집화를 수행하여 고차원 데이터 시각화하는 기법

(1) 구성 : 은닉충 없이 입력층과 출력층으로만 구성

(2) 특징

인공신경망과 달리 순전파 방식만 사용

완전연결의 형태

경쟁층에 표시된 데이터는 다른 노드로 이동 가능

입력변수의 위치 관계를 그대로 보존

연관분석

: 항목들간의 조건 - 결과로 이루어지는 패턴을 발견하는 기법 (장바구니 분석)

(1)특징

결과가 단순하고 분명 (IF ~ THEN ~)

품목 수가 증가할 수록 계산량이 기하급수적으로 증가

Apriori 알고리즘을 활용하여 연관분석을 수행

(2) 순차패턴

: 연관분석에 시간 개념을 추가하여 품목과 시간에 대한 규칙 찾는 기법

ADsP 3과목 데이터 분석

이응 — Fri, 11 Oct 2024 11:44:30 +0900

1. R 기초와 데이터 마트

R 기초

데이터 전처리

- 데이터를 분석하기 위해 데이터를 가공하는 작업

1) 요약변수 :수집된 정보를 종합한 변수로 서 재활용성이 높음 (1개월간 수입)

2) 파생변수 :의미를 부여한 변수 , 논리적 타당성 필요 (고객 구매등급)

R에서의 데이터 전처리 패키지

1) reshape : melt 로 녹인 데이터를 cast로 재구조화

2) sqldf : R 에서 SQL을 활용하여 데이터프레임(DF)을 다룰 수 있게 해줌

3) plyt : apply 함수 기반 데이터 처리

4) data.table : 컬럼별 인덱스로 빠른 처리가 가능한 데이터 구조

데이터 마트

데이터마트(DM)

데이터 웨어 하우스의 한 분야로 특정 목적을 위해 사용 (소규모 데이터 웨어하우스)

결측값과 이상값 검색

EDA(탐색적 자료 분석)

데이터의 의미를 찾기 위해 통계, 시각화를 통해 파악

EDA의 4가지 주제 : 저항성의 강조, 잔차 계산, 자료변수의 재표현, 그래프를 통한 현시성

결측값

존재하지 않은 데이터 null/NA로 표시 의미있는 데이터 일 수도 있음

1) 단순 대치법

:결측값 가지는 데이터 삭제

:complete.cases 함수로 FALSE 데이터에 결측값 제거

2) 평균 대치법

: 평균으로 대치

3) 단순 확률 대치법

: 가까운 값으로 변경 (KNN을 활용)

4) 다중 대치법

: 여러번 대치 (대치 -> 분석 -> 결합)

이상값

극단적으로 크거나 작은 값이며 의미있는 데이터 일수도 있음 (체중 3kg)

이상값을 항상 제거하는 것은 아님

1)ESD(Extreme Studientized Deviation)

: 평균으로부터 표준 편차의 3배 넘어가는 데이터는 이상 값으로 판단

2) 사분위수

: Q1 - 1.5IQR보다 작거나 Q3 + 1.5IQR 보다 크면 이상값으로 판단

2. 통계분석

통계학 개론

전수조사와 표본조사

전수조사 : 전체를 다 조사, 시간과 비용 많이 소모

표본조사 : 일부만 추출하여 모집단을 분석

표본 추출 방법

1) 랜덤 추출법 : 무작위로 표본 추출

2) 계통 추출법 : 번호 부여하여 일정 간격으로 추출

3) 집락 추출법

- 여러 군집으로 나눈 뒤 군집을 선택하여 랜덤 추출

- 군집 내 이질적 특징, 군집 간 동질적 특징

4) 층화 추출법

- 군집 내 동질적 특징, 군집 간 이질적 특징

- 같은 비율로 추출 시 비례 층화 추출법

5) 복원, 비복원 추출

-복원 추출 : 추출되었던 데이터를 다시 포함시켜 표본 추출

-비복원 추출 : 추출되었던 데이터는 제외하고 표본 추출

자료의 척도 구분

1) 질적 척도

명목척도 : 어느 집단에 속하는지 나타내는 자료 (대학교, 성별)

순서척도(서열척도) : 서열관계가 존재하는 자료 (학년, 순위)

2) 양적 척도

등간척도(구간척도) : 구간 사이 간격이 의미가 있으며 덧셈과 뺄셈만 가능 (온도 지수 등)

비율척도 : 절대적 기준 0 이 존재하고 사칙연산 가능한 자료 (무게 나이 등)

기초 통계량

1) 평균(기댓값) : 전체 합을 개수로 나눈 값

2) 중앙값 : 자료를 크기 순으로 나열했을 때 가운 데 값

3) 최빈값 : 가장 빈번하게 등장하는 값

4) 분산 : 자료들이 퍼져있는 점도 / 표준편차 : 분산의 제곱근 값

5) 공분산 : 두 확률 변수의 상관 정도

- 공분산 = 0 : 상관이 전혀 없는 상태

-공분산 > 0 : 양의 상관 관계

-공분산 < 0 : 음의 상관 관계

- 최소, 최대값이 없어 강약 판단 불가

6) 상관개수

-상관 정도를 -1 ~1 값으로 표현

-상관계수 = 1 : 정비례 관계

-상관계수 = -1 : 반비례 관계

첨도와 왜도

1) 첨도 : 자료의 분포가 얼마나 뾰족한 지 나타내는 척도

- 첨도 = 0 : 정규 분포 형태

3을 기준으로 정규분포 형태를 판단하기도 함

- 값이 클수록 뾰족한 모양

(2) 왜도 : 자료 분포의 비대칭 정도 (0일 때 대칭)

- 왜도 < 0 : 최빈값 > 중앙값 > 평균값

-왜도 >0 : 최빈값 < 중앙값 < 평균값

Summary 함수 결과의 해석

기초 확률 이론

1) 조건부 확률 : 특정 사건 B 가 발생했을 때 A 가 발생할 확률

2) 독립사건 : A,B가 서로 영향을 주지 않는 사건

3) 배반사건 : A, B 가 서로 동시에 일어나지 않는 사건

확률 분포

- 확률 변수가 특정한 값을 가질 확률을 나타내는 함수

1.이산 확률 분포

-값을 셀 수 있는 분포 , 확률 질량함수로 표현

1) 이산균등분포 : 모든 값에서 값이 일정한 분포

2) 베르노이분포 : 매 시행마다 오직 두 가지의 결과 뿐인 분포

3) 이항분포 : n번의 독립적인 베르누이 시행 통해 성공할 확률 p를 가지는 분포

4) 기하분포 : 처음 성공이 나올 때까지 시도횟수를 확률변수로 가지는 분포

5) 다항분포 : 여러개의 값을 가질 수 있는 확률 변수들에 대한 분포

6) 포아송분포 : 단위 공간 내에서 발생할 수 있는 사건의 발생 횟수 표현하는 분포

2. 연속 확률 분포

- 값을 셀 수 없는 분포, 확률 밀도 함수로 표현

1) 정규분포 : 우리가 일상생활에서 흔히 보는 가우스분포(Z검정)

2) t분포 : 두 집단의 평균치 차이의 비교 검정 시 사용 (T검정)

-데이터 개수가 30개 이상이며 정규성 검정 불필요

3) 카이제곱분포 : 두 집단의 동질성 검정, 혹은 단일 집단 모분산에 대한 검정 (카이제곱검정)

4) F분포 : 두 집단의 분산의 동일성 검정 시 사용 (F검정)

3.확률 변수 X의 f(x) 확률분포의 대한 기댓값(E(X))

1) 이산적 확률변수

2) 연속적 확률변수

추정

- 표본으로부터 모집단을 추측하는 방법

(1) 점추정 : 모집단이 특정한 값

(2) 구간추정 : 모집단이 특정한 구간 (95%, 99%를 가장 많이 사용)

가설검정

모집단의 특성에 대한 주장을 가설로 세우고 표본조사로 가설의 채택여부를 판정

1) 귀무가서(H0) : 일반적으로 생각하는 가설(차이가 없다)

2) 대립가설(H1) : 귀무가설을 기각하는 가설 , 증명하고자 하는 가설 (차이가 있다, 크다/작다)

3) 유의수준(a) : 귀무가설이 참일 때 기각하는 1종 오류를 범할 확률의 허용 한계 (일반적 0.05)

4) 유의확률(p-value) : 귀무가설을 지지하는 정도를 나타내는 확률

실제\ 검정결과	H0 가 사실이라고 판정	H0가 거짓이라고 판정
H0가 사실	옳은 결정	1종 오류(a)
H0가 거짓	2종 오류(B)	옳은 결정

가설 검정 문제풀이 방법

1) 귀무가설 / 대립가설 설정

-'차이가 없다' 혹은 '동일하다' -> 귀무가설

2) 양측 혹은 단측 검정 확인

-대립 가설의 값이 '같지 않다' -> 양측검정 / '값이 크다', '값이 작다' -> 단측검정

3) 일표본 혹은 이표본 확인

-하나의 모집단 -> 일표본 / 두 개의 모집단 -> 이표본

4) 귀무가설 기간 혹은 채택

-p-value < 유의수준(a) -> 귀무가설 기각 / p-value > 유의수준(a) -> 귀무가설 채택

5) t 검정인 경우 -단일 표본 , 대응 표본, 독립표본 확인

모집단에 대한 평균검정 -> 단일 표본

동일 모집단에 대한 평균 비교 검정 -> 대응 표본

서로 다른 모집단에 대한 평균 비교 검정 -> 독립표본

비모수 검정

1) 모집단에 대한 아무런 정보 없을 때

2) 관측 자료가 특정 분포를 따른다고 가정 불가

3) 부호검정, 순위합검정, 만-휘트니 U검정, 크리스컬-월리스 검정

기초 통계분석

회귀분석

1. 개념 : 독립변수들이 종속변수에 영향을 미치는 파악하는 분석방법

1) 독립변수 : 원인을 나타내는 변수 (x)

2) 종속변수 : 결과를 나타내는 변수 (y)

3) 잔차 : 계산값과 예측값의 차이 오차 : 모집단 기준, 잔차 : 표본집단 기준)

2. 회귀계수 추정방법

최소제곱법 : 잔차의 제곱합이 최소가 되는 회귀계수와 절편을 구하는 방법

3. 회귀모형 평가

R-squared : 총 변동 중에서 회귀모형에 의하여 설명되는 변동이 차지하는 비율 (0 ~ 1 )

회귀분석의 가정

1) 선형성 : 종속변수와 독립변수는 선형 관계

2) 등분산성 : 잔차의 분산이 고르게 분포

3) 정상성(정규성) : 잔차가 정규분포의 특성을 지님

4) 독립성 : 독립변수들간 상관관계가 없음

- 정규성은 Q-Q plot, 샤피로 월크 검정, 히스토그램 , 왜도와 첨도 활용 확인

회귀분석 종류

1) 단순회귀 : 1 개의 독립변수와 종속변수의 선형관계

2) 다중회귀 : 2개 이상의 독립변수와 종속변수의 선형관계

3) 다항회귀 : 2개 이상의 독립변수와 종속변수가 2차 함수 이상의 관계

4) 릿지회귀 : L2 규제를 포함하는 회귀 모형

5) 라쏘회귀 : L1 규제를 포함하는 회귀 모형

회귀 모형의 검정

1) 독립변수와 종속변수 설정

2) 회귀계수 값의 추정

3) 모형이 통계적으로 유의미한가 : 모형에 대한 F 통계량 , p -value

-귀무가설 : 모든 회귀계수는 0이다

4) 회귀계수들이 유의미한가 : 회귀 계수들의 t 통계량 , p-value

-각각의 회귀계수에 대한 귀무가설 : 회귀 계수는 0 이다

5) 위 1) 2) 모두를 기각하면 해당 모델을 활용

6) 모형이 설명력을 갖는가 : 결정계수(R square) 값

최적의 회귀 방정식 탐색 방법

1) 전진선택법 : 변수를 하나씩 추가하면서 최적의 회귀방정식을 찾아내는 방법

2) 후진제거법 : 변수를 하나씩 제거하면서 최적의 회귀방정식을 찾아내는 방법

3) 단계별 선택법 : 전진선택법 + 후진선택법으로 변수를 추가할 때 벌점을 고려

1) AIC (아카이케 정보기준)

-편향과 분산이 최적화되는 지점 탐색, 자료가 많을 수록 부정확

2) BIC (베이즈 정보 기준)

- AIC를 보완했지만 AIC보다 큰 패널티를 가지는 단점 , 변수가 적은 모델에 적합

다변량 분석

상관분석

- 두 변수간의 선형적 관계가 존재하는 지 파악하는 분석

1_종류

1) 피어슨 상관분석 : 양적 척도, 연속형 변수, 선형관계 크기 측정

2) 스피어만 상관분석 : 서열 척도, 순서형 변수, 선형 /비선형적 관계 나타냄

2_다중공선성

- 다중 회귀분석에서 설명 변수들 사이에 상관관계가 클 때 모델을 불안정하게 만듬

다차원 척도법

- 데이터 간의 근접성을 시각화 ( 2차원 평면이나 3차원 공간에 표현)

1) 특징 : 데이터 축소 목적, Stress 값이 0에 가까울 수록 좋음 x/y 축 해석이 불가

2) 종류

1) 계량적 MDS : 양적척도 활용

2) 비계량적 MDS : 순서척도 활용

주성분 분석 (PCA)

상관성 높은 변수들의 선형 결합으로 차원을 축소하여 새로운 변수를 생성

자료의 분산이 가장 큰 축이 첫번째 주성분

70 ~ 90 % 의 설명력을 갖는 수를 결정

(1) 스크리플롯 (Screeplot)

주성분의 개수를 선택하는데 도움이 되는 그래프 (x 축 주성분 개수 ,y축 분산변화)

수평을 이루기 바로 전 단계 개수로 선택

(2) 바이플롯

데이터 간 유사도를 한 번에 볼 수 있는 그래프 ( x 축 첫번째 주성분, y 축 두번째 주성분)

PC와 평행할수록 해당 PC에 큰 영향

화살표의 길이가 길수록 분산이 큼

시계열 예측

시계열 분석

시간의 흐름에 따라 관찰된 자료의 특성을 파악하여 미래를 예측 (주기데이터, 기온데이터)

정상성

시계열 예측을 위해서는 모든 시점에 일정한 평균과 분산을 가지는 정상성을 만족해야함

정상시계열로 변환 방법

1) 차분 : 현 시점의 자료를 이전 값으로 빼는 방법

2) 지수변환, 로그변환

백색잡음

시계열 모형의 오차항을 의미하며 원인은 알려져 있지 않음

평균이 0이면 가우시안 백색 잡음

시계열 모형

1) 자기회귀(AR) 모형

자기 자신의 과거 값이 미래를 결정하는 모형

부분자기상관함수(PACF)를 활요하여 p +1 시점 이후 급격 감소하면 AR(p)포형 선정

2) 이동평균(MA)모형

이전 백색잡음들의 선형결합으로 표현되는 모형

자기상관함수 (ACF)를 활용하여 q+1 시차 이후 급격히 감소하면 MA(q) 모형 선정

3)자기회귀누적이동평균(ARIMA) 모형

AR 모형과 MA 모형의 결합

ARIMA (p,d,q)

1) p 와 q 는 AR 모형과 MA 모형이 관련 있는 차수

2) d 는 정상화시에 차분 몇번 했는 지 의미

3) d = 0 이면 ARMA 모델

분해시계열

시계열에 영향을 주는 일반적인 요인을 시계열에서 분리해 분석하는 방법

1) 추세요인 : 장기적으로 증가 감소하는 추세

2) 계절요인 : 계절과 같이 고정된 주기에 따라 변화

3) 순환요인 : 알려지지 않은 주기를 갖고 변화 ( 경제 전반, 특정 산업)

4) 불규칙 요인 : 위 3가지로 설명 불가한 요인

정형 데이터 마이닝

데이터 마이닝

방대한 데이터 속에서 새로운 규칙, 패턴을 찾고 예측을 수행하는 분야

데이터 마이닝의 유형

1) 지도학습 : 정답이 있는 데이터를 활용

: 인공 신경망, 의사 결정트리, 회귀분석, 로지스틱회귀

2) 비지도 학습 : 정답이 없는 데이터들 사이의 규칙을 파악

:군집분석 , SOM, 차원축소, 연관분석

과대적합과 과소적합

1) 과대적합 : 모델이 지나치게 데이터를 학습하여 매우 복잡해진 모델

2) 과소적합 : 데이터를 충분히 설명하지 못하는 단순한 모델

데이터 분할

과대적합과 과소적합을 방지하고 데이터가 불균형한 문제를 해결하기 위해 사용

(1) 분할된 데이터 셋 종류

1) 훈련용 : 모델을 학습하는데 활용 (50%)

2)검증용 : 모델의 과대, 과소 적합응 조정하는데 활용 (30%)

3) 평가용 : 모델을 평가하는데 활용 (20%)

(2) 분할된 데이터의 학습 및 검증 방법

1) 홀드아웃 : 훈련용과 평가용 2개의 셋으로 분할

2) K-fold 교차검증 : 데이터를 k개의 집단으로 구분하여 k-1개 학습, 나머지 1개로 평가

3) LOOCV : 1개의 데이터로만 평가, 나머지로 학습

4) 부트스트래핑 : 복원추출을 활용하여 데이터 셋을 생성, 데이터 부족, 불균형 문제 해소

분류분석

로지스틱 회귀분석

종속변수가 범주형 데이터를 대상으로 성공과 실패 2개의 집단을 분류하는 문제에 활용

1) 오즈

성공할 확률과 실패할 확률의 비

Odds = 성공확률 (p) / 실패확률 (1 -P)

2) 로짓 변환

오즈에 자연로그 (자연상수 e 가 밑)을 취하는 작업

독립변수 X가 n 증가하면 확률이 e만큼 증가

의사결정 트리

-여러개의 분리기준으로 최종 분류값을 찾는 방법

(1)분류(범주형)에서의 분할 방법

1) CHAID 알고리즘 : 카이제곱 통계량

2) CART 알고리즘 : 지니지수 활용

3) C4.5 / C 5.0 알고리즘 : 엔트로피지수 활용

(2) 회구(연속형) 에서의 분할 방법

1) CHAID 알고리즘 : ANOVA F 통계량

2) CART 알고리즘 :분산 감소량

(2) 학습간 규제

1) 정지규칙

: 분리를 더이상 수행하지 않고 나무의 성장을 멈춤

2) 가지치기

: 일부 가지를 제거하여 과대적합을 방지

앙상블

여러개의 예측 모형들을 조합하는 기법으로 전체적인 분산을 감소시켜 성능 향상이 가능

1)보팅

다수결 방식으로 최종 모델을 선택

2)배깅

복원추출에 기반을 둔 붓 스트랩을 생성하여 모델을 학습 후에 보팅으로 결합

복원추출을 무한히 반복할 때 특정 하나의 데이터가 선택되지 않을 확률 : 36.8%

3)부스팅

잘못된 분류 데이터에 큰 가중치를 주는 방법 , 이상치에 민감

종류 : AdaBoost, GBM , XGBoost, Light GBM

4) 랜덤포레스트

베깅에 의사결정트리를 추가하는 기법으로 성능이 좋고 이상치에 강한 모델

인공신경망

인간의 뇌 구조를 모방한 퍼셉트론을 활용한 추론모델

(1) 구조

1) 단층 신경망 : 입력층과 출력층으로 구성 ( 단일 퍼셉트론)

2) 다층 신경망 : 입력층과 출력층 사이에 1개 이상의 은닉층 보유 ( 다층 퍼셉트론)

-은닉층 수는 사용자가 직접 설정

(2) 활성화 함수

인경 신경망의 선형성을 극복

1) 시그모이드 함수

- 0 ~ 1 사이의 확률 값을 가지며, 로지스틱 회귀 분석과 유사

2) 소프트맥수 함수

- 출력 값이 여러 개로 주어지고 목표 데이터가 다범주인 경우 활용

3) 하이퍼볼릭 탄젠트 함수

- -1 ~ 1 사이 값을 가지며 시그모이드 함수의 최적화 지연을 해결

4)ReLU 함수

기울기 소실문제를 극복, max(0,x)

(3) 학습방법

1) 순전파(피드포워드) : 정보가 전방으로 전달

2) 역전파 알고리즘 : 가중치를 수정하여 오차를 줄임

3) 경사하강법 : 경사의 내리막길로 이동하여 오차가 최소가 되는 최적의 해를 찾는 기법

4) 기울기 소실 문제

다수의 은닉층에서 시그모이드 함수 사용 시 학습이 제대로 되지 않는 문제

기타 분류모델

(1) KNN: 거리기반으로 이웃에 많은 데이터가 포함되어 있는 범주로 분류

(2) 나이브베이즈 : 나이브 (독립) 베이즈 이론을 기반으로 범주에 속할 확률 계산

(3) SVM :선형이나 비선형 분류 , 회귀 등에서 활용할 수 있는 다목적 모델

분류모델 평가지표

(3) ROC 커브

가로축을 1-특이도(FPR), 세로축을 민간도(TPR) 로 두어 시각화한 그래프

그래프 면적이 클수록 (1에 가까울수록) 모델의 성능이 좋다고 평가

(4) 이익도표

임의로 나눈 각 등급별로 반응검출율 , 반응률, 리프트 등의 정보를 산출하여 나타내는 도표

향상도 곡선 : 이익도표를 시각화한곡선

군집분석

비지도 학습으로 데이터들 간 거리나 유사성을 기준으로 군집을 나누는 분석

거리측도

(1) 연속형 변수

유클리디안 거리 : 두 점 사이의 직선거리

맨하트 거리 : 각 변수들의 차이의 단순 합

체비셰프 거리 : 변수 거리 차 중 최댓값

표준화 거리 : 유클리디안 거리를 표준편차로 나눔

민코우스키 거리 : 유클리드, 맨하튼 거리를 일반화한 거리

마할라노비스 거리 : 표준화 거리에서 변수의 상관성 고려

(2) 범주형 변수

자카드 유사도 , 코사인 유사도

실루엣 계수

군집분석을 평가하는 지표로서 같은 군집간 가깝고 다른 군집간 먼 정도를 판단 ( -1 ~1 )

계층적 군집분석

(1) 거리측정방법

1) 최단 연결법 (단일 연결법) : 군집간 가장 가까운 데이터

2) 최장 연결법 (완전 연결법) : 군집간 가장 먼 데이터

3) 평균 연결접 : 군집의 모든 데이터들의 평균

4) 중심 연결법 : 두 군집의 중심

5) 와드 연결법 : 두 군집의 편차 제곱합이 최소가 되는 위치

(2) 덴드로그램

계층적 군집화를 시각적으로 나타내는 Tree 모양의 그래프

K 평균 군집화

비계층 군집화 방법으로 거리기반

(1) 특징

안전된 군집은 보장하나 최적의 보장은 어려움

한번 군집에 속한 데이터는 중심점이 변경되면 군집이 변할 수 있음

(2)과정

1) 군집의 개수 K개 설정

2) 초기 중심점 설정

3) 데이터들을 가장 가까운 군집에 할당

4) 데이터의 평균으로 중심점 재설정

5) 중심점 위치가 변하지 않을까지 3),4)번 과정 반복

(3) K-medoids 군집화

K 평균 군집화의 이상치에 민감함을 대응하기 위한 군집방법

일반적으로 실형된 것이 PAM

혼합분포군집

-EM 알고리즘 활용

(1) E-Step

1단계 ) 초기 파라미터 값 임의 설정

2단계 ) 파라미터 값 활용하여 기댓값 계산

(2) M-Step

3단계) 기댓값으로부터 확률분포의 파라미터 값 추정

4단계) 2단계부터 반복수행

SOM(자기 조직화 지도)

차원 축소와 군집화를 수행하여 고차원 데이터 시각화하는 기법

(1) 구성 : 은닉충 없이 입력층과 출력층으로만 구성

(2) 특징

인공신경망과 달리 순전파 방식만 사용

완전연결의 형태

경쟁층에 표시된 데이터는 다른 노드로 이동 가능

입력변수의 위치 관계를 그대로 보존

연관분석

: 항목들간의 조건 - 결과로 이루어지는 패턴을 발견하는 기법 (장바구니 분석)

(1)특징

결과가 단순하고 분명 (IF ~ THEN ~)

품목 수가 증가할 수록 계산량이 기하급수적으로 증가

Apriori 알고리즘을 활용하여 연관분석을 수행

(2) 순차패턴

: 연관분석에 시간 개념을 추가하여 품목과 시간에 대한 규칙 찾는 기법

ADsP 2과목 데이터 분석 기획

이응 — Thu, 10 Oct 2024 21:48:28 +0900

1. 데이터 분석 기획의 이해

분석 기획 방향성 도출

분석 대상과 방법

방법\대상	Known	UnKnown
Known	최적화 (Optimization)	통찰(Insight)
Un-Known	솔루션 (Solution)	발견(Discovery)

분석 기획 방안

	과제중심적접근	장기적 마스터플랜
목적	빠르게 해결	지속적 분석 원인 해결
1차목표	Speed & Test	Accuracy & Deploy
과제유형	Quick & Win	Long Term View
접근방식	Problem Solving	Problem Definition

분석 기획서 고려사항

1) 가용 데이터 : 분석의 기본이 되는 데이터 확보 및 파악

2) 적절한 유스케이스 탐색 : 기존에 잘 구현 되어있는 유사 시나리오 활용

3) 장애요소에 대한 사전계획 수립 : 조직의 역량으로 내제화

의사결정을 가로막는 요소

고정 관념 편향된 생각

프레이밍 효과 : 동일상황임에도 개인의 판단, 결정이 달라짐

분석 방법론

분석 방법론의 구성요소

-절차, 방법, 도구와 기법, 템플릿과 산출물

분석 방법론 모델

(1) 폭포수 모델 : 이전 단계 완료되어야 다음 단계 진행 (Top-Down)

(2) 나선형 모델 : 여러 개발과정 거쳐 점진적으로 완성, 위험요소 제거 초점

(3) 프로토타입 모델 : 일부분 (프로토타입)을 우선 개발하고 보완

(4) 애자일 : 일정한 주기를 가지고 프로토타입을 끊임없이 수정하여 고객의 Needs 반영

KDD 분석 방법론

-데이터 선택 -> 전처리 -> 변환 -> 마이닝 -> 결과 평가

1) 전처리 : 이상값, 잡음 식별 등 데이터 가공

2) 변환 : 변수 선택 및 차원 축소

Crip -DM 분석 방법론

-업무이해 -> 데이터 이해 -> 데이터준비 -> 모델링 -> 평가 -> 전개

1) 모델링 단계에서 모델 평가 수행하고 평가 과정 단계에서 모델 적용성 평가 수행

2) 평가 -> 전개에서 위대한 실패 발생 가능

빅데이터 분석 방법론

1) 분석 기획

- 비즈니스 범위 설정 : SOW(Statement of Works) : 구조화된 프로젝트 정의서

- 위험 계획 수립 (회피, 전이, 완화, 수용)

2) 데이터분석

- 추가적인 데이터 확보 필요 시 데이터 준비 단계로 다시 진행

3) 데이터 분석 - 모델링

- 가설 설정 통해 통계 모델이나 기계학습을 이용한 분류, 예측 등의 모델을 만드는 과정

- 의사 코드 : 일반적인 언어로 프로그래밍 언어의 알고리즘을 유사한 형식으로 써 놓은 것

분석 과제 발굴

디자인 싱킹

사용자에 공감으로 시작해서 아이디어 발산 / 수령 과정을 통한 피드백으로 발전하는 과정

-공감하기 -> 문제정의 -> 아이디어 도출 -> 프로토타입 -> 테스트

하향식 접근 방법

문제가 주어지고 해답을 찾기 위해 진행

문제탐색 -> 문제 정의 -> 해결방안 -> 타당성 검토

문제 탐색

1) 빠짐없이 문제를 도출하고 식별하며 솔루션 초점보다는 가치에 초점

2) 기존 시스템 개선하여 사용 가능하면 개선하여 활용

3) 비즈니스 모델 캔버스 단순화 측면 : 업무, 제품 , 고객, 규제와 감사, 지원 인프라

지원 인프라 업무중에 고객이 제품을 규제와 감사 했다

4) 관점

거시적관점 : STEEP(사회, 기술, 경제, 환경, 정치)

경쟁자 확대 관점 : 대체자 , 경쟁자, 신규 진입자

시장의 니즈 탐색관점 : 고객, 채널, 영향자

5) 분석 유스 케이스

발굴한 분석 기회들을 구체적 과제로 만들기 전에 상세한 설명과 효과를 명시

타당성 검토

경제적 타당성 : 비용대비 편익 분석관점 접근

데이터 타당성 : 데이터 존재여부, 분석역량 이 필요

기술적 타당성 : 역량 확보 방안 사전에 수립

상향식 접근 방법

: 문제 정의 자체가 어려울 때, 사물을 그대로 인식하는 What 관점

주로 비지도 학습

지도학습 / 비지도 학습

(1) 지도 학습

정답이 있는 데이터를 학습

분류분석, 회귀분석, 의사결정트리 , KNN , SVM

(2) 비지도학습

정답이 없는 데이터를 학습

군집분석, 차원축소, 연관규칙분석

분석 프로젝트 관리방안

분석과제에서 고려해야할 5가지 요소

데이터 크기, 속도, 데이터 복잡도, 분석 복잡도, 정확도 / 정밀도

정확도와 정밀도는 Trade - Off 관계

프로젝트 관리 지식 체계 10가지 영역

통합 , 범위 , 시간(일정) , 원가(비용) , 품질, 인적자원, 의사소통, 리스트(위험), 조달, 이해관계자

분석 마스터 플랜

마스터 플랜 수립

우선순위 선정

1) 전력적 중요도 : 전략적 필요성 , 시급성

2) 실행 용이성 : 투자 용이성, 기술 용이성

ISP

중장기 마스터 플랜을 수립하는 절차

ROI 관점

시급성 관점 : 비즈니스 효과 (Return) : Value

난이도 관점 : 투자비용 요소 (Investment) : Volume , Variey, Velocity

분석 거버넌스 체계 수립

분석 거버넌스 체계 구성 요소

조직 , 프로세스, 시스템, 데이터 분석관련 교육 및 마인드 육성 체계

데이터 분석 수준 진단

(1) 분석 준비도

1) 분석 업무 파악 : 사실 분석, 예측, 시뮬레이션, 최적화, 분석 업무 정기적 개선

2) 분석 인력 및 조직 : 분석 전문가 , 관리자, 조직, 경영진 이해

3) 분석 기법 : 적합한 기법 사용, 분석 기법 라이브러리/평가/개선

4) 분석 데이터 : 데이터 관리, 외부 데이터 활용, 기준 데이터 관리(MDM)

5) 분석 문화 : 의사결정, 회의에서 활용, 공유 및 협업 문화

6) IT 인프라 : 운영 시스템 통합 환경

(2) 분석 성숙도

CMMI 모델 기반 (1~5단계)

비즈니스 / 조직 , 역량 / IT 부문 관점으로 구분

1) 도입 : 환경 , 시스템 구축

2) 활용 : 업무에 적용

3) 확산 : 전사 차원 관리 , 공유

4) 최적화 : 혁신, 성과 향상에 기여

1) 준비형 : 낮은 준비도 , 낮은 성숙도

- 데이터 , 인력, 조직, 분석업무, 분석기법 적용 안되어 사전 준비 필요

2) 정착형 : 낮은 준비도 , 높은 성숙도

- 인력, 조직, 분석업무, 분석기법 등을 제한적으로 사용

3) 도입형 : 높은 준비도 , 낮은 성숙도

- 조직 및 인력 등 준비도는 높으나, 분석업무 및 기법 부족

4) 확산형 : 높은 준비도, 높은 성숙도

- 6가지 분석 구성 요소가 모두 갖추고 있으며 지속적 확산이 가능

분석 지원 인프라 방안 수립

: 확장성을 고려한 플랫폼 구조 적용 (중앙집중적 관리)

데이터 거버넌스

(1) 데이터 거버넌스

1) 전사 차원에서 데이터 대해 표준화된 관리 체계 수립

2) 구성요소 : 원칙, 조직, 프로세스

3) 중요 관리대상 : 마스터 데이터, 메타 데이터, 데이터 사전 등

- 마스터 데이터 : 자료 처리에 기준이 되는 자료

- 메타 데이터 : 다른 데이터를 설명해 주는 데이터

- 데이터 사전 : DB에 저장된 정보를 요약

(2) 데이터 거버넌스 체계

1) 데이터 표준화 : 메타 데이터 및 사전 구축

2) 데이터 관리 체계 : 효율성을 위함

3) 데이터 저장소 관리 : 저장소 구성

4) 표준화 활동 : 모니터링 , 표준 개선 활동

빅데이터 거버넌스

데이터 거버넌스 체계 + 빅데이터 효율적 관리, 데이터 최적화 , 정보보호 데이터 카테고리 별 관리 책임자 지정등을 포함

조직 및 인력방안 수립 (DSCoE : 분석 조직)

- 집중 구조 : 독립적인 전담 조직 구성 (중복 업무 가능성 존재)

- 기능 구조 : 해당 부서에서 직접 분석(DSCOE 가 없음)

- 분산 구조 : 분석 조직 인력을 현업 부서에 배치

ADsP 1과목 데이터 이해

이응 — Thu, 10 Oct 2024 21:16:14 +0900

데이터 이해

데이터

데이터 : 있는 그대로의 객관적 사실, 가공되지 않은 상태 (주문수량)

정보 : 데이터로부터 가공된 자료 (베스트 셀러)

데이터의 유형

(1) 정성적, 정량적

- 정성적 데이터 : 자료의 특징을 풀어 설명 - 언어, 문자 (기상특보, 주관식 설문응답)

- 정량적 데이터 : 자료를 수치화 - 수치, 기호 (온도, 풍속)

(2) 정형 , 반정형, 비정형

- 정형 데이터 : 정보 형태가 정해짐 ( 관계형 DB, 엑셀 스프리드시트, CSV)

- 반정형 데이터 : 데이터를 설명하는 메타데이터를 포함( 로그, HTML, XML ,JSON)

- 비정형데이터 : 형태가 정해지지 않음 (SNS , 유튜브 , 음원)

암묵지, 형식지간 상호작용

-암묵지 : 개인에게 습득되고 겉으로 드러나지 않음

-형식지 : 문서, 매뉴얼 등의 형상화된 지식

1) 공통화 : 암묵지 지식을 다른 사람에게 알려줌

2) 표출화 : 암묵지 지식을 매뉴얼이나 문서로 전환

3) 연결화 : 교재, 매뉴얼에 새로운 지식 추가

4) 내면화 : 만들어진 교재, 매뉴얼에서 다른 사람의 암묵지를 터득

DIKW 피라미드

(1) 데이터 : 있는 그대로의 사실 (A 대리점 핸드폰 100만원, B대리점 핸드폰 200만원)

(2) 정보 : Data를 통해 패턴 인식 (A대리점이 핸드폰이 싸다)

(3) 지식 : 패턴을 통해 예측 (A에서 핸드폰을 사면 이득을 보겠다)

(4) 지혜 : 창의적인 산물 (A대리점의 다른 기기들도 B대리점보다 저렴할 것이다)

데이터 단위

KB < MB < GB < TB < PB < EB < ZB < YB ( Pea < Exa < Zetta < Yotta )

데이터 베이스의 정의와 특징

데이터베이스의 정의

(1) DB : 일정 구조에 맞게 조직화된 데이터의 집합

스키마 : DB 구조와 제약조건에 관한 전반적 명세

인스턴스 : 정의된 스키마에 따라 저장된 값

(2)DBMS : DB 를 관리, 접근 환경 제공하는 소프트 웨어

1) 관계형 DBMS : 테이블 (표)로 정리

(오라클, MSSQL, MYSQL , MARIA DB)

2) 객체지향 DBMS : 정보를 객체형태로 정리

3) NoSQL DBMS : 비정형 데이터를 저장하고 처리

(HBASE, Mongo DB, Dynamo DB, Casandra)

(3) SQL : 데이터 베이스에 접근할 수 있는 하부 언어

정의언어 (DDL) : CREATE, ALTER, DROP

조작언어(DML) : SELECT, INSERT, DELETE, UPDATE

제어언어(DCL): COMMIT,ROLLBACK, GRANT, REVOKE

데이터베이스의 특징

(1) 공용데이터 : 여러 사용자가 다른 목적으로 데이터 공동 이용

(2) 통합된 데이터 : 동일한 데이터 중복되어 있지 않음

(3) 저장된 데이터 : 저장매체에 저장

(4) 변화되는 데이터 : 새로운 데이터 추가, 수정, 삭제에도 현재의 정확한 데이터 유지 (무결성)

데이터베이스의 구성요소

메타 데이터 : 데이터를 설명하는 데이터

인덱스 : 정렬 , 탐색을 위한 데이터의 이름

데이터베이스 설계절차

(1) 요구조건분석

(2) 개념적설계 : 개념적 스키마 생성

(3) 논리적설계: ERD 설계

(4) 물리적설계 : 저장구조 설계

데이터베이스 활용

기업 활용 데이터 베이스

- OLTP : 데이터를 수시로 갱신 (거래단위)

-OLAP : 다차원 데이터를 대화식으로 분석

-CRM : 고괙과 관련 자료 분석, 마케팅 활용

-SCM : 공급망 연결 최적화

-ERP : 기업 경영 자원을 효율화

-BI : 기업 보유 데이터 정리 , 분석하여 리포트 중심 도구

-BA : 통계 기반 비즈니스 통찰력

-Block Chain : 네트워크 참여한 모든 사용자가 정보를 분산, 저장

-KMS : 기업의 모든 지식을 포함

Data Ware House(DW)

(1) 특징

주제지향적 : 분석목적 설정이 중요

데이터통합 : 일관화 된 형식으로 저장

시계열성 : 히스토리를 가진 데이터

비휘발성 : 읽기 전용 - 수시로 변하지 않음

(2) ETL (Extraction, Transformation , Load)

ETL을 통하여 DW와 DM 등의 DB 시스템에 데이터 적재

Data Lake

비정형 데이터를 저장하여 하둡과 연계하여 처리

하둡 : 병렬처리 오픈소스 프레임워크

1) HDFS : 분산형 파일 저장 시스템

2) MapReduce : 분산된 데이터를 병렬로 처리

2. 데이터의 가치와 미래

- 빅데이터의 이해

빅데이터 출현 배경

인터넷 확산, 스마트폰 보급, 클라우딩 컴퓨팅으로 인한 경제성 확보, 저장매체 가격하라, 하둡을 활용한 분산 컴퓨팅, 비정형 데이터 확산

빅데이터의 3V (가트너 정의)

1) Volume(규모) : 데이터 양 증가 (구글 번역 서비스)

2) Variety(다양성) : 데이터 유형 증가

3) Velocity(속도): 데이터 생성, 처리 속도 증가

4) 그 외 5 V에 포함되는 요소

-Value (가치)

-Veracity(신뢰성)

빅데이터에 대한 비유

(1) 산업 혁명의 석탄, 철 : 산업혁명에서의 석탄, 철 역할

(2) 원유 : 정보제공으로 생산성 향상

(3) 렌즈 : 현미경이 생물학 발전 영향 , 산업 전반에 영향 ( 구글 Ngram Viewer)

(4) 플랫폼 : 공동 활용 목적으로 구축된 구조물, 써드파티 비지니스에 활용 ( 페이스 북)

*써드파티 : 원천기술을 활용한 파생상품 만드는 회사

빅데이터가 만들어내는 변화

(1) 표본조사 -> 전수조사

(2) 사전처리 -> 사후처리

(3) 질 -> 양

(4) 인과관계 -> 상관관계

빅데이터의 가치와 영향

빅데이터 가치 산정이 어려운 이유

(1) 특정 데이터를 언제, 어디서 누가 활용할 지 알 수 없음

(2) 기존에 가치 없는 데이터도 새로운 분석기법으로 가치를 창출

비즈니스 모델

빅데이터를 활용 위한 3대 요소

-인력, 자원(데이터) , 기술

빅데이터의 주요 분석기법

-회귀분석 : 독립변수와 종속변수 관계 X가 Y에 어떤 영향을 미치는가?

(고객 만족도가 높은 사람은 재방문할 확률 높은가?)

-유형분석 : A와 B는 어디에 속하는 범주 (같은 패턴을 보이는 동물)

-연관규칙 : 여러 요소들간의 규칙 상관관계 존재 (마트에서 치킨과 맥주를 같이 사는 관계)

-유전자 알고리즘 : 최적화 필요한 문제의 해결책

(택배차량 어떻게 배치, 최대 시청률 얻으려면 어떤 프로그램을 어떤 시간대에 방송?)

-기계학습 : 훈련 데이터로부터 컴퓨터가 학습하고 미래를 예측 (넷플릭스 영화 추천 시스템)

-감정분석 : 감정(긍정/부정) 분석 (후기를 바탕으로 원하는 것 발견)

-소셜 네트워크 분석 : 사람간의 관계 SNS상 사용자들 관계 속 영향력 높은 사람 찾기)

위기 요인과 통제 방안

위기 요인과 통제방안

(1) 사생활침해 : SNS 올린 데이터가 사생활 침해

-> 제공자에서 사용자 책임으로 전환

(2) 책임 원칙 훼손 : 범죄 예측 프로그램으로 예측하여 체포하는 문제

-> 결과에 대해서만 책임

(3) 데이터의 오용 : 분석 결과가 항상 옳은 것은 아님

-> 알고리즘을 해석 가능한 알고리즈미스트 필요

개인정보 비식별화

(1) 데이터 마스킹 : 홍길동 -> 홍 xx

(2) 가명처리 : 홍길동 -> 임꺽정

(3) 총계처리 : A ; 165, B : 170, C : 175 -> 합 : 510, 평균 : 170

(4) 범주화 : 홍길동 35세 -> 홍길동 30 ~ 40 세

미래의 빅데이터

(1) 서비타이제이션 (Servitization) : 서비스와 제품의 결합, 기존 -신규 서비스의 결합

(2) 마이데이터 : 자신의 신용 정보를 다른 제 3자에게 제공하여 서비스를 제공받음

(3) 딥 러닝 : 사람의 뇌 구조를 모방한 인공신경망을 활용하여 기계학습(머닝러닝) 기법

2. 가치 창조를 위한 데이터 사이언스와 전략 인사이트

-빅데이터분석과 전략 인사이트

전략 인사이트

- 집중과 선택 ( 많은 데이터나 다양한 대상에 분산보다는 현재 분석에 집중)

- 업계 상황만 보지 말고 더 넓은 시야에서 봐야함

- 경영진의 전략적 인사이트에 기여

조직이 분석을 배우는 상태이거나 특정 문제의 범위를 해결할 때는 집중과 선택

사업 상황들을 확인할 떄는 넓은 시야

데이터 사이언스

- 데이터와 관련된 모든 분야의 전문지식을 종합한 학문

- 정형 / 비정형 데이터를 막론하고 데이터를 분석 (총체적 접근법)

데이터 사이언스 핵심 구성요소

(1) Analytics : 이론적 지식

(2) IT : 프로그래밍적 지식

(3) 비즈니스 분석 : 비즈니스적 능력

전략 인사이트 도출을 위한 필요 역량

데이터 사이언티스트의 필요역량

(1) 하드 스킬 : 이론적 지식 (수학 , 통계학, 가설검정 등) 가트너 제시 역량에 미포함

(2) 소프트 스킬 : 스토리텔링, 리더십, 창의력, 분석 등

하드스킬은 이과적, 소프트스킬은 문과적인 느낌

빅데이터 그리고 데이터 사이언스의 미래

빅데이터 가치 패러다임 변화

- Digitalization -> Connection > Agency

(1) Digitalization : 아날로그 세상을 디지털화

(2) Connection : 디지털화된 정보들의 연결

(3) Agency : 연결을 효과적으로 관리

Mac Git 설치하기

이응 — Mon, 7 Oct 2024 17:47:17 +0900

Git - Downloads

Downloads macOS Windows Linux/Unix Older releases are available and the Git source repository is on GitHub. Latest source Release 2.46.2 Release Notes (2024-09-23) Download Source Code GUI Clients Git comes with built-in GUI tools (git-gui, gitk), but ther

git-scm.com

Git 홈페이지 접속 -> 다운로드

homebrew 클릭

아이콘을 클릭하여 코드 복사

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

터미널을 열고 붙여넣기 -> 비밀번호 입력 후 설치

설치가 잘되었는지 확인하기 위해 brew help 입력

zsh: command not found : brew

오류 확인

eval $(/opt/homebrew/bin/brew shellenv)

위의 코드를 입력 후 다시 brew help

brew install git 입력 후 다시 설치

brew install git

git --version 입력 후 설치가 잘되었는지 확인할 수 있다

Mac JDK 삭제 후 재설치 ( Version 변경 하는법)

이응 — Fri, 30 Aug 2024 00:16:54 +0900

기존의 설치되어있던 JDK 삭제 후 재설치

현재 설치되어있는 JDK 확인

java -version

터미널을 열고 먼저 현재 자바 버전을 확인합니다

java version "21.0.3" 2024-04-16 LTS
Java(TM) SE Runtime Environment  (build 21.0.3+7-LTS-152)
Java HotSpot(TM) 64-Bit Server VM  (build 21.0.3+7-LTS-152, mixed mode, sharing)

현재 21 version 인 것을 확인

현재 JDK 삭제하기

/usr/libexec/java_home -V

1) JDK 설치 경로 확인

/Library/Java/JavaVirtualMachines/jdk-21.jdk/Contents/Home

2) JDK 21이 설치된 경로를 복사

sudo rm -rf /Library/Java/JavaVirtualMachines/jdk-21.jdk

3) 비밀번호 입력 후 삭제

JDK 17 설치

Download the Latest Java LTS Free

Subscribe to Java SE and get the most comprehensive Java support available, with 24/7 global access to the experts.

www.oracle.com

링크 페이지로 이동하여 JDK 17을 다운로드합니다.

macOS용 .dmg 파일을 선택

java -version
javac -version

터미널을 열고 잘 설치 되어있는 지 확인

java version "17.0.8" 2023-07-18 LTS
javac 17.0.8

잘 설치되어있는 것을 확인 가능

Mac 자바 다운로드 및 설치 방법 및 환경 변수

Download the Latest Java LTS FreeSubscribe to Java SE and get the most comprehensive Java support available, with 24/7 global access to the experts.www.oracle.com 자바 파일 위치 경로 1. 경로 Macintosh HD > 라이브

limej5040.tistory.com

링크 참조하여 환경변수 설정하기

링크에 나와있는 순서대로 터미널에 입력하면

 JavaVirtualMachines % java -version
java version "17.0.12" 2024-07-16 LTS

잘 설치되어있는 것으로 확인

JDK Version 바꾸고 싶으면 삭제 후 재설치

2과목 관계형 데이터 베이스

이응 — Sun, 18 Aug 2024 21:25:25 +0900

데이터베이스

데이터베이스 : 데이터의 집합 , 꼭 형식을 갖추지 않아도 엑셀 파일을 모아 둔다면 그것 또한 데이터베이스임

DBMS : 데이터를 효과적으로 관리하기 위한 시스템

개인이 파일을 여러 개 묶어서 폴더에 보관하면 데이터를 찾고 관리하는데 많은 비용이 발생

이를 보다 시스템적으로 작동하게 만든 시스템을 DBMS라고 한다

관계형 데이터베이스 구성요소

-계정 : 데이터의 접근 제한을 위한 여러 업무별 / 시스템별 계정이 존재

-테이블 : DBMS의 DB 안에서 데이터가 저장되는 형식

-스키마: 테이블이 어떠한 구성으로 되어있는지 어떠한 정보를 가지고 있는지에 대한 기본적인 구조를 정의

테이블

1. 정의

엑셀에서의 워크시트처럼 행(로우) 과 열(컬럼)을 갖는 2차원 구조로 구성, 데이터를 입력하여 저장하는 최소 단위

컬럼은 속성이라고도 부름 (모델링 단계마다 부르는 용어가 다름)

2. 특징

하나의 테이블은 반드시 하나의 유저(계정) 소유여야 함

테이블간 관계는 일대일 (1:1), 일대다 (1:N), 다대다(N:N) 의 관계를 가질 수 있음

테이블명은 중복될 수 없지만, 소유자가 다른 경우 같은 이름으로 생성 가능

ex) SCOTT 소유의 EMP 테이블 존재 HR 소유의 EMP 테이블 생성 가능 (같은 계정 내 동일한 객체명 생성 불가)

OBJECT _ TYPE 이 다른 경우 ( TABLE / INDEX) 생성 가능한데 같은 경우 생성 불가

OWNER 가 다른 경우 생성 가능

테이블은 행 단위로 데이터가 입력, 삭제되며 수정은 값의 단위로 가능

ex) 사원 테이블에 새로운 사원 정보를 사원번호, 사원이름 등의 테이블 내 모든 컬럼의 값을 동시에 전달하여 입력, 삭제 시에는 해당 사원의 모든 정보가 삭제됨 (수정 시에는 특정 직원의 급여만 수정가능)

EMPNO / ENAME / JOB 의 값만 넣고 싶다 하면 뒷 부분은 NULL 로 입력

특정 값 수정 가능 부분을 삭제하고 싶다고 해서 삭제가 되는 것이 아니라 NULL 값으로 입력되는 것

셀단위로 수정 가능하나 입력과 삭제 같은 부분은 행단위로 가능하다

* 객체 : DBMS 에서의 객체는 생성하고 변경할 수 있는 하나의 관리 대상

SQL

관계형 데이터베이스에서 데이터 조회 및 조작, DBMS 시스템 관리 기능을 명령하는 언어

데이터 정의 DDL, 데이터 조작 DML, 데이터 제어 언어 DCL 등으로 구분

SQL 문법은 대, 소문자를 구분하지 않는다

관계형 데이터 베이스 특징

데이터의 분류 , 정렬, 탐색 속도가 빠름

신뢰성이 높고, 데이터의 무결성 보장

기존의 작성된 스키마를 수정하기 어려움

데이터베이스의 부하를 분석하는 것이 어려움

데이터 무결성

데이터의 정확성과 일관성을 유지하고 데이터에 결손과 부정합이 없음을 보증하는 것

데이터베이스에 저장된 값과 그것이 표현하는 현실의 비즈니스 모델의 값이 일치하는 정확성을 의미함

데이터 무결성을 유지하는 것이 데이터베이스 관리시스템에 중요한 기능

데이터 무결성 종류

개체 무결성 : 테이블의 기본키를 구성하는 컬럼(속성)은 NULL 값이나 중복값을 가질 수 없음

참조무결성 : 외래키 값은 NULL 이거나 참조 테이블의 기본 키 값과 동일해야한다

(외래키란 참조 테이블의 기본키에 정의된 데이터만 허용되는 구조이므로 )

도메인 무결성 : 주어진 속성 값이 정의된 도메인에 속한 값이어야함

NULL 무결성 : 특정 속성에 대해 NULL 을 허용하지 않는 특징

고유 무결성 : 특정 속성에 대해 값이 중복되지 않는 특징

키 무결성 : 하나의 릴레이션(관계)에는 적어도 하나의 키가 존재해야함

(테이블이 서로 관계를 가질 경우 반드시 하나 이상의 조인키를 가짐)

도메인 : 각 컬럼(속성)이 갖는 범위
릴레이션 : 테이블간 관계를 말함
튜플 : 하나의 행을 의미함
키 : 식별자

ERD

ERD란 테이블 간 서로의 상관관계를 그림으로 표현한 것

ERD의 구성 요소에는 엔터티, 관계, 속성이 있다

> 현실 세계의 데이터는 이 3가지 구성으로 모두 표현 가능

SQL종류

구분	종류
DDL	CREATE, ALTER, DROP, TRUNCATE
DML	INSERT, DELETE , UPDATE ,MERGE
DCL	GRANT , REVOKE
TCL	COMMIT, ROLLBACK
DQL	SELECT

*SELCT 문은 따로 SQL 종류 중 어디에도 속하지 않아서 SELECT 문을 위한 DQL 등장

SELECT문 구조

SELECT 문은 다음과 같이 6개 절로 구성

각 절의 순서대로 작성해야함 ( GROUPBY 와 HAVING 은 서로 바꿀 수 있지만 보통 사용하지 않음)

SELECT 문의 내부 파싱 ( 문법적 해석) 순서는 나열된 순서와는 다름

FROM > WHERE > GROUP BY > HAVING > SELECT > ORDER BY 순서대로 실행 됨

SELECT 절

SELECT 문장을 사용하여 불러온 컬럼명, 연산 결과를 작성하는 절

* 를 사용하여 테이블 내 전체 컬럼명을 불러올 수 있음

원하는 컬럼을 , 로 나열하여 작성 가능 (순서대로 출력됨)

표현식이란 원래의 컬럼명을 제외한 모든 표현 가능한 대상 ( 연산식, 기존 컬럼의 함수 변형식 포함)

특징

SELECT 절에서 표시할 대상 컬럼에 Alias (별칭) 지정 가능

대소문자를 구분하지 않아도 인식한다

WHERE 절이 없기 때문에 전체 컬럼이 나온다

특정 컬럼 조회 시 SELECT 에다가 ,로 나열

SAL * 1.1 이라는 컬럼은 없지만 기존 컬럼의 값을 사용하여 연산결과를 SELECT 절에서 정의하여 출력할 수 있임

이런 표현 가능한 모든 수식을 표현식이라고 함 ( 함수식, 연산식 등)

컬럼 Alias(별칭)

컬럼명 대신 출력할 임시 이름 지정 ( SELECT 절에서만 정의 가능, 원본 컬럼명은 변경되지 않음)

컬럼명 뒤에 AS와 함께 컬럼 별칭 전달 (AS 는 생략 가능)

특징 및 주의사항

SELECT 문보다 늦게 수행되는 ORDER BY 절에서만 컬럼 별칭 사용 가능 ( 그 외 절에서 사용 시 에러발생)

한글 사용 가능 (한글 지원 캐릭터 셋 설정 시)

이미 존재하는 예약어는 별칭으로 사용 불가

ex ) avg, count, decode , SELECT , FROM 등

다음의 경우 별칭에 반드시 쌍따옴표 전달 필요

1) 별칭에 공백을 포함하는 경우

2) 별칭에 특수문자를 포함하는 경우 ( "_" 제외)

3) 별칭 그대로 전달할 경우 (입력한 대소를 그대로 출력하고자 할 때)

별칭에 공백 포함 시 반드시 쌍따옴표와 함께 전달

FROM 절

데이터를 불러올 테이블명 또는 뷰명 전달

테이블 여러개 전달 가능 ( 컴마로 구분) -> 조인 조건 없이 테이블명만 나열 시 카티시안 곱 발생 주의

테이블 별칭 선언 가능 (AS 쓰지않음)

* 테이블 별칭 선언 시 컬럼 구분자는 테이블 별칭으로만 전달 (테이블명으로 사용 시 에러 발생)

ORACLE 에서는 FROM 절 생략불가 (의미상 필요없는 경우 DUAL 테이블 선언)

*ORACLE 23c 버전부터는 생략 가능

MYSQL에서는 FROM 절 필요 없을 경우 생략 가능 ( 오늘 날짜 조회 시 )

뷰 : 테이블과 동일하게 데이터를 조회할 수 있는 객체이지만 테이블처럼 실제 데이터가 저장된 것이 아닌 SELECT 문 결과에 이름을 붙여

그 이름만으로 조회가 가능하도록 한 기능

테이블 별칭을 선언한 경우 컬럼참조 ( 동일한 이름의 컬럼을 구분하기 위해 테이블명 또는 별칭을 컬럼명 앞에 전달) 테이블명으로 사용 불가

함수 정의

input value 가 있을 경우 그에 맞는 output value를 출력해주는 객체

input value 와 output value의 관계를 정의한 객체

from 절을 제외한 모든 절에서 사용 가능

함수 기능

기본적인 쿼리문을 더욱 강력하게 해줌

데이터의 계산을 수행

개별 데이터의 항목을 수정

표시할 날짜 및 숫자 형식을 지정

열 데이터의 유형(data type) 을 변환

함수의 종류 (입력값의 수에 따라)

단일행 함수와 복수행 함수로 구분

단일행 함수 : input 과 output의 관계가 1:1

복수행 함수 : 여러 건의 데이터를 동시에 입력 받아서 하나의 요약값을 리턴 (그룹 함수 또는 집계 함수라고 함)

입/출력값의 타입에 따른 함수 분류

1) 문자형 함수

문자열 결합, 추출, 삭제 등을 수행

단일행 함수 형태

output 은 대부분 문자 값 (LENGTH, INSTR 제외)

함수명	함수기능	사용예시	출력	기타설명
LOWER (대상)	문자열을 소문자로	LOWER('ABC)	abc
UPPER(대상)	문자열을ㄹ 대문자로	UPPER('abc')	ABC
SUBSTR(대상, m,n)	문자열 중 m 위치에서 n개의 문자열 추출	SUBSTR('ABCDE',2,3)	BCD
INSTR(대상,찾을 문자열)	대상에서 찾을 문자열 위치 반환	INSTR('A#B#C#','#',1,1)	2
		INSTR('A#B#C#','#',3,2)	6	3번째부터 두번째 발견된 # 위치
LTRIM(대상, 삭제문자열)	문자열 중 특정 문자열을 왼쪽에서 삭제	LTRIM('AABABAA','A')	BABAA	삭제 문자열 생략 시 공백 삭제
RTRIM (대상, 삭제문자열)	문자열 중 특정 문자열을 오른쪽에서 삭제	RTRIM('AABABAA','A')	AABAB	삭제 문자열 생략 시 공백 삭제
TRIM(대상)	문자열 중 특정 문자열을 양쪽에서 삭제	TRIM(' ABCDE')	ABCDE	ORACLE TRIM 은 공백만 삭제 가능
LPAD(대상,n, 문자열)	대상 왼쪽에 문자열을 추가하여 총 n의 길이 리턴	LPAD('ABC',5,'*')	**ABC
RPAD(대상,n,문자열)	대상 오른쪽에 문자열을 추가하여 총 n의 길이 리턴	RPAD('ABC',5,'*')	ABC**
CONCAT(대상1, 대상2)	문자열 결합	(CONCAT('A','B')	AB	두 개의 인수만 전달 가능
LENGTH(대상)	문자열 길이	LENGTH('ABCDE')	5
REPLACE(대상, 찾을 문자열, 바꿀문자열)	문자열 치환 및 삭제	REPLACE('ABBA','AB','ab')	abBA	세번째 인수를 생략하거나 빈 문자열 전달 시 찾을 문자열 삭제 가능
TRANSLATE(대상,찾을문자열,바꿀문자열)	글자를 1대 1로 치환	TRANSLATE('ABBA','AB','ab')	abba

SQL - Server

SBSTR -> SUBSTRING

LENGTH -> LEN

INSTR -> CHARINDEX

숫자형 함수

숫자를 입력하면 숫자 값을 반환

단일행 함수 형태의 숫자함수

ORACLE 과 SQL-Server 함수 거의 동일

숫자 함수 종류

함수명	함수기능	사용예시	출력	기타설명
ABS(숫자)	절대값반환	ABS(-1.5)	1.5
ROUND(숫자,자리수)	소수점 특정 자리에서 반올림	ROUND(123.456,2)	123.46
		ROUND(123.456,-2)	100	자리수가 음수이면 정수자리에서 반올림
TRUNC(숫자, 자리수)	소수점 특정 자리에서 버림	TRUNC(123.456,2)	123.45
SIGN(숫자)	숫자가 양수면 1 음수면 -1 0이면 0 반환	TRUNC(123.456,-2)	100
FLOOR(숫자)	작거나 같은 최대 정수리턴	FLOOR(3.5)	3
CEIL(숫자)	크거나 같은 최소 정수 리턴	CEIL(3.5)	4
MOD(숫자1,숫자2)	숫자1을 숫자 2로 나누어 나머지 반환	MOD(7,2)	1
POWER (m,n)	m의 n 거듭제곱	POWER(2,4)	16
SQRT	루트값 리턴	SQRT(16)	4

날짜형 함수

날짜 연산과 관련된 함수

ORACLE 과 SQL-Server 함수 거의 다름

SQL-Server

SYSDATE -> GETDATE

ADD_MONTHS -> DATEADD (월 뿐만 아니라 모든 단위 날짜 연산 가능)

MONTHS_BETWEEN -> DATEDIFF (두 날짜 사이의 년, 월, 일 추출)

변환 함수

값의 데이터 타입을 변환

문자를 숫자로, 숫자를 문자로, 날짜를 문자로 변경

SQL-Server

TO_NUMBER, TO_DATE, TO_CHAR ->CONVERT (포맷 전달 시)

단순 변환일 경우 주로 CAST 사용

그룹함수

다중행 함수

여러값이 input 값으로 들어가서 하나의 요약값으로 리턴

group by와 함께 자주 사용됨

ORACLE 과 SQL- Server 거의 동일

SQL-Server

VARIANCE -> VAR

STDDEV -> STDEV

일반함수

기타 함수 (널 치환 함수 등)

WHERE 절

테이블의 데이터 중 원하는 조건에 맞는 데이터만 조회하고 싶을 경우 사용 (엑셀의 필터기능과 유사)

여러 조건 동시 전달 가능 (AND 와 OR 로 조건 연결)

NULL 조회 시 IS NULL / IS NOT NULL 연산자 사용 (= 연산자로 조회불가)

연산자를 사용하여 다양한 표현이 가능

조건 전달 시 비교 대상의 데이터 타입 일치하는 것이 좋음

ex) EMP 테이블의 부서번호 컬럼의 데이터타입은 숫자인데 문자상수로 비교 시 성능 문제 발생할 수 있음

주의사항

문자나 날짜 상수 표현 시 반드시 홑따옴표 사용 (다른 절에서도 동일 적용)

ORACLE은 문자 상수의 경우 대소문자를 구분

MSSQL은 기본적으로 문자상수의 대소문자를 구분하지 않음

ORCLE 의 경우 테이블에 데이터는 실제로 대문자로 저장되어 있데 소문자로 조회 시 데이터 출력 안됨

IN 연산자

포함 연산자로 여러 상수와 일치하는 조건 전달 시 사용

상수를 괄호로 묶어서 동시에 전달 (문자와 날짜 상수의 경우 반드시 홑따옴표와 함께)

이름이 SMITH 이면서 SCOTT 일 수는 없으므로 두 조건을 각각 만족하는 합집합을 구하라는 의미임

하지만 동일한 조건대상(ENAME)이 계속 반복돼야 하는 불편함이 있음 -> IN 연산자 사용

BETWEEN A AND B 연산자

A 보다 크거나 같고 B 보다 작거나 같은 조건을 만족

A 와 B 에는 범위로 묶을 상수 값 전달 (문자,숫자,날짜 모두 전달 가능)

반드시 A 가 B 보다 작아야함 (반대로 작성 시 아무것도 출력되지 않음)

역시 SAL이 반복되는 특징을 보임 => BETWEEN A AND B 연산자 이용

LIKE 연산자

정확하게 일치하지 않아도 되는 패턴 조건 전달 시 사용

% 와 _ 와 함께 사용됨

% : 자리수 제한 없는 모든이라는 의미

_: _ 하나 당 한 자리수를 의미하며 모든 값을 표현함

ex ) LIKE 연산자

ENAME LIKE 'S%'	이름이 S 로 시작하는
ENAME LIKE '%S%'	이름에 S를 포함하는
ENAME LIKE '%S'	이름이 S로 끝나는
ENAME LIKE '_S%'	이름의 두번 째 글자가 S 인 (맨 앞이 _인것 주의 ! %이면 자리수 상관없이 S를 포함하기만 하면 됨
ENAME LIKE __S__	이름의 가운데 글자가 S 이면 이름의 길이가 5글자인

NOT 연산자

조건 결과의 반대집합, 즉 여집합을 출력하는 연산자

NOT 뒤에 오는 연산 결과의 반대 집합 출력

주로 NOT IN, NOT BETWEEN A AND B, NOT LIKE , NOT NULL 로 사용

이 경우 3000 보다 작거나 같은 조건으로 변경 가능하므로 위처럼 NOT 을 사용하지 않는다

GROUP BY 절

각 행을 특정 조건에 따라 그룹으로 분리하여 계산하도록 하는 구문식

GROUP BY 절에 그룹을 지정할 컬럼을 전달 (여러 개 전달 가능)

만약 그룹 연산에서 제외할 대상이 있다면 미리 WHERE 절에서 해당 행을 제외함

(WHERE 절이 GROUP BY 절보다 먼저 수행되므로)

그룹에 대한 조건은 WHERE 절에서 사용할 수 없음

SELECT 절에 집계 함수를 사용하여 그룹연산 결과 표현

GROUP BY 절을 사용하면 데이터가 요약되므로 요약되기 전 데이터와 함께 출력할 수 없음

HAVING 절

그룹 함수 결과를 조건으로 사용할 때 사용하는 절이

WHERE 절을 사용하여 그룹을 제한 할 수 없으므로 HAVING 절에 전달

HAVING 절이 GROUP BY 절 앞에 올 수는 있지만 뒤에 쓰는 것을 권장

내부적 연산 순서가 SELECT 절보다 먼저이므로 SELECT 절에서 선언된 Alias 사용 불가

ORDER BY 절

데이터는 입력된 순서대로 출력되나, 출력되는 행의 순서를 사용자가 변경하고자 할 때 ORDER BY 절을 사용

ORDER BY 뒤에 명시된 컬럼 순서대로 정렬 -> 1차 정렬, 2차 정렬 전달 가능

정렬 순서를 오름차순(ASC) , 내림차순 (DESC) 으로 전달 (생략 시 오름차순 정렬)

유일하게 SELECT절에 정의한 컬럼 별칭 사용 가능

SELECT 절에 선언된 순서대로의 숫자로도 사용 가능

정렬 순서 (오름차순)

한글 : 가, 나 다, 라

영어 : A, B, C,D

숫자 : 1, 2,3, 4

복합정렬

먼저 정렬한 값의 동일한 결과가 있을 경우 추가적으로 정렬 가능

-> 1차 정렬한 값이 같은 경우 그 값 안에서 2차 정렬 컬럼값의 정렬이 일어남

JOIN(조인)

여러 테이블의 데이터를 사용하여 동시 출력하거나 참조 할 경우 사용

FROM 절에 조인할 테이블 나열

ORACLE 표준은 테이블 나열 순서 중요하지 X , ANSI 표준은 OUTER JOIN 시 순서 중요

WHERE 절에서 조인 조건을 작성 (ORACLE 표준)

동일한 열 이름이 여러 테이블에 존재할 경우 열 이름 앞에 테이블 이름이나 테이블 Alias 붙임

N개의 테이블을 조인하려면 최소 N-1개의 조인 조건이 필요

ORACLE 표준과 ANSI 표준이 서로 다름

조인 종류

1. 조건의 형태에따라

EQUI JOIN( 등가 JOIN) : JOIN 조건이 동등 조건인 경우

NON EQUI JOIN : JOIN 조건이 동등 조건이 아닌 경우

2. 조인 결과에 따라

INNER JOIN : JOIN 조건에 성립하는 데이터만 출력하는 경우

OUTER JOIN : JOIN 조건에 성립하지 않은 데이터도 출력하는 경우 ( LEFT / RIGHT / FULL OUTER JOIN 으로 나뉨)

NATURAL JOIN : 조인 조건 생략 시 두 테이블에 같은 이름으로 자연 연결되는 조인

CROSS JOIN : 조인 조건 생략 시 두 테이블의 발생 가능한 모든 행을 출력하는 조인

SELF JOIN. : 하나의 테이블을 두 번 이상 참조하여 연결하는 조인

EQUI JOIN ( 등가 JOIN)

조인 조건이 '='(equal) 비교를 통해 같은 값을 가지는 행을 연결하여 결과를 얻는 조인 방법

SQL 명령문에서 가장 많이 사용하는 조인방법

FROM 절에 조인하고자 하는 테이블을 모두 명시

FROM 절에 명시하는 테이블은 테이블 별칭 (Alias) 사용 가능

WHERE 절에 두 테이블의 공통 컬럼에 대한 조인 조건을 나열

NON - EQUI JOIN

테이블을 연결짓는 조인 컬럼에 대한 비교조건이 '<', BETWEEN A AND B 와 같이 '=' 조건이 아닌 연산자를 사용하는 경우의 조인 조건

세 테이블 이상의 조인

관계를 잘 파악하여 모든 테이블이 연결되도록 조인 조건 명시

N개 테이블의 경우 최소 N-1개의 조인 조건 필요

SELF JOIN

한 테이블 내 각 행끼리 관계를 갖는 경우 조인 기법

한 테이블을 참조할 때마다 (필요할 때마다) 명시해야함

테이블명이 중복되므로 반드시 테이블 명칭 사용

표준조인

ANSI 표준으로 작성되는 INNER JOIN , CROSS JOIN , NATURAL JOIN ,OUTER JOIN 을 말함

INNER JOIN

내부 조인이라고 하며, 조인 조건이 일치하는 행만 추출 (ORACLE 조인 기본)

ANSI 표준의 경우 FROM 절에 INNER JOIN 혹은 줄여서 JOIN 을 명시

ANSI 표준의 경우 USING 이나 ON 조건절을 필수적으로 사용

ON 절

조인할 양 컬럼의 컬럼명이 서로 다르더라도 사용 가능

ON 조건의 괄호는 옵션 (생략 가능)

컬럼명이 같을 경우 테이블 이름이나 별칭을 사용하여 명확하게 지정 (테이블 출처 명확히)

ON 조건절에서 조인조건 명시 WHERE 절에서는 일반조건 명시

(WHERE 절과 ON 절을 쓰임에 따라 명확히 구분)

USING 조건절

조인할 컬럼명이 같을 경우 사용

Alias 나 테이블 이름 같은 접두사 붙이기 불가

괄호 필수

NATURAL JOIN

두 테이블 간의 동일한 이름을 가지는 모든 컬럼들에 대해 EQUI JOIN을 수행

USING, ON, WHERE 절에서 조건 정의 불가

JOIN 에 사용된 컬럼들은 데이터 유형이 동일해야 하며 접두사를 사용 불가

CROSS JOIN

테이블 간 JOIN 조건이 없는 경우 생성 가능한 모든 데이터들의 조합

(Caresian product (카타시안곱)) 출력

양쪽 테이블 행의 수의 곱한 수의 데이터 조합 발생 (m * n)

OUTER JOIN

INNER JOIN 과 대비되는 조인방식

JOIN 조건에서 동일한 값이 없는 행도 반환할 때 사용

두 테이블 중 한쪽에 NULL 을 가지면 EQUI JOIN 시 출력되지 않음 -> 이를 출력 시 OUTER JOIN 사용

테이블 기준 방향에 따라 LEFT OUTER JOIN , RIGHT OUTER JOIN , FULL OUTER JOIN 으로 구분

OUTER JOIN 종류

1) LEFT OUTER JOIN
FROM 절에 나열된 왼쪽 테이블에 해당하는 데이터를 읽은 후 , 우측 테이블에서 JOIN 대상 읽어옴

즉 왼쪽 테이블이 기준이 되어 오른쪽 데이터를 채우는 방식

우측 값에서 같은 값이 없는 경우 NULL 값으로 출력

2) RIGHT OUTER JOIN

LEFT OUTER JOIN 의 반대

즉 오른쪽 테이블 기준으로 왼쪽 테이블 데이터를 채우는 방식

FROM 절에 테이블 순서를 변경하면 LEFT OUTER JOIN 으로 수행 가능

3) FULL OUTER JOIN

두 테이블 전체 기준으로 결과를 생성하여 중복 데이터는 삭제 후 리턴

LEFT OUTER JOIN 결과와 RIGHT OUTER JOIN 결과의 UNION 연산 리턴과 동일함

ORACLE 표준에는 없음

1과목 데이터 모델링의 이해

이응 — Fri, 2 Aug 2024 00:47:52 +0900

테이블 = 엔터티

속성 = 컬럼

행 = 인스턴스

● 모델링의 개념

현실 세계의 비즈니스 프로세스와 데이터 요구 사항을 추상적이고 구조화된 형태로 표현

데이터 베이스의 구조와 관계를 정의하며, 이를 통해 데이터의 저장,조작,관리 방법을 명확하게 정의

● 모델링의 특징

1. 단순화

현실을 단순화하여 핵심 요소에 집중하고 불필요한 세부 사항을 제거

단순화를 통해 복잡한 현실세계를 이해하고 표현하기 쉬워짐

2. 추상화

현실세계를 일정한 형식에 맞추어 간략하게 대략적으로 표현하는 과정

다양한 현상을 일정한 양식인 표기법에 따라 표현

3. 명확화

대상에 대한 애매모호함을 최대한 제거하고 정확하게 현상을 기술하는 과정

명확화를 통해 모델을 이해하는 이들의 의사소통을 원활히 함

● 데이터 모델링 3가지 관점

1. 데이터 관점

데이터가 어떻게 저장되고, 접근되고, 관리되는 지를 정의하는 단계

2. 프로세스 관점

시스템이 어떤 작업을 수행하며, 이러한 작업들이 어떻게 조직되고 조정되는 지를 정의하는 단계

3. 데이터와 프로세스 관점

데이터 관점과 프로세스 관점을 결합하여 시스템의 전반적인 동작을 이해하는 단계

특정 프로세스가 어떤 데이터를 사용하는지 데이터가 어떻게 생성되고 변경되는지를 명확하게 정의

● 데이터 모델링 유의점

1. 중복

한 테이블 또는 여러 테이블에 같은 정보를 저장하지 않도록 설계

2. 비유연성

사소한 업무 변화에 대해서도 잦은 모델 변경이 되지 않도록 주의

데이터 정의를 프로세스와 분리

3. 비일관성

데이터베이스 내의 정보가 모순되거나 상반된 내용을 갖는 상태를 의미

데이터간 상호연관 관계를 명확히 정의

데이터 품질 관리 필요

데이터의 중복이 없더라도 비일관성은 발생할 수 있음

● 데이터 모델링 3가지 요소

대상(Entity) : 업무가 관리하고자 하는 대상(객체)

속성(Attribute) : 대상들이 갖는 속성(하나의 특징으로 정의될 수 있는 것)

관계(Relationship): 대상들 간의 관계

● 데이터 모델링의 3단계

1. 개념적 모델링

업무 중심적이고 포괄적(전사적)인 수준의 모델링

추상화 수준이 가장 높음

업무를 분석 뒤 업무의 핵심 엔터티(Entity)를 추출하는 단계

도출된 핵심 엔터티(Entity)들과의 관계들을 표현하기 위해 ERD 작성

2. 논리적 모델링

개념적 모델링의 결과를 토대로 세부속성, 식별자, 관계 등을 표현하는 단계

데이터 구조를 정의하기 때문에 비슷한 업무나 프로젝트에서 동일한 형태의 데이터 사용 시 재사용 가능

동일한 논리적 모델을 사용하는 경우 쿼리도 재사용 가능

데이터 정규화 수행

재사용성이 높은 논리적 모델은 유지보수가 용이해짐

3. 물리적 모델링

논리 모델링이 끝나면 이를 직접 물리적으로 생성하는 과정

데이터베이스 성능, 디스크 저장구조, 하드웨어의 보안성, 가용성 등을 고려

가장 구체적인 데이터 모델링

추상화 수준은 가장 낮음 (가장 구체적인 모델링)

스키마의 3단계 구조

스키마 : 데이터베이스의 구조와 제약 조건에 관한 전반적인 명세를 기술한 메타 데이터의 집합

외부, 개념, 내부 스키마로 분리

사용자의 관점과 실제 설계된 물리적인 방식을 분리하기 위해 고안됨

1. 외부 스키마

사용자가 보는 관점에서 데이터베이스 스키마를 정의

사용자나 응용 프로그램이 필요한 데이터를 정의 (View : 사용자가 접근하는 대상)

2.개념 스키마

사용자 관점의 데이터베이스 스키마를 통합하여 데이터베이스의 전체 논리적 구조를 정의

전체 데이터베이스의 개체, 속성, 관계, 데이터 타입 등을 정의

3. 내부 스키마

데이터가 물리적으로 어떻게 저장되는지를 정의

데이터의 저장, 구조, 컬럼, 인덱스 등을 정의함

3단계 스키마의 독립성

독립성 : 물리적, 논리적 구조를 변경하더라도 사용자가 사용하는 응용 프로그램에 영향을 주지 않는다

1) 논리적 독립성 : 논리적 데이터 구조가 변경되어도 (개념 스키마 변경) 응용 프로그램에 영향을 주지 않는다

2) 물리적 독립성 : 물리적 구조가 변경되어도 (내부 스키마 변경) 개념 / 외부 스키마에 영향을 주지 않는 특성

● 데이터 모델의 표기법 (ERD)

엔터티와 엔터티 간의 관계를 시각적으로 표현한 다이어그램

1976년 피터 첸 이 만든 표기법, 데이터 모델링 표준으로 사용

● ERD 작성 절차 (6단계)

1. 엔터티를 도출한 후 그린다

2. 엔터티 배치

3. 엔터티 간의 관계를 설정

4. 관계명을 서술

5. 관계의 참여도 기술

6. 관계의 필수 여부를 확인

● 엔터티의 개념

현실 세계에서 독립적으로 식별 가능한 객체나 사물을 나타냄

엔터티는 업무상 분석해야 하는 대상들로 이루어진 집합

인스턴스는 엔터티의 특정한 속성 값들로 구성되며, 엔터티의 개념을 현실에서 구체적으로 나타낸 것

예) 엔터티와 속성, 인스턴스 등의 관계

엔터티 : 학생

속성 : 학번, 이름, 학과 등

식별자 : 학번 (고유한 학번으로 각 학생을 식별)

인스턴스 : 특정 학생의 데이터

학번 : 2021001
이름 : 홍길동
학과 : 컴퓨터 공학

● 엔터티의 특징

1. 유일한 식별자에 의해 식별 가능

인스턴스가 식별자에 의해 한 개씩만 존재하는 지 검증 필요

유일한 식별자는 그 엔터티의 인스턴스만의 고유 이름

ex) 이름은 동명이인이 있을 수 있으므로, 사번, 학번 등이 고유 식별자

2. 해당 업무에 필요하고 관리하고자 하는 정보

설계하는 업무의 시스템 구축에 필요한 정보여야 함

ex) 학교 시스템 구축 시 학생 정보 필요, 다른 업무에 학생 정보 불필요

3. 인스턴스들의 집합

영속적으로 존재하는 2개 이상의 인스턴스의 집합

인스턴스가 한 개 밖에 없는 엔터티는 합이 아니므로 성립이 안됨

4. 엔터티는 반드시 속성을 가짐

각 엔터티는 2개 이상의 속성을 가짐

하나의 인스턴스는 각각의 속성들에 대한 1개의 속성 값만을 가짐

ex) 학생 엔터티에서 한 학생의 데이터(인스턴스)의 이름(속성) 정보에는 반드시 한 값만 저장됨

5. 엔터티는 업무 프로세스에 의해 이용

업무적으로 필요해 선정했지만 실제 사용되지 않으면 잘못 설계된 것

모델링 시 발견하기 어려운 경우 데이터 모델 검증이나 상관 모델링 시 단위 프로세스 교차점 도출

누락된 프로세스의 경우 추후 해당 프로세스 추가

반대로 사용되지 않는 고립 엔터티는 제거 필요

6. 다른 엔터티와 최소 1개 이상의 관계 성립

엔터티는 업무적 연관성을 갖고 다른 엔터티와 연관의 의미를 가짐

관계가 없는 엔터티 도출은 부적절한 엔터티이거나 적절한 관계를 찾지 못한 것

● 엔터티의 분류

1) 유형과 무형에 따른 분류

유형 엔터티

물리적 형태가 있음 (실체가 있는 대상)

안정적이며 지속적으로 활용되는 엔터티

업무로부터 구분하기가 가장 용이한 엔터티

ex) 사원, 물품, 감사 등

개념 엔터티

물리적인 형태 없음

관리해야 할 개념적 정보로부터 구분되는 엔터티

ex ) 조직, 보험 상품 등

사건 엔터티

업무를 수행에 따라 발생하는 엔터티

발생량이 많고 각종 통계자료에 이용

ex ) 주문, 청구, 미납 등

2) 발생 시점에 따른 분류

기본엔터티

그 업무에 원래 존재하는 정보

다른 엔터티와 관계에 의해 생성되지 않고, 독립적으로 생성

타 엔터티의 부모 역할을 하는 엔터티

다른 엔터티로부터 주식별자를 상속받지 않고 자신의 고유한 주식별자를 가짐

ex) 사원, 부서, 고객, 상품 등

중심엔터티

기본 엔터티로부터 발생되고 그 업무에서 중심적인 역할

많은 데이터가 발생되고 다른 엔터티와의 관계를 통해 많은 행위 엔터티를 생성

ex) 계약, 사고, 청구, 주문, 매출 등

행위엔터티

2개 이상의 부모엔터티로부터 발생

자주 내용이 바뀌거나 데이터 양이 증가

분석 초기 단계보다는 상세 설계 단계나 프로세스와 상관모델링을 진행하면서 도출

ex) 주문 (고객과 상품 엔터티로 부터 발생하므로 행위 엔터티이기도 함), 사원변경 이력, 이력 등

● 엔터티의 명명

1. 현업에서 사용하는 용어 사용

2. 가능하면 약자 사용은 자제

3. 단수 명사 사용

4. 모든 엔터티에서 유일하게 이름 부여

5. 엔터티 생성 의미대로 이름 부여

엔터티와 인스턴스 표기법

엔터티는 사각형으로 표현, 속성은 조금씩 다름

일대 다의 관계

IE 표기법

네모 박스 안에 주식별자 구분

Baker 표기법

# 표시로 주식별자 구분

● 속성의 개념

속성은 업무에서 필요로 하는 고유한 성질, 특징을 의미(관찰 대상) -> 컬럼으로 표현할 수 있는 단위

업무상 인스턴스로 관리하고자 하는 더 이상 분리되지 않는 최소의 데이터 단위

인스턴스의 구성 요소

ex) 학생 엔터티에 이름, 학번, 학과번호 등이 속성이 될 수 있음

● 엔터티, 인스턴스, 속성, 속성값의 관계

한 개의 엔터티는 2개 이상의 인스턴스의 집합이어야 한다(하나의 테이블은 두 개 이상의 행을 가짐)

한 개의 엔터티는 2개 이상의 속성을 갖는다 ( 하나의 테이블은 두 개 이상의 컬럼으로 구성됨)

한 개의 속성은 1개의 속성값을 갖는다 ( 각 컬럼의 값은 하나씩만 삽입 가능)

속성은 엔터티에 속한 엔터티에 대한 자세하고 구체적인 정보를 나타냄. 각 속성은 구체적인 값을 지님

● 속성의 특징

반드시 해당 업무에서 필요하고 관리하고자 하는 정보여야 한다

정해진 주식별자에 함수적 종속성을 가져야 한다

하나의 속성은 한 개의 값만을 가진다 ( 한 컬럼의 값은 각 인스턴스마다 하나씩만 저장)

하나의 속성에 여러 개의 값이 있는 다중값일 경우 별도의 엔터티를 이용하여 분리한다.

하나의 인스턴스는 속성마다 반드시 하나의 속성값을 가진다

=> 각 속성이 하나의 값을 갖고 있음을 의미 (속성의 원자성)

원자성이란

데이터 모델에서 각 엔터티의 인스턴스가 해당 속성에 대해 단일하고 명확한 값을 가지는 것을 말한다

(2개이상의 값을 가질 수 없다)

● 함수적 종속성

한 속성의 값이 다른 속성의 값에 종속적인 관계를 갖는 특징을 말함

즉 어떤 속성 A의 값에 의해 다른 속성 B도 유일하게 결정된다면, B는 A에 함수적으로 종속됐다 하고,

이를 수식으로 나타내면 A -> B 라고 표현함

1) 완전 함수적 종속

특정 컬럼이 기본키에 대해 완전히 종속될 때를 말함

PK를 구성하는 컬럼이 2개 이상일 경우 PK 값 모두에 의한 종속관계를 나타낼 때 완전 함수 종속성 만족

ex) (주문번호 + 제품번호) 에 의해 수량 컬럼의 값이 결정됨

2) 부분 함수적 종속

기본키 전체가 아니라 기본키 일부에 대해 종속될 때를 말함

ex) 수강기록 테이블에서 학생번호와 과목이 PK라고 가정할 때 과목에 의해서도 교수가 결정되면 부분 함수적 종속 관계

● 속성의 분류

1) 속성의 특성에 따른 분류

기본속성

업무로부터 추출된 모든 속성

엔터티에 가장 일반적으로 많이 존재하는 속성

ex) 원금, 예치기간 등

설계 속성

기본 속성 외에 업무를 규칙화하기 위해 새로 만들어지거나 기본 속성을 변형하여 만들어지는 속성

ex) 상품코드, 지점코드, 예금분류 등

파생 속성

다른 속성에 의해 만들어지는 속성

일반적으로 계산된 값들이 해당

데이터 정합성을 유지하기 위해 가급적 적게 정의하는 것이 좋음

ex ) 합계, 평균, 이자 등

2) 엔터티 구성 방식에 따른 분류

PK (Primary Key, 기본키)

인스턴스를 식별할 수 있는 속성

FK (Foreign Key, 외래키) 속성

다른 엔터티와의 관계에서 포함된 속성

일반 속성

엔터티에 포함되어 있고 PK / FK 에 포함되지 않는 속성

3) 분해 여부에 따른 속성

단일 속성

하나의 의미로 구성된 경우

ex) 회원 ID , 이름 등

복합 속성

여러개의 의미로 구성된 경우

ex) 주소 (시, 구, 동 등으로 분해 가능 ) 등

다중값 속성

속성에 여러 개의 값을 가질 수 있는 경우

다중 값 속성은 엔터티로 분해

ex) 상품 리스트 등

● 속성의 명명 규칙

1. 해당 업무에서 사용하는 이름을 부여

2. 서술식 속성명은 사용하지 않음

3. 약어의 사용은 가급적 제한

4. 전체 데이터 모델에서 유일한 명칭

● 도메인

도메인은 각 속성이 가질 수 있는 값의 범위를 의미함

엔터티 내에서 속성에 대한 데이터 타입과 크기, 제약사항을 지정하는 것이다

● 관계의 개념

관계는 엔터티간의 연관성을 나타낸 개념

관계를 정의할 때는 인스턴스 (각 행 데이터) 간의 논리적인 연관성을 파악하여 정의

엔터티를 어떻게 정의하느냐에 따라 변경되기도 함

● 관계의 종류

1) 존재적 관계

한 엔터티의 존재가 다른 엔터티의 존재에 영향을 미치는 관계

엔터티 간의 연관된 상태를 의미

ex) 부서 엔터티가 삭제되면 사원 엔터티의 존재에 영향을 미침

2) 행위적 관계

엔터티 간의 어떤 행위가 있는 것을 의미

ex) 고객 엔터티의 행동에 의해 주문 엔터티가 발생

*ERD에서는 존재관계와 행위관계를 구분하지 않는다.

● 관계의 구성

1. 관계명

2. 차수 (Cardinality)

3. 선택성 (Optionality)

● 관계의 차수

한 엔터티의 레코드(인스턴스)가 다른 엔터티의 레코드(인스턴스)와 어떻게 연결되는지를 나타내는 표현

주로 1:1, 1:N, N:M 등으로 표현

1) 1 대 1 관계

완전 1 대 1 관계

하나의 엔터티에 관계되는 엔터티가 반드시 하나로 존재하는 경우

ex) 사원은 반드시 소속 부서가 있어야함

선택적 1 대 1 관계

하나의 엔터티에 관계되는 엔터티가 하나이거나 없을 수 있는 경우

ex) 사원은 하나의 소속 부서가 있거나 아직 발령전이면 없을 수 있음

2) 1 대 N 관계

엔터티에 하나의 행에 다른 엔터티의 값이 여러 개 있는 관계

ex) 고객은 여러 개 계좌를 소유할 수 있음

3) M 대 N 관계

두 엔터티가 다대다의 연결 관계 가지고 있음

이 경우 조인 시 카테시안 곱이 발생하므로 두 엔터티를 연결하는 연결 엔터티의 추가로 1대 N관계로 해소할 필요가 있음

ex ) 한 학생이 여러 강의를 수강할 수 있고, 한 강의 기준으로도 여러 학생이 보유할 수 있음

=> 이 두 엔터티의 연결 엔터티로는 구매 이력 엔터티가 필요함

● 관계의 페어링

엔터티 안에 인스턴스가 개별적으로 관계를 가지는 것

관계란 페이링의 집합을 의미함

관계와 차수, 페어링 차이

학생과 강의 엔터티는 관계를 가짐

한 학생은 여러 강의를 수강할 수 있고, 한 강의도 여러 학생에게 수강될 수 있으므로 M 대 N 관계이며, 이때 차수는 M:N 가 됨

인스턴스의 관계를 보면 "학생 A가 강의 B를 2023년 1학기에 수강했고 성적은 'A+'를 받았다" 와 같은 특정한 페어링이 형성

이런식으로 관계의 차수는 하나의 엔터티와 다른 엔터티 간의 레코드 연결 방식을 나타내는 반면 관계 페어링은 두 엔터티 간의 특정 연결을 설명하고 추가 정보를 제공하는 용도로 사용

● 식별자 개념

하나의 엔터티에 구성된 여러 개의 속성 중에 엔터티를 대표할 수 있는 속성을 나타냄

하나의 유일한 식별자가 존재해야함

식별자는 논리 모델링에서 사용하는 용어, 물리 모델링에서는 키 (key) 라고 표현

ex) 학생 엔터티의 주식별자는 학생번호 속성 => 학생 테이블의 기본키는 학생번호 컬럼

(논리 모델링) (물리 모델링)

● 주식별자 특징

1. 유일성 : 주식별자에 의해 모든 인스턴스를 유일하게 구분함

ex) 학생 엔터티에서 이름 속성은 동명이인이 발생할 수 있으므로 모든 인스턴스를 완벽하게 구분할 수 없으므로 학생번호와 같은 유일한 식별자를 주식별자로 사용

2. 최소성 : 주식별자를 구성하는 속성은 유일성을 만족하는 최소한의 속성으로 구성

ex) 학생 엔터티의 주식별자는 학생번호만으로 충분한데 학생번호 + 이름으로 구성할 필요 없음

3. 불변성 : 주식별자가 한 번 특정 엔터티에 지정되면 그 식별자의 값은 변하지 않아야함 (항상 고유값으로 존재해야함)

ex) 학생 엔터티에 주식별자인 학생번호가 때에 따라 변경되서는 안됨

4. 존재성 : 주식별자가 지정되면 반드시 값이 존재해야 하며 NULL 은 허용 안됨

● 식별자 분류

1) 대표성 여부에 따른 식별자의 종류

주식별자	보조식별자
1. 유일성과 최소성을 만족하면서 엔터티를 대표하는 식별자 2. 엔터티 내에서 각 인스턴스를 유일하게 구분 할 수 있는 식별자 3. 타 엔터티와 참조관계를 연결 할 수 있는 식별자	1. 엔터티 내에서 각 인스턴스를 구분할 수 있는 구분자지만 대표성을 가지지 못해 참조 관계 연결을 할 수 없는 식별자 2.유일성과 최소성은 만족하지만 대표성을 만족하지 못하는 식별자

2) 생성 여부에 따른 식별자의 종류

내부식별자	외부식별자
다른 엔터티 참조 없이 엔터티 내부에서 스스로 생성되는 식별자	다른 엔터티와 관계로 인하여 만들어지는 식별자 (외래키)

3) 속성 수에 따른 식별자 종류

단일식별자	복합식별자
하나의 속성으로 구성	2개 이상의 속성으로 구성

4) 대체 여부에 따른 식별자의 종류

본질식별자(원조식별자)	인조식별자
비즈니스 프로세스에서 만들어지는 식별자	인위적으로 만들어지는 식별자 자동 증가하는 일련번호 같은 형태

● 식별자 표기법

● 주식별자 도출기준

1) 해당 업무에서 자주 이용되는 속성을 주식별자로 지정한다.

같은 식별자 조건을 만족하더라도 업무적으로 더 많이 사용되는 속성을 주식별자로 지정

ex) 학생번호와 주민 번호 중에 학생번호가 주식별자, 주민번호는 보조식별자

2) 명칭이나 내역등과 같은 이름은 피함

이름 자체를 주식별자로 사용하는 행위를 피함

ex) 부서명 보다는 부서 코드를 부여하여 부서 코드로 주식별자로 사용

3) 속성의 수를 최대한 적게 구성

주식별자를 너무 많은 속성으로 구성 시 조인으로 인한 성능저하 발생 우려

일반적으로 7~8개 이상의 주식별자 구성은 새로운 인조식별자를 생성하여 모델을 단순화 시키는 것이 좋음

ex) 주문엔터티에 대해 주문일자 + 주문상품 코드 + 고객번호 + ... 등으로 구성 => 주문번호 속성 추가!

● 관계간 엔터티 구분

1) 강한 개체

독립적으로 존재할 수 있는 엔터티

ex) 고객과 계좌 엔터티 중 고객은 독립적으로 존재 할 수 있음

2) 약한 개체

독립적으로 존재할 수 없는 엔터티

ex) 고객과 계좌 엔터티 중 계좌는 독립적으로 존재할 수 없음 (고객에 의해 파생되는 엔터티)

● 식별 관계와 비식별관계

1) 식별관계

하나의 엔터티의 기본키를 다른 엔터티가 기본키의 하나로 공유하는 관계

식별관계는 ERD에서 실선으로 표시

ex) 사원과 교육이력 엔터티에서 양쪽 모두 기본키 중 일부가 사원번호임

2) 비식별관계

강한 개체의 기본키를 다른 엔터티의 기본키가 아닌 일반 속성으로 관계를 가지는 것

비식별관계는 ERD에서 점선으로 표시

ex) 부서와 사원의 관계에서 부서의 부서번호(기본키)를 사원 엔터티에서는 일반키로 가짐

(사원에서는 사원번호가 기본키)

Key의 종류

논리 모델링에서의 식별자가 물리 모델링에서는 Key가 되는 데 이를 Key의 특징에 따라 다음과 같이 분류

1. 기본키 (Primary Key)

엔터티를 대표할 수 있는 키

2. 후보키 (Candidate Key)

유일성(유니크한 특성)과 최소성(최소한의 컬럼으로 유일성을 만족하는 특징)을 만족하는 키

결국 후보키들 중 하나가 기본키가 되고 나머지를 대체키라고 부름

3.슈퍼키(Super Key)

유일성은 만족하지만 최소성은 만족하지 않는 키

ex) 학생 테이블에서 학번으로만 PK를 구성해도 되는데 (학번 + 이름) 으로 구성한다면 이는 슈퍼키임

4.대체키(Alternate Key)

여러 후보키 중 기본키가 아닌 키

5. 외래키(Foreign Key)

다른 테이블의 기본키를 참조하는 키 (다른 테이블의 기본키에 존재하는 값만 입력될 수 있는 키)

참조 테이블은 하나 또는 여러 개 가능

정규화

모델링 시 최대한 중복 데이터를 허용하지 않아야 저장공간의 효율적 사용과 업무 프로세스의 성능을 기대 할 수 있다.

이러한 중복 데이터를 허용하지 않는 방식으로 테이블을 설계하는 방식을 정규화라고 한다.

● 정규화의 개념

하나에 엔터티에 많은 속성을 넣게되면, 해당 엔터티를 조회할 때 마다 많은 양의 데이터가 조회될 것이므로

최소한의 데이터만을 하나의 엔터티에 넣는 식으로 데이터를 분해하는 과정을 정규화라고 한다.

데이터의 일관성, 최소한의 데이터 중복, 최대한의 데이터 유연성 위한 과정이라고 볼 수 있음

데이터의 중복을 제거하고 데이터 모델의 독립성을 확보

데이터 이상현상을 줄이기 위한 데이터 베이스 설계 기법

엔터티를 상세화하는 과정으로 논리 데이터 모델링 수행 시점에서 고려됨

제 1 정규화부터 제 5 정규화 까지 존재하지만 실질적으로는 제 3 정규화까지만 수행

● 이상현상

정규화를 하지 않아 발생하는 현상 (삽입이상, 갱신이상, 삭제이상)

특정 인스턴스가 삽입될 때 정의되지 않아도 될 속성까지도 반드시 입력되어야 하는 (삽입이상) 현상이 발생함

ex) 만약 사원 + 부서 엔터티를 합쳐 놓고 사원번호, 사원이름, 전화번호, 부서번호, 부서명, 부서위치의 속성이 존재할 때 새로운 사원 값이 추가될 때 정해지지 않은 부서정보 (부서번호, 부서명, 부서위치) 모두 임의 값 또는 NULL 삽입되야함.

반대로 부서가 새로 추가 될 경우 소속 사원이 없어도 사원과 관련된 모든 속성이 불필요하게 값이 입력되어야 함

불필요한 값까지 입력해야 되는 현상을 삽입이상. 그 외 갱신이상. 삭제이상이 발생할 수 있음

ex) 부서 정보만 삭제하면 되는데 관련된 사원 정보까지도 함께 삭제되는 현상 (삭제이상)

● 정규화단계

1. 제 1 정규화

테이블이 컬럼이 원자성 (한 속성이 하나의 값을 갖는 특성)을 갖도록 테이블을 분해하는 단계

쉽계 말해 하나의 행과 컬럼의 값이 반드시 한 값만 입력되도록 행을 분리하는 단계

ex) 구매 테이블의 제 1 정규화

상품에 여러 값이 있으므로 이를 여러 인스턴스로 분해

이름	구매상품
홍길동	샴푸, 린스
박길동	우유,치즈
최길동	세제

(구매 상품에 여러값이 있으므로 원자성 위배)

➡️

이름	구매상품
홍길동	샴푸
홍길동	린스
박길동	우유
박길동	치즈
최길동	세제

홍길동과 박길동은 구매상품이 두 값이 입력되어 있으므로 이를 각각 두행으로 분리하는 작업

2. 제 2 정규화

제 1 정규화를 진행한 테이블에 대해 완전 함수 종속을 만들도록 테이블을 분해

완전함수종속이란 기본키를 구성하는 모든 컬럼의 값이 다른 컬럼을 결정짓는 상태

기본키의 부분 집합이 다른 컬럼과 1:1 대응 관계를 갖지 않는 상태를 의미

즉 PK(Primary Key)가 2개 이상일 때 발생하며 PK의 일부와 종속되는 관계가 있다면 분리한다.

ex) 수강이력 테이블의 제 2 정규화

기본키(학생번호 + 강의명) 중 강의명에 의해 강의실이 결정 -> 완전 함수 종속성 위배 (부분 함수 종속성을 가짐)

-> PK와 부분 함수 종속성을 갖는 컬럼을 각각 다른 테이블로 분해

수강이력에서는 한 학생이 여러 강의를 수강할 수 있기 때문에 주식별자는 학생번호로만은 불가능 (유일성 불만족 때문)

따라서 학생번호와 강의명과 결합되어 주식별자가 되어야한다. ( 한 학생이 같은 강의는 수강할 수 없다고 가정)

이 때, 주식별자의 부분집합인 강의명에 의해 강의실이 달라지는 1 대 1 대응관계를 갖는 것을 완전 함수 종속성 위배,

같은 말로 부분 함수 종속 관계라고 하는데 제 2 정규화는 이러한 부분 함수 종속성을 깨는 것을 목표로 한다.

따라서 주식별자를 분리 할 수 없으니 주식별자는 수강이력에 그대로 있고, 문제가 되는 강의실 컬럼을 주식별자와 분리

3. 제 3 정규화

제 2 정규화를 진행한 테이블에 대해 이행적 종속을 없애도록 테이블을 분리

이행적 종속성이란 A -> B, B ->C의 관계가 성립할때 A->C가 성립되는 것을 말함

(A,B)와 (B,C)로 분리하는 것이 제 3 정규화

ex) 구매 테이블 제 3 정규화

고객번호에 의해 상품명이 결정, 상품명에 의해 가격이 결정되는데

고객번호에 의해서도 구매 가격이 결정됨 (고객이 상품을 결정하면 그에 매칭되는 가격이 결정되는 구조이므로)

따라서 (고객번호 + 상품명) 과 (상품명 + 가격) 으로 분리하는 것이 제 3 정규화

이 경우 테이블을 분리하지 않으면 구매 테이블에서 상품명을 변경해야 하는 상황이 발생할 경우 그 때마다

구매 테이블에서도 가격을 변경해야한다. 하지만 제 3 정규화를 진행하여 테이블을 분리하게 되면

구매 테이블에서의 상품명만 변경하면 되므로 업데이트에 비효율성이 줄어든다.

ex) 학생 테이블의 제 3 정규화

학번은 과목의 결정자이며 과목은 교수의 결정자이다. 이 때 학번이 달라지면 그 학번에 의한 교수가 달라지므로 학번 역시 교수의 결정자라고 얘기할 수 있다. 따라서 전공과 교수 컬럼을 분리 해야함

학생 테이블에서 교수 정보가 삭제되고 따로 과목 테이블이 생기면서 교수의 결정자인 전공과 함께 들어간다

ex) 계좌번호 제 3 정규화

계좌 테이블(분리전)에서 계좌번호가 관리점코드의 결정자이며 관리자코드 역시 관리점의 결정자인 상태에서 계좌번호에 의해 관리점도 달라지므로 계좌번호 역시 관리점에 대한 결정자이다. 이 때는 PK 외 두 속성을 분리, 따라서 관리점이 계좌 테이블에서 삭제되고, 따로 관리점 테이블로 분리되면서 이의 결정자인 관리점 코드가 따라감

● 반정규화 = 역정규화의 개념

데이터베이스의 성능 향상을 위해 데이터 중복을 허용하고 조인을 줄이는 데이터베이스 성능 향상 방법

시스템의 성능 향상, 개발 및 운영의 단순화를 위해 정규화된 데이터 모델을 중복, 통합, 분리하는 데이터 모델링 기법

조회 SELECT 속도를 향상시키지만 데이터 모델의 유연성은 낮아짐

비정규화는 정규화를 수행하지 않음을 의미

● 반정규화 수행 케이스

정규화에 충실하여 종속성, 활용성은 향상되지만 수행 속도가 느려지는 경우

다량의 범위를 자주 처리해야하는 경우

특정 범위의 데이터만 자주 처리하는 경우

요약/집계 정보가 자주 요구되는 경우

● 관계의 개념

엔터티의 인스턴스 사이의 논리적인 연관성

엔터티의 정의, 속성, 정의 및 관계 정의에 따라서도 다양하게 변할 수 있음

관계를 맺는다는 의미는 부모의 식별자를 자식에 상속하고, 상속된 속성을 매핑키(조인키)로 활용

-> 부모 자식을 연결함

● 관계의 분류

관계는 존재에 의한 관계와 행위에 의한 관계로 분류

존재 관계는 엔터티 간의 상태를 의미

ex) 사원 엔터티는 부서 엔터티에 소속

행위 관계는 엔터티 간의 어떤 행위가 있는 것을 의미

ex) 주문은 고객이 주문할 때 발생

● 조인의 의미

결국 데이터의 중복을 피하기 위해 테이블은 정규화에 의해 분리된다.

분리되면서 두 테이블은 서로 관계를 맺게 되고, 다시 이 두 테이블의 데이터를 동시에 출력하거나 관계가 있는 테이블을 참조하기 위해서는 데이터를 연결해야 하는데 이과정을 조인이라고함

계좌 테이블은 제 3 정규화에 의해 계좌 + 관리점으로 분리됨 이때 관리점 코드를 같이 공유함

만약 계좌 정보와 함께 관리점 정보를 함께 출력 ( 예 관리점 별로 거래 계좌의 수 확인) 할 경우 두 데이터를 조인하여 출력함

즉 양 테이블의 데이터를 함께 출력하거나 참조하기 위해 두 데이터를 연결하는 과정을 조인

연결키를 조인키라고 함

ex) 위 테이블에서 계좌번호 100111의 관리점이 어딘지를 찾으려면 ?

1 계좌번호 테이블에서 계좌번호가 100111 데이터 확인

2 계좌번호 테이블에서 계좌번호가 100111 데이터의 관리점 코드 (1000)를 확인

3 관리점코드 (1000)를 관리점 테이블에 전달하여 관리점 확인 (서울점)

SQL 작성)

SELECT A 계좌번호 B 관리점

FROM 계좌 A 관리점 B

WHERE A 관리점 코드 = B 관리점코드

AND A 계좌번호 = '100111'

● 계층형 데이터 모델

자기 자신끼리 관계가 발생

즉 하나의 엔터티 내의 인스턴스끼리 계층구조를 가지는 경우를 말함

계층 구조를 갖는 인스턴스끼리 연결하는 조인을 셀프 조인이라고 함 (같은 테이블을 여러 번 조인)

● 상호배타적 관계

두 테이블 중 하나만 가능한 관계를 말함

ex) 주문 엔터티에는 개인 또는 법인번호 둘 중 하나만 상속될 수 있음 => 상호배타적 관계

즉 주문은 개인고객이거나 법인고객 둘 중 하나의 고객만이 가능

● 트랜잭션이란

하나의 연속적인 업무 단위를 말함

트랜잭션에 의한 관계는 필수적인 관계 형태를 가짐

하나의 트랜잭션에는 여러 SELECT, INSERT, DELETE, UPDATE 등이 포함될 수 있음

ex) 계좌이체를 예를 들면

A 고객이 B 고객에게 100 만원을 이체하려고 한다고 가정

1) A 고객의 잔액이 100만원 이상인지 확인

2) 이상이면 A 고객 잔액을 -100 UPDATE

3) B 고객 잔액에 +100 UPDATE

이 때 2번과 3번 과정이 동시에 수행되어야한다 .즉 모두 성공하거나 모두 취소돼야 함 (All or Nothing)

이런 특성을 갖는 연속적인 업무 단위를 트랜잭션이라고 한다.

* 주의

1) A 고객 잔액 차감과 B 고객 잔액 가산이 서로 독립적으로 발생하면 안됨

-> 각각의 INSERT 문으로 개발되면 안됨

2) 부분 COMMIT 불가

-> 동시 COMMIT 또는 ROLLBACK 처리

● 필수적 선택적 관계와 ERD

두 엔터티의 관계가 서로 필수적일 때 하나의 트랜잭션을 형성

두 엔터티가 서로 독립적 수행이 가능하다면 선택적 관계로 표현

IE 표기법

원을 사용하여 필수적 관계와 선택적 관계를 구분

필수적 관계에는 원을 그리지 않는다.

선택적 관계에는 관계선 끝에 원을 그린다.

바커표기법

실선과 점선으로 구분

필수적 관계는 관계선을 실선으로 표기

선택적 관계는 관계선을 점선으로 표기

● NULL 이란

DBMS에서 아직 정해지지 않은 값을 의미

0과 빈문자열 ("") 과는 다른 개념

모델 설계 시 각 칼럼별로 NULL을 허용할 지를 결정

● NULL의 특성

NULL을 포함한 연산 결과는 항상 NULL

집계함수는 NULL을 제외한 연산 결과 리턴 (sum, avg,min,max등의 함수는 항상 null을 무시한다)

● NULL 의 ERD 표기법

IE 표기법에서는 NULL 허용여부를 알 수 없음

바커 표기법에서는 속성 앞에 동그라미가 NULL 허용 속성을 의미함

● 식별자 구분 (대체 여부에 따른)

1) 본질식별자

업무에 의해 만들어지는 식별자 (꼭 필요한 식별자)

2) 인조식별자

인위적으로 만들어지는 식별자 (꼭 필요하지 않지만 관리의 편이성 등의 이유로 인위적으로 만들어지는 식별자)

본질식별자가 복잡한 구성을 가질 때 인위적으로 생성

주로 각 행을 구분하기 위한 기본키로 사용되며 자동으로 증가하는 일련번호 같은 형태임

ex) 주문과 주문상세에 대한 엔터티 설계 과정

주문이 들어오면 주문 엔터티에는 (주문번호 + 고객번호)를 저장, 이 때 PK는 주문번호이다.

주문상세에는 각 주문별로 어떤 상품, 언제, 몇 개 주문됐는 지 등을 기록한다

*주문상세 테이블 설계 시 다음과 같은 식별자를 고려할 수 있다.

1. PK : 주문번호 + 상품번호로 설계

주문을 하면 주문번호와 상품번호가 필요하므로 본질식별자 ( 주문번호 + 상품번호) 가 된다

하지만 PK가 주문번호 + 상품번호 이면 하나의 주문번호로 같은 상품의 주문 결과를 저장할 수 없게 된다

주문이력

주문번호(FK)
상품번호

주문수량

주문일자

배송지

실제로 쇼핑을 하다보면 동일한 장바구니에 A 상품을 5개 주문했는데 뒤에 또 다시 A 상품을 3개 추가로 주문하기도 함

2. PK : 주문번호 + 주문순번(주문순번이라는 컬럼을 생성)

하나의 주문에 여러 상품에 대한 주문 결과 저장 가능 - > 주문순번으로 인해 구분함

주문이력

주문번호 (FK)
주문순번

상품번호

상품명

주문일자

배송지

매 주문마다 동일한 상품 주문 시 주문순번을 정하기 위해 상품의 주문 횟수를 세어야한다는 점이 불편

즉 사과를 총 3번 구매하였으니 주문순번은 1,2,3 순서대로 입력돼야함

3. PK : 주문상세번호 (인조식별자 생성)

주문 상세번호로 각 주문이력을 구분하기 때문에 같은 주문의 같은 상품이력이 저장될 수 있음

주문 상세번호만이 주식별자이므로 나머지 정보들이 불필요하게 중복 저장될 위험 발생

실제 업무와 상관없는 주문상세번호를 주식별자로 생성하면 쓸모없는 index가 생성됨 (PK 생성 시 자동 unique index 생성)

따라서 인조 식별자는 다음의 단점을 가지게 된다.

1. 중복 데이터 발생 가능성 -> 데이터 품질 저하

2. 불필요한 인덱스 생성 -> 저장공간 낭비 및 DML 성능 저하

인덱스는 원래 조회 성능을 향상시키기 위한 객체이며 인덱스는 DML(INSERT / UNDATE / DELETE) 시 INDEX SPLIT 현상으로 인해 성능이 저하된다.