[오픈소스기반 데이터분석] 10강 - 데이터 시각화(1)
·
방송통신대학교/📊 오픈소스기반 데이터분석
📌 개요🔑 학습 키워드┗ 데이터 시각화: 복잡한 데이터를 시각적인 형태로 표현하는 과정┗ 데이터 시각화 필요성: 데이터 이해도 향상, 효과적인 의사소통, 의사 결정 지원┗ 게슈탈트 원리 8요소: 근접성, 유사성, 폐쇄성, 연속성, 공동 운명, 대칭성, 단순성, 전경배경┗ Matplotlib: 파이썬에서 가장 많이 사용되는 데이터 시각화 라이브러리┗ Matplotlib 기본 구조┗ 표┗ Matplotlib - 선 그래프 그리기┗ Matplotlib - 막대 그래프 그리기┗ Matplotlib - 히스토그램 그리기┗ Matplotlib - 산점도 그리기┗ Matplotlib - 박스 플롯 그리기┗ Matplotlib - 파이 차트 그리기┗ Matplotlib + seaborn - ..
[오픈소스기반 데이터분석] 9강 - 데이터 분석(2)
·
방송통신대학교/📊 오픈소스기반 데이터분석
📌 개요🔑 학습 키워드┗ 통계적 분석: 기술통계, 추론통계, 상관관계 분석, 회귀 분석, 가설 검정, 분산 분석┗ 기계학습(머신러닝)기반 분석: 분류 알고리즘, 회귀 알고리즘, 비지도 학습┗ 딥러닝 기반 분석: CNN, LLM┗ 통계적 분석: 상관관계 분석, 회귀 분석, 가설 검정, 분산 분석┗ 통계적 분석 방법론 - 아이리스 데이터셋 특성 간 상관관계 분석┗ 통계적 분석 방법론 - 아이리스 데이터셋 다중 선형 회귀 모델 구축 및 시각화┗ 통계적 분석 방법론 - 아이리스 데이터셋 t-검정 수행┗ 통계적 분석 방법론 - 아이리스 데이터셋 일원 분산 분석 (ANOVA)┗ 통계적 분석 방법론 - 시계열 데이터 분석 (항공 승객 수)┗ 기계학습 기반 분석 방법론 - 여러 분류 모델 교차 검..
[오픈소스기반 데이터분석] 8강 - 데이터 분석(1)
·
방송통신대학교/📊 오픈소스기반 데이터분석
📌 개요🔑 학습 키워드┗ 데이터 분석: 데이터에서 의미 있는 패턴과 통찰을 발견하여 합리적인 의사결정을 지원하는 기술┗ 데이터 분석 과정┗ 통계적 모형 활용 분석 (statsmodels): 기술 통계, 추론 통계┗ 기계학습 활용 분석 (scikit-learn): 지도 학습, 비지도 학습, 강화 학습┗ 딥러닝 활용 분석 (tensorflow): 다층구조의 인공신경망┗ EDA(탐색적 데이터 분석) 예제┗ 기술통계량 분석(describe, head, ..)┗ 데이터 시각화 분석(EDA)┗ 자동화된 EDA 도구 예제 💡 1. 데이터 분석의 이해[ 데이터 분석 ]┗ 데이터에서 의미 있는 패턴과 통찰을 발견하여 합리적인 의사결정을 지원하는 기술┗ 넓은 의미의 데이터 분석: 문제 정의부터 데..
[오픈소스기반 데이터분석] 7강 - 데이터 전처리(2)
·
방송통신대학교/📊 오픈소스기반 데이터분석
📌 개요🔑 학습 키워드┗ 데이터 전처리: 데이터를 가져와 분석하기 좋은 형태로 정제 및 변환하는 과정임┗ 데이터 전처리 과정: 측정 -> 정제 -> 통합 -> 축소 -> 변환┗ 데이터 결측치 찾기: isnull(), isna(), notnull()┗ 데이터 시각화를 이용한 결측치 찾기: 히트맵, 매트릭스┗ 사분위 범위를 통한 이상치 찾기: IQR(통계적 방법)┗ 점수를 통한 이상치 찾기: Z-Score(통계적 방법)┗ 데이터 결측치 및 이상치 해결 방법: 제거, 대치, 보간┗ 평균값 및 선형보간법을 통한 결측치 처리┗ DataFrame 값 변경(replace, map, apply, loc, where - 문제 데이터 변경에 활용)┗ 날짜 데이터 타입 다루기┗ 결측치, 이상치 분석 ..
[오픈소스기반 데이터분석] 6강 - 데이터 전처리(1)
·
방송통신대학교/📊 오픈소스기반 데이터분석
📌 개요🔑 학습 키워드┗ 데이터 전처리: 데이터를 가져와 측정 후 분석하기 좋은 형태로 정제 및 변환하는 과정임┗ 데이터 전처리 과정: 측정 -> 정제 -> 통합 -> 축소 -> 변환┗ describe(): 데이터 측정(통계를 볼 수 있음)을 위한 함수┗ DataFrame 열 선택 및 조작: DataFrame 열 선택, 열 순서 조작, 열 이름 변경에 대한 예제┗ DataFrame 행 선택: DataFrame 인덱스 지정, 행 선택, 위치 기반 선택, 조건 기반 선택 예제┗ DataFrame 정렬: 단일 열 정렬, 복수 열 정렬, 인덱스 기본 정렬, 오름차순(옵션), 내림차순(옵션) 💡 1. 데이터 전처리 이해[ 데이터 전처리 ]┗ 데이터 전처리: 분석 전 원시 데이터를 정제 변환하여 ..
[UNIX 시스템] 12강 - 셸 스크립트(2)
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ 제어 구조: if 명령, case 명령, for 명령, while 명령, until 명령┗ $?: 마지막 명령의 종료 상태값┗ 조건 검사 명령: test([], 대괄호)를 통해 조건 검사를 하며, 참(0) 거짓(1) 으로 리턴함┗ case 문: 패턴 다음 ')' 를 쓰며, * 는 모든 패턴과 매칭 안될 시 수행될 부분 💡 1. 선택 구조[ if 명령 ]┗ 조건은 보통 대괄호 [ ](test 명령)로 사용함┗ [ ]: test 명령으로 조건식을 구분하기 위해서 사용하며, 결과로 참(0) 또는 거짓(1)의 결과가 나옴┗ 사용 예시: $? = 마지막 명령의 종료 상태값['상태값 예시 - true']$ cd /usr/bin$ echo $?-> '$?': 마지막 명령의 ..
[UNIX 시스템] 11강 - 셸 스크립트(1)
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ 셸 스크립트: 셸 명령어의 집합으로 이루어진 실행 가능한 프로그램(텍스트 파일임)┗ 셸 스크립트 실행 방법: bash script_file, ./ script_file, source script_file & .script_file┗ 셸 스크립트 문법: $0(파일명), $1, $2, 디버깅 = bash -x 옵션┗ 특별한 매개 변수: 변수의 값을 참조만 할 수 있는 매개변수┗ read 명령(변수): 키보드 한 라인 입력 -> 개별 단어를 상응하는 변수에 저장 명령┗ 함수 실행: source 명령, 도트(.) 명령 -> 셸 스크립트 실행 -> 해당 셸 환경에 함수 정의 추가 💡 1. 셸 스크립트의 개요[ 셸 스크립트 ]┗ 셸 명령어의 집합으로 이루어진 실행 가능한 ..
[UNIX 시스템] 10강 - 소프트웨어 관리
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ 패키지 관리: 패키지 관리 도구, 패키지 파일, 패키지 저장소┗ RPM: 레드햇 계열 리눅스에서 패키지 파일의 표준 형식 (의존성 등의 문제 있음)┗ YUM: RPM 기반 한 자동 패키지 설치, 업그레이드 및 삭제가 추가 된 도구┗ DNF: YUM의 업그레이드 된 버전 (최신 리눅스 배포판의 기본 패키지 관리자임)┗ 파일 압축: gzip/gunzip, bzip2/bunzip2/┗ 파일 아카이빙 도구: tar = 여러 파일을 하나의 아카이브로 묶는거 (압축은 아님) 💡 1. 패키지 관리[ 패키지 관리 ]┗ 소프트웨어 패키지 관리: "패키지 파일", "관리 도구"를 사용하여 프로그램을 효율적으로 설치 및 관리함- '패키지 관리 도구': 리눅스에서는 배포판(데비안 D..
[UNIX 시스템] 9강 - 프로세스 관리
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ 프로세스: PCB, 포어그라운드, 백그라운드┗ 프로세스 상태: ps 명령(스냅샷 방식)┗ 프로세스 관리: top 명령(실시간 ps 확인), kill(시그널), nice&renice(우선순위), nohup┗ cron 서비스: 지정된 시간 작업 자동 수행(crontab 명령 - 파일 수정) 💡 1. 프로세스[ 프로세스 ]┗ 메모리에 올라가 실행되고 있는 프로그램┗ 커널에 등록되어 관리를 받으며, 프로세스 컨트롤 블록(PCB)에 정보를 저장함 [ 프로세스 컨트롤 블록 (PCB) ]┗ 커널에 등록된 각 프로세스에 대한 정보를 저장하는 영역┗ 프로세스는 모두 커널 공간에 자신의 PCB를 가지며, 커널이 PCB를 관리함 [ PCB 구성 ]┗ 프로세스 고유번호(PID)┗..