[오픈소스기반 데이터분석] 8강 - 데이터 분석(1)
·
방송통신대학교/📊 오픈소스기반 데이터분석
📌 개요🔑 학습 키워드┗ 데이터 분석: 데이터에서 의미 있는 패턴과 통찰을 발견하여 합리적인 의사결정을 지원하는 기술┗ 데이터 분석 과정┗ 통계적 모형 활용 분석 (statsmodels): 기술 추론, 통계 추론┗ 기계학습 활용 분석 (scikit-learn): 지도 학습, 비지도 학습, 강화 학습┗ 딥러닝 활용 분석 (tensorflow): 다층구조의 인공신경망┗ EDA(탐색적 데이터 분석) 예제┗ 기술통계량 분석(describe, head, ..)┗ 데이터 시각화 분석(EDA)┗ 자동화된 EDA 도구 예제 💡 1. 데이터 분석의 이해[ 데이터 분석 ]┗ 데이터에서 의미 있는 패턴과 통찰을 발견하여 합리적인 의사결정을 지원하는 기술┗ 넓은 의미의 데이터 분석: 문제 정의부터 데..
[오픈소스기반 데이터분석] 7강 - 데이터 전처리(2)
·
방송통신대학교/📊 오픈소스기반 데이터분석
📌 개요🔑 학습 키워드┗ 데이터 전처리: 데이터를 가져와 분석하기 좋은 형태로 정제 및 변환하는 과정임┗ 데이터 전처리 과정: 측정 -> 정제 -> 통합 -> 축소 -> 변환┗ 데이터 결측치 찾기: isnull(), isna(), notnull()┗ 데이터 시각화를 이용한 결측치 찾기: 히트맵, 매트릭스┗ 사분위 범위를 통한 이상치 찾기: IQR(통계적 방법)┗ 점수를 통한 이상치 찾기: Z-Score(통계적 방법)┗ 데이터 결측치 및 이상치 해결 방법: 제거, 대치, 보간┗ 평균값 및 선형보간법을 통한 결측치 처리┗ DataFrame 값 변경(replace, map, apply, loc, where - 문제 데이터 변경에 활용)┗ 날짜 데이터 타입 다루기┗ 결측치, 이상치 분석 ..
[오픈소스기반 데이터분석] 6강 - 데이터 전처리(1)
·
방송통신대학교/📊 오픈소스기반 데이터분석
📌 개요🔑 학습 키워드┗ 데이터 전처리: 데이터를 가져와 측정 후 분석하기 좋은 형태로 정제 및 변환하는 과정임┗ 데이터 전처리 과정: 측정 -> 정제 -> 통합 -> 축소 -> 변환┗ describe(): 데이터 측정(통계를 볼 수 있음)을 위한 함수┗ DataFrame 열 선택 및 조작: DataFrame 열 선택, 열 순서 조작, 열 이름 변경에 대한 예제┗ DataFrame 행 선택: DataFrame 인덱스 지정, 행 선택, 위치 기반 선택, 조건 기반 선택 예제┗ DataFrame 정렬: 단일 열 정렬, 복수 열 정렬, 인덱스 기본 정렬, 오름차순(옵션), 내림차순(옵션) 💡 1. 데이터 전처리 이해[ 데이터 전처리 ]┗ 데이터 전처리: 분석 전 원시 데이터를 정제 변환하여 ..
[UNIX 시스템] 12강 - 셸 스크립트(2)
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ 제어 구조: if 명령, case 명령, for 명령, while 명령, until 명령┗ $?: 마지막 명령의 종료 상태값┗ 조건 검사 명령: test([], 대괄호)를 통해 조건 검사를 하며, 참(0) 거짓(1) 으로 리턴함┗ case 문: 패턴 다음 ')' 를 쓰며, * 는 모든 패턴과 매칭 안될 시 수행될 부분 💡 1. 선택 구조[ if 명령 ]┗ 조건은 보통 대괄호 [ ](test 명령)로 사용함┗ [ ]: test 명령으로 조건식을 구분하기 위해서 사용하며, 결과로 참(0) 또는 거짓(1)의 결과가 나옴┗ 사용 예시: $? = 마지막 명령의 종료 상태값['상태값 예시 - true']$ cd /usr/bin$ echo $?-> '$?': 마지막 명령의 ..
[UNIX 시스템] 11강 - 셸 스크립트(1)
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ 셸 스크립트: 셸 명령어의 집합으로 이루어진 실행 가능한 프로그램(텍스트 파일임)┗ 셸 스크립트 실행 방법: bash script_file, ./ script_file, source script_file & .script_file┗ 셸 스크립트 문법: $0(파일명), $1, $2, 디버깅 = bash -x 옵션┗ 특별한 매개 변수: 변수의 값을 참조만 할 수 있는 매개변수┗ read 명령(변수): 키보드 한 라인 입력 -> 개별 단어를 상응하는 변수에 저장 명령┗ 함수 실행: source 명령, 도트(.) 명령 -> 셸 스크립트 실행 -> 해당 셸 환경에 함수 정의 추가 💡 1. 셸 스크립트의 개요[ 셸 스크립트 ]┗ 셸 명령어의 집합으로 이루어진 실행 가능한 ..
[UNIX 시스템] 10강 - 소프트웨어 관리
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ 패키지 관리: 패키지 관리 도구, 패키지 파일, 패키지 저장소┗ RPM: 레드햇 계열 리눅스에서 패키지 파일의 표준 형식 (의존성 등의 문제 있음)┗ YUM: RPM 기반 한 자동 패키지 설치, 업그레이드 및 삭제가 추가 된 도구┗ DNF: YUM의 업그레이드 된 버전 (최신 리눅스 배포판의 기본 패키지 관리자임)┗ 파일 압축: gzip/gunzip, bzip2/bunzip2/┗ 파일 아카이빙 도구: tar = 여러 파일을 하나의 아카이브로 묶는거 (압축은 아님) 💡 1. 패키지 관리[ 패키지 관리 ]┗ 소프트웨어 패키지 관리: "패키지 파일", "관리 도구"를 사용하여 프로그램을 효율적으로 설치 및 관리함- '패키지 관리 도구': 리눅스에서는 배포판(데비안 D..
[UNIX 시스템] 9강 - 프로세스 관리
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ 프로세스: PCB, 포어그라운드, 백그라운드┗ 프로세스 상태: ps 명령(스냅샷 방식)┗ 프로세스 관리: top 명령(실시간 ps 확인), kill(시그널), nice&renice(우선순위), nohup┗ cron 서비스: 지정된 시간 작업 자동 수행(crontab 명령 - 파일 수정) 💡 1. 프로세스[ 프로세스 ]┗ 메모리에 올라가 실행되고 있는 프로그램┗ 커널에 등록되어 관리를 받으며, 프로세스 컨트롤 블록(PCB)에 정보를 저장함 [ 프로세스 컨트롤 블록 (PCB) ]┗ 커널에 등록된 각 프로세스에 대한 정보를 저장하는 영역┗ 프로세스는 모두 커널 공간에 자신의 PCB를 가지며, 커널이 PCB를 관리함 [ PCB 구성 ]┗ 프로세스 고유번호(PID)┗..
[UNIX 시스템] 8강 - 파일 시스템 관리
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ 마운트: 파일 시스템 -> 특정 디렉터리 아래에 붙여 파일 시스템 사용을 가능하게 해주는 작업┗ /etc/fstab: 리눅스 부팅될 때 자동으로 마운트할 파일 시스템의 목록을 가진 설정 파일┗ /etc/mtab: 현재 마운트되어 있는 파일 시스템들의 실시간 상태 정보 기록 및 관리 파일┗ 파티션 관리 도구: fdisk, parted, gdisk┗ 볼륨 종류: 물리볼륨(PV), 볼륨그룹(VG), 논리볼륨(LV)┗ LVM: 볼륨 관리 도구┗ 파일 시스템 구조: 수퍼 블록, inode 테이블, 데이터 블록┗ 파일 시스템 유형: ext4, iso9660, vfat, ...┗ 파일 시스템 명령: mkfs(파일 시스템 생성), fsck(파일 시스템 무결성 검사 및 손상 ..
[UNIX 시스템] 7강 - 텍스트 편집
·
방송통신대학교/🐧 UNIX 시스템
📌 개요🔑 학습 키워드┗ vi 편집기 3가지 모드: 명령 모드, 입력 모드, 라인 모드┗ 텍스트 입력 명령키: 명령 모드 -> 입력 모드 전환(a, i, o)┗ 커서 이동 명령키(명령모드): 단어 단위, 라인 단위, 문단 단위┗ 텍스트 삭제 명령(명령모드): x, X, D, dd, dw, db, dG, ...┗ 텍스트 치환 명령(명령모드): 문자, 문자열, 단어 단위 치환┗ 텍스트 복사 및 붙여넣기 명령(명령모드): 복사 명령키 이후 붙여넣기 명령키로 복사 붙여넣기함┗ 검색 명령(라인모드 전환): 패턴을 통해 텍스트 검색 -> n, N 을 통해 다음으로 이동┗ 파일 찾기 명령어: locate, find┗ 문자열 찾기: grep(파일에서 패턴과 상응하는 특별한 단어, 문자열 포함하는 라..