유비쿼터스 컴퓨팅개론 14강 - 빅데이터

✅ 1. 빅데이터

• 빅데이터란, 대용량의 정형/비정형 데이터 집합을 의미한다. 즉, 엄청 많이 모여있는 데이터들의 집합을 의미함.
• 빅데이터 기술은 대용량의 데이터를 분석하여 의미 있는 결과를 도출하기 위한 기술이다.
• 1970년대 관계형 데이터베이스가 널리 활용되면서 많은 데이터를 저장하는 데이터 센터의 중요성도 부각되었음.

(1) 빅데이터 형태

[1] 정형 데이터

• 저장될 데이터가 구조화가 되어있는 데이터를 의미한다.
• 쉽게말해, 스키마가 있으며 해당 스키마로 인해 저장되는 데이터가 구조화가 되어있는 형태로 저장되는 것을 의미한다.
• 각 데이터는 행과 열로 구조화가 되며, 열은 각각의 속성을 정의하고 각 행은 해당 속성의 구체적인 값을 의미한다.
• 그리고, 데이터 자체인 오디오, 이미지, 텍스트 등은 정형/비정형 구분의 기준이 될 수 없다.
• 스키마의 유무로 인해 데이터의 형태가 고정되어 저장되는 데이터 자체가 정형 데이터로 볼 수 있다는 의미인것이다.

[2] 비정형 데이터

• 데이터 자체가 구조화되어 있지 않다. 즉, 스키마가 없어 모든 데이터를 넣을 수 있는 형태를 의미한다.
• 스키마가 없어 저장을 할 때 아무렇게나 저장을 하며, 저장되는 데이터들을 비정형 데이터로 볼 수 있다.
• 비정형 데이터가 저장되는 곳은 대개 NoSQL 이라고 부른다.

[3] 반정형 데이터

• 부분적으로만 구조를 가지고 있으며, 이러한 부분적인 구조에 저장되는 데이터를 의미함.
• 일반적인 데이터베이스는 아니지만 일부 스키마를 가지고 있음을 의미
• HTML / XML / JSON과 같은 포맷을 가짐
• 정형과 비정형 데이터의 특징을 모두 가지고 있음.
• 대표적으로 MongoDB가 있다. ( 정형과 반정형 데이터를 많이 다룸 )

[4] 정리

• 스키마처럼 구조가 있고 없고의 차이를 통해 저장되는 데이터 자체를 정형과 비정형 데이터로 나눌 수 있다.

 

(2) 빅데이터의 특징

---

✅ 2. 빅데이터 관련 기술

(1) 빅데이터 분석

[1] 빅데이터 수집

• 빅데이터는 대용량의 정형 및 비정형 데이터 집합이며, 여러 데이터 소스로부터 수집이 되어야 함
• 빅데이터의 특징인 볼륨, 다양성, 속도를 만족시키기 위해 분산처리가 가능한 방식을 제공해야 함

[2] 빅데이터 적재

• 수집한 빅데이터를 분산 저장장치에 영구 또는 임시로 저장하는 기술을 의미한다.

[3] 빅데이터 처리

• 대용량 저장소에 저장된 빅데이터를 분석할 수 있도록 데이터를 정형화 및 정규화해야 함.
• 적재된 빅데이터를 지속적으로 탐색하고 탐색된 결과를 정기적으로 구조화해야 한다.

[4] 빅데이터 분석

• 수집된 빅데이터로부터 새로운 경향이나 패턴을 찾고, 올바르게 해석하여 통찰력을 확보해야 함

---

✅ 3. 빅데이터 응용 분야 및 해결과제

(1) 응용분야

• 새로운 제품 및 서비스 개발: 구매 후기, SNS 데이터, 최근 관련 동향 분석을 통한 이익 창출
• 비용절감: 빅데이터를 통해 비효율적인 부분을 발견해 업무 프로세스를 강화할 수 있음.
• 고객경험: 자사 제품의 구매 고객들을 분석한 뒤 더욱 나은 맞춤형 경험을 제공할 수 있음.