[플데]데이터엔지니어링19기15 빅데이터 파일럿 프로그램_PC 환경 구성 1. 파일럿 프로젝트 도메인의 의해 2. 빅데이터 파일럿 아키텍쳐 이해 3. 빅데이터 파일럿 프로젝트용 PC 환경 구성 4. 빅데이터 파일럿 프로젝트용 PC 서버 구성 5. CM(Cloudera Manager) 설치 6. 스마트카 로그 시뮬레이터 설치 7. 파일럿 환경 관리 JAVA 설치 JDK 1.8 설치 환경 변수 자바 설치 디렉토리 JAVA_HOME 설정 Path 환경 변수에 %JAVA_HOME%\bin; 추가 이클립스 설치 Eclipse IDE for Java EE Developers 오라클 버추얼 박스(가상머신) 최신 버전 사용(5.x, 6.x) https://www.virtualbox.org 기타 개발환경 구성 SSH: Putty ,Poderosa, MobaXterm FTP: FileZilla.. 2023. 7. 14. 01_빅데이터 이해하기 1.1 빅데이터 개념 빅데이터 : 6V - Volume(크기) : 방대한 양의 데이터(테라, 페타바이트 이상의 크기) - Variety(다양성) : 정형(DBMS, 전문 등) + 비정형(SNS, 동영상, 사진, 음성, 텍스트 등) - Velocity(속도) : 실시간으로 생성되며, 빠른 속도로 데이터를 처리/분석 - Veracity(진실성) : 주요 의사결정을 위해 데이터의 품질과 신뢰성 확보 - Visualization(시각화) : 복잡한 대규모 데이터를 시각적으로 표현 - Value(가치) : 비즈니스 효익을 실현하기 위해 궁극적인 가치를 창출 2023. 7. 12. 빅데이터 파일럿 프로젝트_ 도메인의 이해 1. 파일럿 프로젝트 도메인의 의해 2. 빅데이터 파일럿 아키텍쳐 이해 3. 빅데이터 파일럿 프로젝트용 PC 환경 구성 4. 빅데이터 파일럿 프로젝트용 PC 서버 구성 5. CM(Cloudera Manager) 설치 6. 스마트카 로그 시뮬레이터 설치 7. 파일럿 환경 관리 파일럿 프로젝트 도메인의 이해 파일럿 프로젝트의 기본 도메인을 이해하고, 이와 관련된 빅데이터 요구사항을 도출 및 분석 무엇을 하는 시스템이고, 어떤 프로세스를 통해 사용자에게 가치를 만들어내는지 이해하는 것 파일럿 프로젝트 도메인 이해 프로젝트의 빅데이터 도메인 : 자동차의 최첨단 전자장치와 무선통신을 결합한 스마트카 서비스 도메인에 대한 기본적인 개념 : 스마트카 개념도 요구사항 파악 요구사항1 : 차량의 다양한 장치로부터 발생하.. 2023. 4. 20. 딥러닝 알고리즘 [1] 인공 신경망 (Artifitial Neural Network, ANN) 인공 신경망 : - 생물학적 뉴런에서 영감을 받아 만든 머신러닝 알고리즘 - 입력층과 출력층이 필수적으로 존재 - 입력층 : 픽셀갑 자체이고 특별한 계산을 수행X - 출력층 : z를 계산하고 이를 바탕으로 클래스 예측, 신경망의 최종 값을 만든다. - 뉴런 : z값을 계산하는 단위 텐서플로 ( t e n s o r f l o w ) : import tensorflow as tf - 구글이 오픈소스로 공개한 딥러닝 라이브러리 - 저수준 API와 고수준 API 케라스 ( k e r a s ) : from tensorflow import keras - 텐서플로의 고수준 API - 프랑소와 솔레가 만든 딥러닝 라이브러리 * 딥러닝 라이브러리는 그래픽 처리 장치인 GPU(= 벡터와 행렬 연산에 최적화)를 사용하여.. 2023. 3. 13. 이전 1 2 3 4 다음
