Database & Bigdata/공공 빅데이터 청년 인턴십16 [ DAY 16 ] 표준분석모델실습 - 전기차 충전 인프라 설치 입지 선정(천안) [ 모델 개요 ] - 개요 전기차 충전소 우선 설치 지역 도출 -> 인구,시설물, 전기차와 관련된 변수들을 고려해 예산 내 가장 효과적인 전기차 충전소 우선 도출 1. 변수 선정 : 전기차 충전소 설치 위치 선정에 영향을 주는 변수들을 선정하는 단계 2. 지수/가중치 설정 : 선정된 변수에 가중치를 주고 정규화 과정을 거쳐 지수화하는 단계 3. 점수 계산 및 순위 산정 : 지수를 이용해 총점을 계산하고 점수에 따라 격자별 순위를 산정하는 단계 - 분석 배경 및 목적 배경 국내 전기차 보급량 증가 한번 설치하면 이전이 어렵기 때문에 제한된 예산 내에서 가장 효과적인 전기차 충전소 설치 지역 도출 필요 기존 설치 지역은 대중의 접근이 어려움 -> 효율성과 접근성을 높이기 위해 통행량, 유동인구 등이 많은 곳.. 2020. 9. 14. [ DAY 15 ] 빅데이터 분석Tool을 이용한 분석 ( BigZAMi, QGIS 분석 실습 ) [ 빅데이터 분석 및 분석 Tool 개요 ] 1. 빅데이터 분석의 개요 - 빅데이터란 ? 기존 데이터베이스 관리도구의 능력을 넘어 대량(테라, 제타)의 정형 또는 비정형 데이터 - 빅데이터 분석이란? 대량(수십 테라바이트)의 정형 또는 비정형 데이터로부터 가치를 추출하는 기술(과정) - 빅데이터 분석 과정 소스 -> 수집/저장 -> 처리/저장 -> 분석 -> 표현 2. 빅데이터 분석 툴의 개요 - 빅데이터 분석에서 Tool 데이터 수집 데이터 정제 데이터 분석 데이터 표현 - Google Spreadsheet - Python - R - OpenRefine - Python - R - BigZAMi - Power BI - Python - R - BigZAMi - Tableau -D3.js - Kibana -.. 2020. 9. 11. [ DAY 8 ] 파이썬 크롤러 만들기 1. 기본 웹 크롤러 [ 기본 웹 크롤러 ] - Requests로 웹 페이지를 추출하고, lxml로 웹 페이지 스크래핑 및 sqlite3 DB에 데이터를 저장 - 크롤링 대상 = 한빛 미디어 사이트의 "새로나온 책"목록 - 전형적인 목록/상세 패턴을 가진 웹사이트를 기반으로 도서 정보 추출 크롤러 제작 (목록 페이지 : 제목, 저자 정보 / 상세 페이지 : 제목, 가격, 목차 정보 추출 ) [ 목록 페이지에서 퍼머 링크 목록 추출 ] 크롤링 대상 페이지 : https://www.hanbit.co.kr/store/books/new_book_list.html 한빛출판네트워크 더 넓은 세상, 더 나은 미래를 위한 아시아 출판 네트워크 :: 한빛미디어, 한빛아카데미, 한빛비즈, 한빛라이프, 한빛에듀 www.ha.. 2020. 9. 2. [ DAY 7 ] 데이터 저장/스크래핑 프로세스 3. 데이터 저장 [ CSV형식으로 저장 ] - CSV(Comma-Seprated Values)란? 하나의 레코드를 한 라인에 저장하는 텍스트 포맷 파일 각 라인의 컬럼값은 쉼표(콤마) 등의 구분자를 사용 데이터 내에 쉼표 등의 구분자 사용하는 문자가 포함되어 있다면 파싱 시 문제가 발생 (데이터 내에 쉼표 등의 문자가 포함되어 있는 경우 TSV(Tab-Saperated Values) 형식 사용 필요) - CSV 형식 저장 import csv # file open, newline=''으로 개행문자 지정 with open('top_cities.csv', 'w', newline='',encoding='utf-8') as f: # 첫 번째 매개변수에 파일 객체 # 두 번째 매개변수에 필드명 리스트를 지정 wr.. 2020. 9. 1. 이전 1 2 3 4 다음
