Selenium을 이용해 화면을 캡처해서 컴퓨터에 저장하는 것을 해볼 예정이다. 그냥 코드만 써두면 기억에 남지 않을 것 같아 간단한 실습을 통해서 진행할 것이다. 서울역 근처 버거킹 위치사진을 캡쳐해보자..왜냐,,,난 지금 버거킹을 먹고 싶걸랑 1. 필요한 라이브러리 로드 # 라이브러리 from selenium import webdriver # webdriver모듈 사용 from selenium.webdriver.chrome.service import Service # 웹 드라이버의 서비스 관련 기능을 포함하는 모듈 from selenium.webdriver.common.by import By # 웹 요소를 찾는 데 사용되는 선택자를 정의하는 클래스 from selenium.webdriver.commo..
데이터 분석 스터디에서 배운 웹 크롤링, 정리안해두면 까먹을 거 같아서 정리해보았슴다~ 1. 웹 크롤링이란? 인터넷에 있는 웹 페이지를 방문해서 페이지의 자료를 자동으로 수집하는 작업을 의미한다. 이 포스팅에서는 셀레니움을 이용해서 웹 크롤링을 할 것이다. (대표적으로 파이썬 웹 크롤링 프레임워크/라이브러리는 BeautifulSoup와 Selenium이 있다) 2. Chrome Driver 설치하기 2.1 Chrome 버전 확인 Chrome 정보를 누른 후에 나온 화면에서 Chrome 버전을 확인할 수 있다. 2.2 Chrome Driver 다운로드 다운로드 링크를 누르고 2.1에서 확인한 Chrome버전과 맞은 드라이버를 설치한다. 그 후 자신이 크롤링하고자 하는 파이썬 폴더에 크롬 드라이버를 넣어주면..
1. QGIS 작년 DevDay때 입지 분석을 진행하면서 QGIS를 처음 접하게 되었고, 지금까지도 유용하게 활용하고 있다. 현재는 프로젝트 고도화 과정에서 파이썬을 사용하여 입지분석 자동화 코드를 작성하는 중이다. 이 과정에서 배운 내용을 소개하고자 한다. QGIS는 Quantum GIS의 약자로, 오픈 소스 기반의 지리 정보 시스템(GIS) 소프트웨어이다. 다양한 데이터 형식을 지원하며, 벡터 데이터(점, 선, 다각형 등)와 래스터 데이터(지도, 공간, 영상 등)를 처리할 수 있다. QGIS 설치방법이나 개념 등은 이미 다른 많은 블로그에서 다루고 있으므로, 생략하고 포스팅 할 예정이다. 오늘 소개할 내용은 다음과 같다. QGIS + 파이썬 사용가이드 QGIS Buffer 다루기 2. QGIS + 파..
본 포스팅은 kaggle : Geospatial Analysis을 수료하고 정리한 글입니다. 3. Interactive Maps 이 튜토리얼에서는 folium 패키지를 사용하여 대화형 지도를 만드는 방법에 대해 배우게 된다. 대화형 지도란 사용자가 지도 위의 요소를 클릭하거나 드래그하거나 특정 위치를 클릭할 경우 해당 위치를 확인할 수 있는 지도이다. 보스턴 지역의 범죄 데이터를 시각화함으로써 folium에 대해 학습해보자 import folium from folium import Choropleth, Circle, Marker from folium.plugins import HeatMap, MarkerCluster m_1 = folium.Map(location=[42.32,-71.0589], tiles..
본 포스팅은 kaggle : Geospatial Analysis을 수료하고 정리한 글입니다. 2. Coordinate Reference Systems 2.1 Introduction 지구의 표면을 2차원으로 묘사해서 지도에 나타내지만, 실제 지구는 3차원 구체이다. 그래서 map projection 방법을 사용하여 평면 표면으로 렌더링 해야한다. 한 마디로 3차원 지구타원체를 2차원 평면의 네모난 지도에 펼쳐야 한다! 렌더링이란? 3차원 공간에 객체(Object)를 2차원 화면의 하나의 장면(scene)에 바꾸어 표현하는 것을 의미한다. 각각의 Map projection 방법은 지구 표면을 알 수 없는(?) 방식으로 왜곡하지만, 동시에 유용한 속성을 유지한다. 예를 들면 면적 보존 투영(the equal-..
본 포스팅은 kaggle : Geospatial Analysis을 수료하고 정리한 글입니다. Geospatial Analysis 1. Your First Map 1.1 Introduction 다음과 같은 문제를 Geospatial Analysis 을 통해 해결책을 제시할 수 있다. 세계적인 비영리 단체가 필리핀에 진출하지 않은 곳은 어디인가? 멸종위기종 보라색 마틴의 북미와 남미 간 이동 경로를 파악하고 새들이 자연보호구역으로 오가는가? 캘리포니아 주의 스타벅스 중 다음 리저브 로스터리 매장으로 유력한 후보지는 어디인가? 일본에서 추가적인 지진 보강으로 얻을 수 있는 잠재적 이익이 가장 큰 지역은 어디인가? 뉴욕시는 차량 사고에 대처할 수 있는 충분한 병원이 있는가? 도시의 어떤 지역이 차량 사고 대응에..
본 포스팅은 kaggle:Intermediate Machine Learning을 수료하고 정리한 글입니다. 4. Pipelines 4-1 개요 Pipelines은 데이터 전처리 및 모델링 코드를 구성하는 간단한 방법이다. 특히 Pipelines은 전처리 및 모델링 단계를 한 번에 처리할 수 있게 해준다. Pipelines은 다음과 같은 장점이 있다. Cleaner Code: 각 단계마다 전처리하는 과정이 반복된다면 코드가 복잡해질 수 있다. Pipelines을 사용한다면, 학습 및 검증 데이터 단계의 전처리 과정을 한 번에 처리할 수 있다. Fewer Bugs: 전처리 과정을 까먹거나, 잘못 적용할 가능성이 줄어든다. Easier to Productionize: 프로토타입에서 대규모로 배포 가능한 것으로..
본 포스팅은 kaggle:Intermediate Machine Learning을 수료하고 정리한 글입니다. 1. Introduction Intro Machine Learning을 수료한 후 모델의 성능을 신속하게 향상시키기 위해 방법과 XGBoost에 대해서 학습할 것이다. 다음과 같은 학습내용으로 진행할 것이다. 결측치 처리 숫자형 변수, 카테고리형 변수에 대해서 파이프라인 설계 모델 검증(교차 검증) XGBoost 2. Missing Values 이 장에서는 결측치를 처리하는 세 가지 방법에 대해 알아볼 것이다. 2-1 개요 데이터는 여러 이유로 결측값을 가지게 된다. 예를 들어 데이터를 입력 중 실수로 값을 입력하지 않은 경우 값을 어떤 이유로든 관찰하지 못한 경우(예를 들어, 인구 조사에서 특정 ..
🔉 빅데이터 분석을 편리하게 해주는 파이썬 라이브러리인 Pandas에 대해 공부해보자! https://pandas.pydata.org/ pandas - Python Data Analysis Library pandas pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now! pandas.pydata.org 📝목차 1. map 2. apply 3. applymap 1. map ☑️ 함수를 통한 컬럼 변환 & 생성 import pandas as pd df = pd...
🔉 빅데이터 분석을 편리하게 해주는 파이썬 라이브러리인 Pandas에 대해 공부해보자! https://pandas.pydata.org/ pandas - Python Data Analysis Library pandas pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now! pandas.pydata.org 📝목차 1. 컬럼 추가 2. 컬럼 삭제 3. 레코드 추가 4. 레코드 삭제 먼저 사용할 데이터 선언 import pandas as pd # list를 이용해서..
