[파이썬 크롤링/부동산 데이터] scrapy를 이용하여 재귀적으로 부동산 공공 데이터 연속적으로 가져오기 및 excel 저장

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [기타 정보/ETC] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [Python/파이썬 웹 크롤링] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기 [Python/파이썬 웹 크롤링] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기 [Python/파이썬 웹 크롤링] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기 [Python/파이썬 웹 크롤링] -..

• format_list_bulleted Python/파이썬 웹 크롤링
• · 2021. 3. 28.
• textsms

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 저장하기(csv/excel)

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [기타 정보/ETC] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [Python/파이썬 웹 크롤링] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기 [Python/파이썬 웹 크롤링] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기 [Python/파이썬 웹 크롤링] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기 포스팅에 있는 내용을 따라하기 위해서..

• format_list_bulleted Python/파이썬 웹 크롤링
• · 2021. 3. 28.
• textsms

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 파싱 및 추출하기

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [기타 정보/ETC] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [Python/파이썬 웹 크롤링] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기 [Python/파이썬 웹 크롤링] - [파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기 | 국토교통부 부동산 매매데이터 분석 및 추출 국토교통부에서 제공하는 공공 데이터 포맷은 다음과 같이 xml 포맷으로 전송됩니다. 이번 포스팅에서는 위 xml 데이터..

• format_list_bulleted Python/파이썬 웹 크롤링
• · 2021. 3. 28.
• textsms

[파이썬 크롤링/부동산 데이터] scrapy를 이용한 부동산 공공 데이터 간단하게 받아오기

| 들어가기 전에 GIT 저장소 지금 포스팅은 국토교통부에서 제공하는 부동산 공공데이터 API를 사용합니다. 아래 포스팅을 보시고 먼저 부동산 공공데이터 API를 신청해주시길 바래요! [기타 정보/ETC] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 이전 포스팅 [Python/파이썬 웹 크롤링] - [파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기 | 부동산 매매 데이터 간단하게 받아오기 국토교통부 사이트에 접속해서 로그인을 하신다음 마이페이지의 오픈 API를 클릭합니다. 그러면 전에 신청했던 API의 목록이 나오며 API에서 데이터를 얻기 위한 일반 인증키와 End Point를 다음과 같이 제공합니다. 이 일반 인증키와 End Poin..

• format_list_bulleted Python/파이썬 웹 크롤링
• · 2021. 3. 28.
• textsms

[파이썬 크롤링/부동산 데이터] 스크래피(scrapy) startproject로 초기 프로젝트 구성하기

| 들어가기 전에 본 포스팅을 제대로 따라가려면 scrapy가 설치되어 있어야 합니다. 아래 링크를 참조하셔서 scrapy 설치를 먼저 진행해주세요! [Python/Python 프로그래밍] - 스크래피(scrapy) 설치 및 scrapy 프로젝트 시작하기 또한 부동산 공공데이터 사이트에서 공공데이터 API를 신청한 후 해당 API가 사용가능한 상태가 되어야 합니다. [기타 정보/ETC] - 국토교통부 공공데이터 부동산 실거래가 API 신청 방법 또한 본 포스팅은 다음 실행환경을 기반으로합니다. 1. window 10 2. Python 3.8.1 3. Scrapy 1.8.0 | scrapy 프로젝트 만들기 아래와 같은 커맨드를 치게되면 scrapy에 대한 프로젝트가 만들어 집니다. C:\Users\user..

• format_list_bulleted Python/파이썬 웹 크롤링
• · 2021. 3. 28.
• textsms

[Python 재무제표 크롤링 #9] 이베스트 API (Ebest API)를 통한 코스피(KOSPI), 코스닥(KOSDAQ) 리스트 받기

| 변동하는 코스피(KOSPI), 코스닥(KOSDAQ) 종목 주식 리스트 코스피(KOSPI), 코스닥(KOSDAQ)에 상장된 종목 리스트는 수시로 변합니다. 새로운 기업이 시장에 상장되기도 하면 또한 폐지되기도 하기 때문이죠. 따라서 변동하는 주가 종목들을 갱신하려면 주기적으로 종목 데이터를 업데이트해야 합니다. 이 주식 종목 리스트들을 주기적으로 쉽게 갱신하는 방법 중 하나로 증권사 API를 통해 데이터를 받아오는 방법이 있습니다. | 이베스트 API (Ebest API)를 통한 코스피(KOSPI), 코스닥(KOSDAQ) 종목 요청 이베스트 API를 통해 코스피, 코스닥의 종목 리스트를 쉽게 받을 수 있습니다. 먼저 파이썬을 통해 증권사 API에 로그인한 후 다음과 같은 코드를 실행시킵니다. TR = ..

• format_list_bulleted Python/파이썬 재무제표 웹 스크래핑
• · 2021. 3. 28.
• textsms

[Python 재무제표 크롤링 #8] 이베스트 API (Ebest API) 접속, 로그인 하기

| 이베스트 API (Ebest API) 이베스트 API(Ebest API)는 주식 데이터 조회, 주식 주문, 체결 등을 프로그래밍 언어로 제어할 수 있게 해주는 인터페이스입니다.(API에 관한 설명)이 API를 사용하려면 이베스트 증권사의 증권 계정을 만든 후, 이베스트 API를 다운로드 받아서 사용해야 합니다. 아래는 API 다운로드 방법 및 몇 가지 사용 방법을 게시한 사이트입니다. 1. 계좌 개설 및 xingAPI 패키지 설치: 2. 모의투자 가입하기 3. 기초 API 익히기 | 이베스트 API를 통해 로그인 하기 위의 절차를 진행했으면 이제 xingAPI를 통해서 증권 데이터에 접근할 수 있습니다. xingAPI은 이벤트 기반 방식으로 설계되어 있어서 API사용자가 주식 매도,매수 혹은 증권 데..

• format_list_bulleted Python/파이썬 재무제표 웹 스크래핑
• · 2021. 3. 28.
• textsms

[Python 재무제표 크롤링 #7] NAVER 금융에서 재무제표 데이터, 파이썬 데이터 프레임으로 추출하기

이전 포스팅과 이어지는 내용입니다. [Python/파이썬 재무제표 웹 스크래핑] - [Python 재무제표 크롤링 #6] NAVER 금융에서 재무제표 HTML 요소 추출하기 | 삼성전자 재무제표 부분 HTML 불러오기 삼성전자 재무제표 부분 HTML 를 불러오는 파이썬 스크립트입니다. import requests import numpy as np import pandas as pd from bs4 import BeautifulSoup URL = "https://finance.naver.com/item/main.nhn?code=005930" samsung_electronic = requests.get(URL) html = samsung_electronic.text soup = BeautifulSoup(ht..

• format_list_bulleted Python/파이썬 재무제표 웹 스크래핑
• · 2021. 3. 28.
• textsms

[Python 재무제표 크롤링 #6] NAVER 금융에서 재무제표 HTML 요소 추출하기

| NAVER 금융 HTML문서 가져오기 이번 시간에는 우리나라 시가총액 1위인 삼성전자의 재무제표를 크롤링하겠습니다. 먼저 네이버 금융 사이트에 들어갑니다. 네이버 금융의 검색창에서 삼성전자를 검색합니다. 검색한 뒤 삼성전자의 주식정보 페이지에 들어가면 다음과 같은 URL로 검색 되어 있는 것을 볼 수 있습니다. "https://finance.naver.com/item/main.nhn?code=005930" 이 URL을 가지고 현재 사이트의 HTML 문서를 Requests와 BeautifulSoup 라이브러리를 이용해 가져올 것입니다. 다음 코드를 이용해서요 import requests from bs4 import BeautifulSoup URL = "https://finance.naver.com/it..

• format_list_bulleted Python/파이썬 재무제표 웹 스크래핑
• · 2021. 3. 28.
• textsms

[Python 재무제표 크롤링 #5] Requests, BeautifulSoup로 크롤링(Crawling), 데이터 추출하기(Data Extraction) - 2

이전 포스팅과 이어지는 내용입니다. 아래 링크를 참조해 주시기 바랍니다. [Python/파이썬 재무제표 웹 스크래핑] - [Python 재무제표 크롤링 #4] Requests, BeautifulSoup로 크롤링(Crawling), 데이터 추출하기(Data Extraction) - 1 | 시작하기 전에 이번 포스팅에서 사용할 HTML 코드를 받아야합니다. 아래의 python 스크립트를 실행하시면 됩니다. import requests from bs4 import BeautifulSoup page = requests.get("http://dataquestio.github.io/web-scraping-pages/simple.html") soup = BeautifulSoup(page.content, 'html.p..

• format_list_bulleted Python/파이썬 재무제표 웹 스크래핑
• · 2021. 3. 28.
• textsms