파이썬 웹 스크래핑할 때 이거 쓰세요. 최고의 파이썬 웹 스크래핑 솔루션 scrapy

파이썬 웹 스크래핑할 때 이거 쓰세요. 최고의 파이썬 웹 스크래핑 솔루션 scrapy

최근에 부동산에 관심을 많이 가지게 되면서 부동산 공부 및 그와 관련된 데이터를 수집하는 일에 관심을 가지게 되었습니다. 데이터를 수집할 때 쉽게 이용할 수 있는 방법은 데이터의 바다인 웹에서 데이터를 가져오는 것인데요. 이 과정을 크롤링(crawling) 또는 스크래핑(scraping)이라고 합니다. 이번 포스팅에서는 제가 최근에 사용했던 크롤러 솔루션인 scrapy를 소개하고자 합니다. | 기존 크롤링할 때의 문제점 보통 크롤링을 할 때 수집할 데이터가 적은 경우에는 간단한 프로그래밍만으로도 원하는 데이터를 충분히 가져올 수 있습니다. 하지만 가져올 데이터양과 데이터를 소싱할 URL 수가 많아지면 크롤러의 소스 코드 수도 그만큼 복잡하고 길어지게 됩니다. 그에 따라 유지보수가 아주 어려워 지고 예외사..

  • format_list_bulleted Python/Python 프로그래밍
  • · 2021. 3. 27.
  • textsms
[Python, 파이썬] Call by assignment, mutable, immutable, 파이썬 복사(Python Copy)

[Python, 파이썬] Call by assignment, mutable, immutable, 파이썬 복사(Python Copy)

| Call by assignment 파이썬은 함수 호출시 인자를 Call by assignment 방식으로 값을 불러옵니다. Call by assignment는 값에 의한 호출(Call by value), 참조에 의한 호출(Call by reference)과는 다르게 동작합니다. 이것을 이해하기 위한 키포인트는 함수 안에서 넘겨받은 값이 객체의 변경여부에 따라서 어떻게 다르게 동작하는 지를 아는 것입니다. 함수가 호출될 때는 모두 Call by reference로 불러들입니다. 하지만 mutable이냐 immutable이냐에 따라 함수 안에 객체의 값을 조작할 경우 다르게 동작하게 됩니다. mutable객체일 때는 참조에 의한 호출로서 계속 동작하게 되지만, immutable객체 일때는 값에 의한 호출..

  • format_list_bulleted Python/Python 프로그래밍
  • · 2021. 3. 27.
  • textsms
[Python][TIP]virtualenv 개발 환경 구축

[Python][TIP]virtualenv 개발 환경 구축

1. virtualenv 로 개발 프로젝트 폴더 생성 1-1) virtualenv {프로젝트 폴더명} [그림 1-1] virtualenv 실행 2. pycharm 셋팅 2-1) pycharm 프로젝트 오픈 [그림 2-1] pycharm 프로젝트 오픈 2-2) 방금 생성한 폴더를 프로젝트 폴더로 설정 합니다. 2-3) File - settings... 로 이동 [그림 2-2] settings 로 이동 2-4) project Interpreter 설정 [그림 2-3] Project Interpreter 설정 2-5) Interpreter 추가 [그림 2-4] Interpreter 추가 2-6) 생성 폴더/Scripts/python.exe 추가 [그림 2-5] Interpreter 추가 출처 : chobokk..

  • format_list_bulleted Python/Python 프로그래밍
  • · 2021. 1. 6.
  • textsms

[Python][TIP] 소수점 중 불필요한 0 제거 하기

소수점 중 불필요한 0이 있을 수 있다. 예를 들면 3.150 , 3.0, 4.000 과 같이 특정 이상 소수점 부터는 의미 없는 0일 수 있다.(엄밀히 말하면 의미 없다고 할 수 없지만!) 그럴 때 다음과 같이 하면 0을 제거 할 수 있다. print 10.0/2 print "%g" %(10.0/2) 결과는 다음과 같다. 5.0 5 [Finished in 0.1s]

  • format_list_bulleted Python/Python 프로그래밍
  • · 2021. 1. 6.
  • textsms

[Python][TIP] python 문자열(String) 특수 문자 제거

sample_string = "1234567890abcdefgABCDEFG!@#$%^&*()_{}[]" result_string = "" for c in sample_string: if c.isalnum(): result_string +=c print result_string python 에서 텍스트를 처리할 때 특수문자를 제거해야 할 때가 있습니다. 이럴 때 정규표현식 으로 처리할 수도 있지만 다음과 같이 처리할 수도 있습니다. sample_string = "1234567890abcdefgABCDEFG!@#$%^&*()_{}[]" result_string = "" for c in sample_string: if c.isalnum(): result_string +=c print result_string ..

  • format_list_bulleted Python/Python 프로그래밍
  • · 2021. 1. 6.
  • textsms

[Python][TIP] python map function (map 함수 사용하기)

Python 에서 리스트(List)에 값은 함수를 적용하고 싶을 때 map 함수를 사용하면 됩니다. 예제 소스로 확인해 봅시다. def plus(x): return x+x lst = [1,2,3,4,5,6,7,8,9, "A", "B", "C"] print map(plus, lst) 결과는 다음과 같습니다. [2, 4, 6, 8, 10, 12, 14, 16, 18, 'AA', 'BB', 'CC'] [Finished in 0.1s] 출처: https://chobokkiri.tistory.com/26?category=656553 [초보끼리]

  • format_list_bulleted Python/Python 프로그래밍
  • · 2021. 1. 6.
  • textsms

[Python][TIP] python naming convention, naming rule

Naming module_name, package_name, ClassName, method_name, ExceptionName, function_name, GLOBAL_CONSTANT_NAME, global_var_name, instance_var_name, function_parameter_name, local_var_name. Names to Avoid single character names except for counters or iterators dashes (-) in any package/module name __double_leading_and_trailing_underscore__ names (reserved by Python) Naming Convention "Internal" mea..

  • format_list_bulleted Python/Python 프로그래밍
  • · 2021. 1. 6.
  • textsms