최근에 부동산에 관심을 많이 가지게 되면서 부동산 공부 및 그와 관련된 데이터를 수집하는 일에 관심을 가지게 되었습니다. 데이터를 수집할 때 쉽게 이용할 수 있는 방법은 데이터의 바다인 웹에서 데이터를 가져오는 것인데요. 이 과정을 크롤링(crawling) 또는 스크래핑(scraping)이라고 합니다. 이번 포스팅에서는 제가 최근에 사용했던 크롤러 솔루션인 scrapy를 소개하고자 합니다. | 기존 크롤링할 때의 문제점 보통 크롤링을 할 때 수집할 데이터가 적은 경우에는 간단한 프로그래밍만으로도 원하는 데이터를 충분히 가져올 수 있습니다. 하지만 가져올 데이터양과 데이터를 소싱할 URL 수가 많아지면 크롤러의 소스 코드 수도 그만큼 복잡하고 길어지게 됩니다. 그에 따라 유지보수가 아주 어려워 지고 예외사..

| Call by assignment 파이썬은 함수 호출시 인자를 Call by assignment 방식으로 값을 불러옵니다. Call by assignment는 값에 의한 호출(Call by value), 참조에 의한 호출(Call by reference)과는 다르게 동작합니다. 이것을 이해하기 위한 키포인트는 함수 안에서 넘겨받은 값이 객체의 변경여부에 따라서 어떻게 다르게 동작하는 지를 아는 것입니다. 함수가 호출될 때는 모두 Call by reference로 불러들입니다. 하지만 mutable이냐 immutable이냐에 따라 함수 안에 객체의 값을 조작할 경우 다르게 동작하게 됩니다. mutable객체일 때는 참조에 의한 호출로서 계속 동작하게 되지만, immutable객체 일때는 값에 의한 호출..

소수점 중 불필요한 0이 있을 수 있다. 예를 들면 3.150 , 3.0, 4.000 과 같이 특정 이상 소수점 부터는 의미 없는 0일 수 있다.(엄밀히 말하면 의미 없다고 할 수 없지만!) 그럴 때 다음과 같이 하면 0을 제거 할 수 있다. print 10.0/2 print "%g" %(10.0/2) 결과는 다음과 같다. 5.0 5 [Finished in 0.1s]

sample_string = "1234567890abcdefgABCDEFG!@#$%^&*()_{}[]" result_string = "" for c in sample_string: if c.isalnum(): result_string +=c print result_string python 에서 텍스트를 처리할 때 특수문자를 제거해야 할 때가 있습니다. 이럴 때 정규표현식 으로 처리할 수도 있지만 다음과 같이 처리할 수도 있습니다. sample_string = "1234567890abcdefgABCDEFG!@#$%^&*()_{}[]" result_string = "" for c in sample_string: if c.isalnum(): result_string +=c print result_string ..