반응형
<참조> https://www.youtube.com/watch?v=1b7pXC1-IbE
봇 접근 차단 사이트 접속
urllib.request.urlretrieve(imgUrl, "test.jpg") 처럼 접근하면 아래와 같은 에러가 발생할 수 있다.
urllib.error.HTTPError: HTTP Error 403: Forbidden
그럴 때는 브라우저인 것처럼 속이는 header를 추가하면 크롤링 할 수 있다
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(imgUrl, "test.jpg")
반응형
'웹 크롤링, 스크래핑' 카테고리의 다른 글
| 파이썬, 크롤링 라이브러리 (0) | 2022.07.09 |
|---|---|
| 셀레니움 quit(), close() 사용법 (0) | 2022.07.09 |
| Selenium 기본 예제 2 (0) | 2022.07.09 |
| Selenium, 윈도우 최대화, 윈도우 스크롤 내리기 (0) | 2022.07.07 |
| Selenium - 동적 사이트 테이블 Crawling (!!!) (0) | 2022.07.04 |