반응형
<참조> https://petertc.medium.com/pro-tips-for-selenium-setup-1855a11f88f8
셀레니움 User-Agent 정보 변경
글. 수알치 오상문
크롬으로 접속하면 다음과 같은 User-Agent 정보를 이용한다. 아래는 우분투에서 --headless 옵션을 사용한 경우인데 사람이 접속한다면 이런 옵션을 사용하지 않았을 것이다.
'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/73.0.3683.86 HeadlessChrome/73.0.3683.86 Safari/537.36'
웹 서버는 이런 옵션을 체크하여 크롤링 프로그램인지 확인되면 웹 사이트 접근을 막을 수도 있다. 이 때 다음처럼 User-Agent 정보를 변경하여 접속한다면 웹 서버는 사람이 접근하는 것으로 판단할 것이다.
options = webdriver.ChromeOptions()
# User-Agent 정보를 Windows 10 chrome 이용자로 변경
options.add_argument('--user-agent=""Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36""')
driver = webdriver.Chrome(options=opts)
반응형
'웹 크롤링, 스크래핑' 카테고리의 다른 글
파이썬, 셀레니움 쿠키 제어 예제 (0) | 2022.07.16 |
---|---|
셀레니움, WebDriverWait 및 에러 처리, 드라이버 옵션 예제 (0) | 2022.07.16 |
Running as root without --no-sandbox is not supported. 에러 (0) | 2022.07.16 |
파이썬, 셀레니움 페이지 또는 특정 조건까지 기다리기 (0) | 2022.07.14 |
파이썬, 셀레니움 팝업창/경고창 다루기 (0) | 2022.07.13 |