파이썬, 데몬 스레드와 웹 크롤링

파이썬, 데몬 스레드와 웹 크롤링

 

글. 오상문 sualchi@daum.net

 

데몬 스레드는 백그라운드 모드롤 동작하다가 메인 프로세스가 종료하면 함께 종료합니다. 

 

[참고] requests 모듈이 없는 경우에는 추가로 설치

파이썬이 설치된 경로에 들어가면 Screipts 폴더가 있는 그곳에서 아래처럼 설치 명령을 이용하여 추가합니다.

pip3 install requests

 

 

다음은 데몬 스레드 예제입니다.

 

[파일명: web.py]

import threading
import requests  # 추가: 파이썬 Scripts 폴더, pip3 install requests
import time

 

def getHtml(url):
  resp = requests.get(url)
  time.sleep(1)                    # 1초  대기
  print(resp.text)                  # 웹 소스 코드 출력
  print(len(resp.text), '글자') # 전체 글자 수 출력
 
t1 = threading.Thread(target=getHtml, args=("http://daum.net" ,  ))  # args는 튜플 자료라서 뒤에 쉼표 넣음
t1.daemon = True   # 데몬 스레드로 실행
t1.start()

 

time.sleep(10000)

print("메인 프로세스 종료")

 

[결과]

daum.net 홈페이지 웹 소스 코드와 전체 글자 수가 출력됨

 

<이상>