[Python] ConnectionResetError (request)

크롤링을 하다 보면 아래와 같이 '원격 호스트에 의해 강제로 끊겼습니다'라는 에러를 볼 때가 있다. 

 

이는 requests 모듈에서 url을 가지고 올 때 발생하는 오류로 header를 추가하는 방식으로 간단하게 해결이 가능하다. header는 윈도우의 경우 찾고자 하는 url에서 F12를 누르고 Network로 들어간 후 하단에 보면 'user-agent'를 복사해서 넣어주면 끝이다. 

 

 

 

url = f'target_url'
headers = {'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'}
requests.get(url, headers=headers)

입력 후 크롤링을 하면 <Response [200]> .. 정상적으로 되는 것을 확인할 수 있다.