Python3.6까지는 requests.get에서 프록시를 사용할때 아래와 같이 매개변수 값을 넣어주었지만 proxy_dict = { "http": "127.0.0.1:8080", "https": "127.0.0.1:8080" } response = requests.get(url=url, proxies=proxy_dict)python3.7부터는 아래와 같이 앞에 scheme(프로토콜)을 추가해줘야한다. proxy_dict = { "http": "http://127.0.0.1:8080", "https": "https://127.0.0.1:8080" } response = requests.get(url=url, proxies=proxy_dict)만약 python3.7이상을 사용하면서 scheme가 추가되지 ..

개요 GCP의 Compute Engine을 이용해서 웹상의 데이터를 수집하는 중 특정 사이트에서 한국 지역 IP에 대해서만 접속을 허용하고 있어서 수집에 차질이 생겼다. 무료 프록시는 불안하고 유료 프록시를 사용하기에는 비용이 아까워서 기존에 사용중이던 AWS의 한국리전 서버에 프록시를 설치하기로 했다. 참고로 현시점(2019년 11월)에서 GCP는 한국 리전을 지원하지 않고 있다. 환경 Google Cloud Platform Ubuntu 16.04 LTS Squid 설치 sudo apt install squid3 squid 설정 sudo vi /etc/squid/squid.conf http_access allow localhost와 http_access deny all을 주석처리하고 http_acces..