ubuntu 환경하에서 selenium으로 크롤링을 하기 위해서 chrome과 chromedriver를 설치하겠습니다. 의존성 라이브러리 설치 sudo apt-get install unzip libnss3-dev chromium-browser 크로미움 브라우저 설치 sudo apt-get install chromium-browser sudo apt-get install chromium-browser chromedriver 설치된 크로미움 브라우저의 버전을 확인하고 버전에 맞는 크롬드라이버를 링크에서 리눅스용 다운로드합니다. 저는 설치된 크로미움 브라우저 버전이 79.0.3945라서 크롬드라이버 버전도 79.0.3945.36 버전을 받았습니다. Downloads - ChromeDriver - WebDriv..

개요 GCP의 Compute Engine을 이용해서 웹상의 데이터를 수집하는 중 특정 사이트에서 한국 지역 IP에 대해서만 접속을 허용하고 있어서 수집에 차질이 생겼다. 무료 프록시는 불안하고 유료 프록시를 사용하기에는 비용이 아까워서 기존에 사용중이던 AWS의 한국리전 서버에 프록시를 설치하기로 했다. 참고로 현시점(2019년 11월)에서 GCP는 한국 리전을 지원하지 않고 있다. 환경 Google Cloud Platform Ubuntu 16.04 LTS Squid 설치 sudo apt install squid3 squid 설정 sudo vi /etc/squid/squid.conf http_access allow localhost와 http_access deny all을 주석처리하고 http_acces..

changes in /etc/elasticsearch/elasticsearch.yml: network.host: ["0.0.0.0"] cluster.initial_master_nodes: ["0.0.0.0"]