ubuntu 환경하에서 selenium으로 크롤링을 하기 위해서 chrome과 chromedriver를 설치하겠습니다. 의존성 라이브러리 설치 sudo apt-get install unzip libnss3-dev chromium-browser 크로미움 브라우저 설치 sudo apt-get install chromium-browser sudo apt-get install chromium-browser chromedriver 설치된 크로미움 브라우저의 버전을 확인하고 버전에 맞는 크롬드라이버를 링크에서 리눅스용 다운로드합니다. 저는 설치된 크로미움 브라우저 버전이 79.0.3945라서 크롬드라이버 버전도 79.0.3945.36 버전을 받았습니다. Downloads - ChromeDriver - WebDriv..

django query get last n records last_ten = Messages.objects.filter(since=since).order_by('-id')[:10] # You can pass your queryset to reversed: last_ten_in_ascending_order = reversed(last_ten) # Or use [::-1] instead of reversed last_ten = Messages.objects.filter(since=since).order_by('-id')[:10][::-1]

개요 GCP의 Compute Engine을 이용해서 웹상의 데이터를 수집하는 중 특정 사이트에서 한국 지역 IP에 대해서만 접속을 허용하고 있어서 수집에 차질이 생겼다. 무료 프록시는 불안하고 유료 프록시를 사용하기에는 비용이 아까워서 기존에 사용중이던 AWS의 한국리전 서버에 프록시를 설치하기로 했다. 참고로 현시점(2019년 11월)에서 GCP는 한국 리전을 지원하지 않고 있다. 환경 Google Cloud Platform Ubuntu 16.04 LTS Squid 설치 sudo apt install squid3 squid 설정 sudo vi /etc/squid/squid.conf http_access allow localhost와 http_access deny all을 주석처리하고 http_acces..

콘솔창에서 파이썬을 실행시키고 selenium을 포함시켰을때 모듈을 찾을 수 없다는 메세지가 출력됨 pip install selenium 명령어를 실행하여 selenium 패키지를 설치한다. 간단하게 selenium 샘플 코드를 작성한다. 단순히 크롬 브라우저를 띄우고 유튜브 페이지를 띄우는 코드이다. chromedriver를 찾을 수 없다는 에러가 발생한다. 샘플 코드를 실행 했을 때 발생한 에러 메세지는 아래와 같다. Traceback (most recent call last): File "ex1.py", line 7, in driver = webdriver.Chrome('chromedriver') File "C:\Users\MiniPC\AppData\Local\Programs\Python\Pytho..

changes in /etc/elasticsearch/elasticsearch.yml: network.host: ["0.0.0.0"] cluster.initial_master_nodes: ["0.0.0.0"]