Selenium(3)
-
맥북에 프록시 서버를 설치하고 외부 서버의 브라우저에서 프록시 사용하기
GCP Cloud Compute위에서 Selenium과 Pyautogui를 가지고 자동화 프로그램 하나를 돌리고 있는데 현시점까지 GCP에는 서울 리전이 제공되지 않은 상태여서 국내 IP상에서 실행되게 하고 싶은데 어떻게 할까 고민하다가 어차피 내가 작업을 하는 동안에만 돌릴 것이기 때문에 내 맥북에 프록시 서버를 설치하고 Selenium으로 브라우저를 실행할때 프록시를 사용하도록 설정했다. 맥용 프록시 서버인 SquidMan을 설치했고 Clients 메뉴에 Selenium이 돌아갈 서버의 IP를 등록해줬다. 사무실의 외부 아이피를 알아야 하기 때문에 파이썬으로 requests를 이용하여 http://api.ipify.org를 호출하는 간단한 스크립트를 작성했고 개인적으로 사용하는 AWS RDS에 key..
2020.02.17 -
우분투에 크롬과 크롬드라이버 설치
ubuntu 환경하에서 selenium으로 크롤링을 하기 위해서 chrome과 chromedriver를 설치하겠습니다. 의존성 라이브러리 설치 sudo apt-get install unzip libnss3-dev chromium-browser 크로미움 브라우저 설치 sudo apt-get install chromium-browser sudo apt-get install chromium-browser chromedriver 설치된 크로미움 브라우저의 버전을 확인하고 버전에 맞는 크롬드라이버를 링크에서 리눅스용 다운로드합니다. 저는 설치된 크로미움 브라우저 버전이 79.0.3945라서 크롬드라이버 버전도 79.0.3945.36 버전을 받았습니다. Downloads - ChromeDriver - WebDriv..
2019.12.20 -
Selenium 환경 설정 on windows 10 #Python #Selenium
콘솔창에서 파이썬을 실행시키고 selenium을 포함시켰을때 모듈을 찾을 수 없다는 메세지가 출력됨 pip install selenium 명령어를 실행하여 selenium 패키지를 설치한다. 간단하게 selenium 샘플 코드를 작성한다. 단순히 크롬 브라우저를 띄우고 유튜브 페이지를 띄우는 코드이다. chromedriver를 찾을 수 없다는 에러가 발생한다. 샘플 코드를 실행 했을 때 발생한 에러 메세지는 아래와 같다. Traceback (most recent call last): File "ex1.py", line 7, in driver = webdriver.Chrome('chromedriver') File "C:\Users\MiniPC\AppData\Local\Programs\Python\Pytho..
2019.09.03