Crawling을 위한 Selenium, Chrome Driver 설치

이 포스팅은 AWS EC2 ubuntu에 Python과 Selenium을 설치하여 연동하는데 도움을 줄 수 있는 글입니다.

Python Install

apt로 python을 설치한다.

sudo apt install python

만약 아래와 같은 에러가 뜬다면

sudo apt-get install python-pip
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package python-pip

python-pip 가 universe repositories에 있기 때문에 local repo에다가 추가해줘야 한다.

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-pip

Selenium Instal On Ubuntu

1. Chrome Driver 설치

2. ./install.sh 실행

만약 아래와 같은 에러가 뜬다면

※ selenium.common.exceptions.WebDriverException:
Message: unknown error: cannot find Chrome binary

// Add Key
$ wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add -

// Set repo
$ echo 'deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main' | sudo tee /etc/apt/sources.list.d/google-chrome.list

// Install package
$ sudo apt-get update
$ sudo apt-get install google-chrome-stable

Chrome Headless 사용

GUI 가 지원이 안되는 ubuntu에서 chrome driver를 이용하면 에러가 나는 경우가 있다.

이 경우에는 아래와 같이 headless option을 설정해줘야 한다.

options = webdriver.ChromeOptions()
    options.add_argument('--disable-extensions')
    options.add_argument('--headless')
    options.add_argument('--disable-gpu')
    options.add_argument('--no-sandbox')
    return webdriver.Chrome(chrome_options=options)

• Python Install
• Selenium Instal On Ubuntu
• Chrome Headless 사용

≡