[자바를 이용한 크롤링] selenium 맛보기

Selenium 맛보기

selenium IDE를 통해 손쉽게 브라우저 자동화 스크립트를 작성하고 실행해보면서 브라우저 자동화가 무엇인지 / 크롤링에 어떻게 활용되는지 한번 확인해보겠습니다.

Selenium 설치

편의상 chrome 브라우저에서 진행하겠습니다.

크롬브라우저 selenium IDE 설치하기

크롬브라우저에서 위의 링크를 통해 Selenium IDE를 설치하시기 바랍니다.

  

다음과 같이 우측에 IDE아이콘이 생성된걸 확인하실 수 있습니다.

IDE아이콘을 클릭하게되면 다음과 같이 IDE가 뜨게됩니다. 지금현재 보시는 화면은 제가 포스팅한 http://team404.tistory.com/9?category=1006683 글에 자동으로 댓글을 달

아주는 스크립트를 작성했습니다.

스크립트를 설명드리자면 

1. http://team404.tistory.com/9?category=1006683 해당 URL을 오픈하여

2. id값이 name인 엘리먼트를 클릭하고

3. id값이 name인 input text에 '크롤러테스트' 라는 문자열을 입력하며

4. id값이 password인 input text에 '1' 이라는 문자를 입력하고

5. name이 comment인 엘리먼트를 클릭하여

6. name이 comment인 input 가능한 엘리먼트에 '크롤러 테스트를 위한 작업입니다.' 문자열을 입력하고

7. 마지막으로 css selector인 input[type="submit"] 의 엘리먼트를 클릭하는 스크립트입니다.

위의 스크립트를 설명드리자면 제가 포스팅한 글을 열어서 이름이란 항목에는 '크롤러테스트' 를 패스워드란 항목에는 '1' 을 내용 항목에는 '크롤러 테스트를 위한 작업입니다'를 입

력하고 글쓰기 버튼을 누르는 스크립트입니다. 위의 스크립트를 실행하면 아래화면과 같이 댓글이 등록된 걸 보실 수 있습니다.

이와같이 selenium을 이용해서 특정 사이트에서의 행동 / 정보가져오기 (크롤링)을 할 수 있으며 IDE의 recoding 기능을 통해 손쉽게 스크립트를 생성할 수 있습니다.