Java 웹크롤링(Web Crawling) 자료 소스 예제
자바를 이용한 웹 크롤러 만들기
해당 예제는 프로젝트 생성에 관한 부분의 내용을 참고하기 좋음
사용하는 라이브러리는
- commons-logging-1.2.jar
- httpclient-4.5.2.jar
- httpcore-4.4.4.jar
http://derveljunit.tistory.com/253
jsoup - 자바를 위한 Beautiful Soup (HTML parser)
해당 예제는 원하는 Element를 추출하는데 참고하기 좋음
자바의 jsoup HTML 파서를 사용
HTML문서를 읽고, DOM객체로 변환후에
selector api를 이용해서 특정 Element에 접근
jsoup : Parse a document from a String
HTML 문서을 String으로 읽고, Tag를 select하여 text를 얻어내는 예제
https://jsoup.org/cookbook/input/parse-document-from-string
: jsoup 다운로드
웹 크롤링 적용 사례
[NDC2014]쉽게 따라 할 수있는 "꽤" 훌륭한 유저 동향 분석 시스템
'Web Tech. > Spring Framework' 카테고리의 다른 글
| Admin LTE (0) | 2016.09.16 |
|---|---|
| 이클립스(Eclipse)에 Gradle 프로젝트 생성 (0) | 2016.09.14 |
| Java Spring MVC 프로젝트 만들기 (0) | 2016.09.09 |
| Java 위치 확인 ( CentOS ) (0) | 2016.08.31 |
| Web Service Client 만들기(이클립스) (0) | 2016.08.25 |
StartGuide
I want to share the basic to programming of each category and how to solve the error. This basic instruction can be extended further. And I have been worked in southeast Asia more than 3 years. And I want to have the chance to work another country.