크롤링4

업체 크롤링을 진행하기 위해 해당 페이지 코드를 확인해보니, javascript에 정보가 다 기록되어 있었다.

javascript 변수에 들어 있는 내용을 이용하여 scraping 할 수 있으면 더욱 간편하다고 생각되어 시도를 해보았다.

​

가장 중요한 것은 작업자 PC에 chorme이 설치되어있어야 한다는 것이다.

​

아래 링크에서 힌트를 얻어 설치했다. -_- (1시간 삽풨어요. 전 쓰레기예요)

https://stackoverflow.com/questions/50138615/cannot-find-chrome-binary-with-selenium-in-python-for-older-versions-of-google-c

​

사내 chrome 사용 도중에 이슈가 있어서 chrome canary 버전을 이용하고 있었는데. 그것 때문에 에러가 계속 발생하고 있었다.

​

우선 selenium 셋팅 부터 알아보자.

​

나는 chrome web driver를 선택했다.

// <https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java> compile group: 'org.seleniumhq.selenium', name: 'selenium-java', version: '3.141.59' // <https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-chrome-driver> compile group: 'org.seleniumhq.selenium', name: 'selenium-chrome-driver', version: '3.141.59'

document 링크는 아래

https://www.seleniumhq.org/docs/

​

도입하게 된 계기.

​

makeshop의 상품 정보를 스크래핑 하는 도중에 소스보기에서 javascript 전역 변수에 값들이 있는 것을 확인하였다.

​

jsoup은 html만 파싱하고 다룰 수 있었는데 selenium은 javascript도 실행이 가능하다고 하더라..

(그럼 써야지 -_-)

​

![](/assets/images/posts/221454880966/11212c6c56e8.png?type=w580)

상품 정보가 보인다.

상품 정보가 전역변수에 보인다.

![](/assets/images/posts/221454880966/186cb534bfaa.png?type=w580)

메타테그에는 이미지 링크가 보인다.

​

이것을 합치면 상품 정보를 가져올 수 있다.

​

ChromeOptions options = new ChromeOptions(); options.addArguments("headless"); WebDriver webDriver = new ChromeDriver(options); webDriver.get(event.getLink()); JavascriptExecutor executor = (JavascriptExecutor) webDriver; String productName = executor.executeScript("return product_name").toString(); String expireCheck = executor.executeScript( "var t = []; var wonderOptions = optionJsonData.basic[0]; for (var prop in wonderOptions) {t.push(wonderOptions[prop]['sto_state'])}; return t.every(function(state){return state == 'SOLDOUT'});") .toString(); String productPrice = executor.executeScript("return product_price").toString(); String imageLink = executor.executeScript("return $(\"meta[property='og:image']\").attr('content')").toString(); String link = event.getLink(); // 품절 체크 if (Boolean.valueOf(expireCheck)) { log.info("품절 입니당~ {}", link); return; }

위와 같이 코드를 작성하면 상품명, 가격, 품절 정보, 이미지 링크 데이터를 추출할 수 있다.

​

난 SSG를 탈락했다는 메일을 받았다.

​

쓰레기다.

​

공통영역이 없어서 포기한다.

​

-_ㅠ