(Mac)맥북- 파이썬 실습- 파이썬으로 간단한 크롬 크롤링 하기/맥북 파이썬 크롤링/맥북 파이썬으로 크롤링/파이썬으로 크롬 크롤링(쉬움)

---

맥북 파이썬으로 크롤링

---

 

1. 기본 세팅

---

파이썬 터미널 창에 pip3 install webdriver-manager와
pip3 install selenium를 입력하여 설치해주시고 시작해 주세요.

사진으로 설명 원하시면 아래 파이썬 실습 링크 참고해 주시기 바랍니다.

2021/03/04 - [(Python) 파이썬/(Python)파이썬 실습] - (Python)파이썬 실습-크롬 크롤링/파이썬 크롤링/파이썬 크롤링 기초

 

2. 파이썬 코드 입력

---

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from webdriver_manager.chrome import ChromeDriverManager
driver=webdriver.Chrome(ChromeDriverManager().install())

try:
    driver.get('https://pann.nate.com/') #크롤링 하고싶은 사이트 입력
    elem=driver.find_element_by_id('container')  #id얻는법 본문에서 설명
    lis=elem.find_elements_by_xpath('./div[5]/div[2]/div[2]/div[1]/h3') #xpath얻는법 본문에서 설명
    for li in lis:
        print(li.text)  //크롤링한 부분 텍스트로 읽어오기
    input()
except Exception as e:
    print(e)
finally:
    driver.quit()

 

* id 및 XPath 얻는 법 설명

---

 

1. 크롬을 열은 후, 시크릿 창으로 열어줍니다.

크롬 열기 -> 오른쪽 상단 점 세 개 클릭-> 새 시크릿 창 클릭

 

 

2. 시크릿 창에서 크롤링할 사이트 접속

저는 네이트 판을 이용하였습니다.

https://pann.nate.com/

한눈에 보는 오늘 : 네이트판

 

3. 사이트 접속 후 F12 눌러서 HTML창 켜기

 

 

4. 아래 사진 빨간색 동그라미 친 부분 클릭

 

 

5. 크롤링하고 싶은 영역 클릭

 

 

6. 오른쪽 HTML창 선택된 영역 마우스 오른쪽 버튼 클릭 후 copy->Copy XPath 선택

 

7. XPath 붙여 넣기

//*[@id="container"]/div [5]/div [2]/div [2]/div [1]/ul/li [1]/div/div/div/a

이런 식으로 나오면 

[@id="container"]이므로 코드에서 

elem=driver.find_element_by_id('container') -> id 부분에 container 입력

 

lis=elem.find_elements_by_xpath('./div [5]/div [2]/div [2]/div [1]/ul/li [1]/div/div/div/a')

xpath에 id 뒤에 path 넣기. 유의할 점은 앞에  "." <-이 점을 넣어줘야 됨.

 

8. 결과- 파이썬 터미널

 

* 맥북 유저이실 경우, 분명 pip. 설치를 했는데 없는 모듈이라고 뜰 수 도 있습니다. 그럴 때는

1. 왼쪽 하단 버전 클릭

 

2. 파이썬 3 선택

 

그다음 실행해보시면 잘 될 겁니다.