267일차 스크래피(Scrapy) - 지마켓(Gmarket) 전체 카테고리 상품 크롤링

오늘은 개발하는 순서대로 적어보려고 한다.

 

지마켓 카테고리별 전체 상품 크롤링

 

1. gmarket_category.py

 

 

2. scrapy shell로 크롤링 데이터 확인

• scrapy shell https://corners.gmarket.co.kr/Bestsellers  
• response.css('div.gbest-cate ul.by-group li a').getall()

 

3. gmarket_category.py 수정

 

4. items.py 수정

 

5. pipelines.py 수정

 

6. settings.py 수정

 

7. gmarkget_category.py 수정

 

8. CSV 파일로 저장