276일차 - 애니메이션 데이터 수집 및 가공 (1)

 

공백인 부분은, 장르들을 제외하고 전부 태그로 넘기면서

장르가 없고, 태그만 있는 데이터들은 공백처리가 되었다. 이부분은 직접 위치를 찾아서 고쳐줘야할 것 같다.

 

 

애니 업데이트하려고 분기별 데이터 모아놓은 곳 찾고있었는데..

https://anime.onnada.com/

분기별 신작 애니메이션 정보

 

이런 사이트가 있었네.. 애초에 여기서 크롤링했으면 됬을텐데 하..;; 다시금 정보의 중요성을 깨닫는다.

 

일단 위 사이트에서 다시 애니정보 크롤링해서 엑셀파일 만들고, 기존 엑셀파일과 합쳐야겠다.

 

이정도 양이면.. 그냥 여기서 크롤링해서 쓸걸그랬다ㅋㅋㅋ

음.. 어차피 경험치도 쌓였으니까 다시 크롤링해야겠다.

 

1. 애니마에서 애니 제목, 장르, 방영일 크롤링 및 대표이미지 다운로드

2. 츄잉에서 장르 크롤링

 

후.. 달려보자.. 글 제목부터 바꿔야겠다.. 새로 시작해야지 하아..;; 멘붕..ㅋㅋㅋ 그래도 이제 크롤링에 익숙해졌으니까 예전보다는 훨씬 금방 할 수 있을 것 같다.

 

 

 

대략 3000개정도 크롤링해야하고, 타임을 10초로잡으면.. 대략 8시간 좀 넘게 걸릴테니까..

좋아.. 이대로 크롤링 돌려놓고 일단 자야겠다!