데이터 분석만 따로 모아둔 시리즈
Intro 이 글에서는 Requests와 BeautifulSoup를 내 코드에 어떻게 적용시켰는지 알려준다. 웹페이지를 크롤링하기 위핵서는 크롤링할 웹의 주소 웹에서 F12(개발자 도구)를 누르면 나오는 소스 분석 이 두가지가 필요하다. Requests 우선 웹의 주소를 가지고 크롤링할 웹의 데이터를 가져와보자. # -*- coding: utf-8 -*- import requests req = requests.get('http://www.halla.ac.kr/mbs/kr/jsp/board/list.jsp?boardId=23401&mcategoryId=&id=kr_060101000000') html = req.text print(html) # …
Intro 조건. 크롤링 조건 단국대 공지사항 천안 공통 분석 분석 할 html 코드 2개 <li> <div class="top_area"> <div class="write_num"> NO. 3584 </div> <div class="num_area"> <span class="table_date"> <strong>최종수정</strong> 2020.03.04 </span> <span class="table_hit"><strong>조회수</strong> 242 </span> </div> </div> <div class="subject"> <a href="http://www.dankook.ac.kr/web/kor/-390?p_p_id=Bbs_WAR_bbsportlet&amp;p_p_lifecycle=0&amp;p_p_state=normal&amp;p_p_mode=view&amp;p_p_col_id=column-2&amp;p_p_col_pos=1&amp;p_p_col_count=2&amp;_Bbs_WAR_bbsportlet_curPage=1&amp;_Bbs_WAR_bbsportlet_action=view_message&amp;_Bbs_WAR_bbsportlet_messageId=714800"> <div class="subject_txt"> [퇴계기념중앙도서관] 도서관 임시 휴관 기간 연장 안내(~3.22)</div> <div class="ico_area"> …
