피곤핑
코딩일탈
피곤핑
전체 방문자
오늘
어제
  • 분류 전체보기
    • Kotlin & Java
    • Spring
      • Spring Security
      • Spring
    • 네트워크
    • JavaScript & Node js
    • Docker
    • Python3
    • Unity
    • 딥러닝
    • 객체지향프로그래밍
    • Error 보고서
    • 나의 이야기 & 회고
    • HTML & CSS
    • Archive
    • 독서

블로그 메뉴

  • 홈
  • 방명록

공지사항

인기 글

태그

  • 99클럽
  • TiL
  • 오블완
  • 개발자취업
  • Client
  • 코딩테스트준비
  • nodejs
  • JavaScript
  • 항해99
  • 티스토리챌린지

최근 댓글

hELLO · Designed By 정상우.
피곤핑

코딩일탈

0725 파이썬 웹 스크레이핑
Python3

0725 파이썬 웹 스크레이핑

2019. 7. 25. 16:46

 * 크롤링 - 무조건 가져오는 것

 * 스크레이핑 - 데이터중 원하는것만 정제하여 가져오는 것

 

http => 통신방식

 

 - 웹페이지 소스 갖고오기 (urllib를 원래썼었는데 requests가 새로나옴)

BeautifulSoup 이용하기

 - 출력문을 따로 써주면 이런식으로 띄어쓰기도 포함해서 잘 나옴

 

 - 데이터 찾고 추출하기 find(), .get_text()

오호라!!

 

 - zip을 이용한 for문으로 데이터텍스트만 뽑아내기

 

 #은 id

 

 - 웹사이트 데이터 가져오기

 

 - 노래제목 데이터 가져오기 - 요소검사를 정확히 노래제목위에서 하기 (feat이런거 하지마셈)

 ==> 이렇게 했을 때 아래는 자바스크립트로 이루어져있기 때문에 스크래핑에서 빠져버렸다

 => 그렇기 때문에 위에 <Td라는 태그가 달려있는 걸 이용해서 가져오도록 하겠음!

쨘쨘쨘

'Python3' 카테고리의 다른 글

0726 파이썬 공공데이터 가져오기 - 혼자  (0) 2019.07.26
0726 파이썬 map()  (0) 2019.07.26
0723 NumPy  (0) 2019.07.23
0718 파이썬 기초3  (0) 2019.07.18
0717 파이썬 기초2  (0) 2019.07.17
    'Python3' 카테고리의 다른 글
    • 0726 파이썬 공공데이터 가져오기 - 혼자
    • 0726 파이썬 map()
    • 0723 NumPy
    • 0718 파이썬 기초3
    피곤핑
    피곤핑

    티스토리툴바