크롤링 BeautifulSoup 요약

BeautifulSoup

HTML, XML 문서를 구조적으로 분석하여 원하는 데이터를 쉽게 추출하게 도와주는 모듈.
bs4 (버전4)를 사용하기를 권장함.

간단하게 요약

• 설치
  pip install beautifulsoup4
  pip install lxml

from bs4 import BeautifulSoup
soup = BeautifulSoup(html) # html 문서를 파싱한다. (string, network connection 등)
print(soup.prettify())  # HTML을 이쁘게 출력한다.

soup.title # <title>hello</title>
soup.title.string # hello
soup.title.parent.name # head
soup.p # <p class="tt"><b>hi</b></p>
soup.p['class']  # tt
soup.a  # <a class='sister' href='http://abc.com/el' id='link1'>El</a>

soup.find_all('a') # [<a>..</a>, <a>...</a>, <a>..</a> ]

soup.find(id='link3') # <a href="http://abc.com/ea', id='link3'>EA</a>

for link in soup.find_all('a'):
	print(link.get('href')) # http://....

soup.get_text() # hello hi El....

• BeautifulSoup(markup, parser)
  • markup : html 문서 스트링, html 문서 파일핸들, 네트웍 커넥션 등
  • parser : ‘html.parser’ 또는 ‘lxml’
  • lxml이 더 빠르고 관대함. xml도 지원.
• 태그 출력은 preffify() : 이쁘게 출력한다. soup.prettify()
• 그대로 출력하려면 str()로 타입캐스팅. str(soup)
• 태그는 .태그명으로 접근한다. 기본적으로 이름이 있고 .name 으로 알 수 있으며 name을 변경하면 문서에도 반영된다.
  • soup.p = “div”
• 태그의 속성은 [속성]으로 접근한다. 또는 get()으로 접근할 수 있다. 속성은 .attrs로 알 수 있다.
  • soup.p.attrs # 속성목록 조회 {‘class’:‘bold’}
  • soup.p[‘class’] : 속성을 구한다. 키가 없으면 KeyError 발생
  • soup.p.get(‘class’) : 위와 같지만 키가 없으면 None리턴으로 존재여부 체크를 할 수 있음.
  • 속성값이 여러개면 리스트로 반환된다.
• 태그의 속성 수정
  • soup.p[‘class’]=‘verybold’
  • soup.p[‘id’]=1
  • soup.p
    <p class="verybold" id="1">
  • del soup.p[‘class’] # 속성 삭제
• 스트링 변경
  • soup.p.string.replace_with(“new text”)
• 스트링 추출 (string vs text)
  • soup.p.string : p태그 내의 스트링. 주의! 내부에 순수하게 스트링만 존재해야함. 아니면 None. (태그가 있어도 안됨.)
  • soup.p.text 또는 soup.p.get_text() : 내부의 텍스트를 전체 가져옴.
• 태그의 자손. 리스트로 리턴한다.
  • soup.p.contents : 리스트로 가져온다.

find / find_all

태그를 찾는다. 클래스나 아이디로도 검색가능. find는 한 개를 찾고 find_all은 복수개를 찾는다. find_all은 리스트로 리턴한다.

• find_all(“title”) : title태그를 모두 찾는다.
• find_all(“p”, “title”) : p태그 중 class가 title인 태그를 모두 찾는다.
• find_all(id=“link2”) : ID로 찾는다.
• find_all(class_=re.compile(“itl”)) : 클래스명에 itl이 들어간 태그들 모두 추출
• find_all(text=“elise”) : 문자열 찾기
• find_all(“a”, text=“elise”) : 태그내의 문자열로 태그 찾기
• 정규식 지원
  • soup.find_all( re.compile("^b")) : b로 시작하는 태그 모두 추출. ( b, body 등)
• 여러 태그 추출도 가능
  • soup.find_all([“a”, “b”]) : 리스트로 주면 리스트내의 태그들을 모두 찾는다.
  • find_all(“a”, limit=2) : 최대 2개만 찾는다.
  • find_all(“title”, recursive=False) : 1뎁스(직계차일드)만 검색함. 예를 들면 soup.html.에서 위와 같이 찾으면 [] 리턴(not found.)
  • find_all() 대신 ()만 사용해도 같다. (함수이름 생략) 예를 들면 soup.title.find_all(text=True)는 soup.title(text=True) 와 동일.
  • find()는 처음 발견된 한 개만 리턴. (find_all에서 limit=1을 주면 동일한데, 리스트가 아닌 스트링(태그객체)으로 리턴.)
  • Not Found인 경우, find()는 None 리턴. find_all()은 [] 리턴.

find_parent/ find_parents

• find / find_all의 반대. 상위계층으로 올라가면서 찾는다.
• a_string = soup.find(text=‘top10’) # u’top10’
• a_string.find_parents(“a”) # [ a태그들을 가져옴 ]
• a_string.find_parent(“p”) # p태그를 가져옴.

select

• soup.select(선택자) : css 선택자로 검색한다. 그냥 태그를 쓰면 태그 검색. 항상 리스트로 리턴함.
• soup.select(‘title’)
• soup.select(“body a”)
• soup.select(“html head title”)
• soup.select(“head > title”) : 헤드내부에 1단계 뎁스에서 title 찾기.
• 클래스 찾기 : soup.select(".sister") 또는 soup.select("[class~=sister]")
• ID로 찾기 : soup.select("#link1")
• 속성으로 찾기
  • soup.select(‘a[href=“http://abc.com/elise”]’)
  • soup.select(‘a[href^=“http://abc.com/”]’) : 이것으로 시작하는 링크들. 끝나는 링크는 href$를 사용.

get_text

• 텍스트 부분만 모두 추출한다. 하나의 스트링을 만들어 리턴.
• .text로 해도 된다.

strings/stripped_strings

• 둘 다 스트링들만 리스트로 추출하는 건데, stripped_strings는 필요없는 것을 제거함.
• 줄바꿈, 공백 등 필요없는 것들에 제거한 스트링 리스트를 리턴. [text for text in soup.stripped_strings]

Author: crazyj7@gmail.com