루비(Ruby)로 만든 웹사이트 스크랩퍼(Web site scrapper)

아시는 분은 다 아시겠지만, 티스토리에는 텍스트에 예쁜 박스를 씌워주는 글상자 기능이 있습니다. 바로 아래처럼 말이지요 ;)

이것이 바로 글상자입니다. ;)

제가 글상자를 좀 좋아하는지라 파일 목록이나 기능 목록을 나열하면서 강조할 때 종종 쓰는데요, 쓸때는 좋은데 블로그의 스킨을 바꾸고나니 살짝 문제가 있더라구요. ㅠㅠ

블로그의 스킨을 바꾸면 글자의 기본 색도 바뀝니다. 그런데 글상자는 그대로라서 지금처럼 검은 블로그 스킨을 사용하면 밝은 색 글상자 내부에 글자가 잘 보이지 않습니다. ㅠㅠ 그렇다고 안쓰기도 뭐하고... 그래서 제 블로그의 글들을 모두 긁어서 소스에 글상자가 있는지 여부를 판단하는 루비 스크립트를 만들었습니다.

코드는 아주 간단하구요, 직접 블로그 페이지에 접근한 다음 글상자를 사용하면 꼭 들어가는 "background-color: rgb" 문자열을 찾도록 했습니다. 아래는 이러한 방식으로 동작하는 루비 코드입니다. ;)

############################################################################### # # Tistory 블로그의 글을 모두 긁어서 글상자가 사용된 글을 파일로 저장 # # Written by kkamagui # (http://kkamagui.tistory.com, http://www.mint64os.pe.kr) # ############################################################################### require 'net/http' require 'uri' # 결과를 저장할 파일명 file = File.open("output.txt", "w"); buf = ""; # 분석할 글의 번호, 1000번 글까지 확인하고 싶다면 722를 1000으로 변경 for i in 1..722 url = URI.parse('http://kkamagui.tistory.com/'); # 자신의 블로그 주소 res = Net::HTTP.start(url.host, url.port) do |http| number = i.to_s(); http.get("/" + number); end # 긁어온 내용을 출력 #puts res.body # 글상자를 사용하면 배경색 설정때문에 background-color: rgb가 꼭 들어감 data = res.body.scan(/background-color: rgb/); if (data.length != 0) # 파일에 결과 저장, sprintf와 같은 역할 buf = "%s%d, Data=%s" % ["http://kkamagui.tistory.com/",i, data[0]]; puts buf file.write(buf + "\r\n"); end end
위의 코드를 저장하여 ruby로 실행하면 output.txt 파일에 결과가 저장됩니다(어휴 이거 원 생각보다 엄청 많군요 ㅠㅠ). 스프링노트에서 블로그로 내보낸 글이 거의 절반 이상인데... 이건 어떻게 처리해야할 지 암담하네요. 그냥 다시 밝은 스킨으로 돌아갈까나... ㅠㅠ

그럼 좋은 밤 되세요 ;)