scRUBYt!を使ってmixiの足跡をスクレイピング

ruby

scrape

mixi

xml

"ruby スクレイピング"というキーワードでいろいろ検索してまわってみたらWWW::MechanizeよりもscRUBYt!の方が面白そうだったので、これをつかって軽く練習してみることにします。他にもscrAPIというのもあるみたいですが、日ごろからXSLのコーディングをしていたりすることもあってCSSのセレクタ表記よりもXPathに馴染んでいるということでscRUBYt!を選んでみました。

かるく肩慣らしということで、mixiの足跡をスクレイピングしてみました。
なぜ足跡なのかといえば、特に深い意味はないんですけど。。。。。

† mixiの足跡をスクレイピングする

getmixifootprint.rb

require "rubygems" require "scrubyt" config = {"user"=>"user@example.com", "pass"=>"passwords"} mixi_footprint = Scrubyt::Extractor.define do fetch "http://mixi.jp/" fill_textfield "email",config["user"] fill_textfield "password",config["pass"] submit fetch "http://mixi.jp/show_log.pl" footprints '//div[@id=\'log_color\']' do footprint "/ul/li" do accessed lambda {|x| x[0, 20]}, :type => :script name '/a[1]' userid '/a[1]/@href' end end end mixi_footprint.to_xml.write(STDOUT, 1)

簡潔でいい感じですね。
たぶん今後のお仕事に大活躍してくれそうな予感。

ちなみにプログラムの例はプロジェクトにscrubyt-examplesとしてあがっているので、これらを参考にして同じように書いていくと簡単かも。

† ひとつ疑問が

「scRUBYt!」ってなんて読むんだろう？

† 2009/1/5追記

足跡削除機能が追加に伴ってページが変更されたため、スクリプトをアップデートしました。

getmixifootprint.rb

require "rubygems"
require "scrubyt"

config = {"user"=>"user@example.com", "pass"=>"passwords"}

mixi_footprint = Scrubyt::Extractor.define do
        fetch "http://mixi.jp/"
        fill_textfield "email",config["user"]
        fill_textfield "password",config["pass"]
        submit
        sleep 3

        fetch "http://mixi.jp/show_log.pl"
        footprints '//ul[@class=\'logList01\']' do
                footprint "/li" do
                        date '/span[@class=\'date\']'
                        name '/span[@class=\'name\']/a[1]'
                        url '/span[@class=\'name\']/a[1]/@href'
                end
        end
end
mixi_footprint.to_xml.write(STDOUT, 1)