WHAT'S THIS

都議会選挙、候補者のウェブサイトのデータをクロールしてローカルに保存します。 気になるキーワードでローカルでgrepするなどして検討することが出来ます。

USAGE

node download.js -i 0

n番目の候補者からダウンロードを再開したい場合は-iにインデックスを指定。 うまくいかない時は-iの値をカウントアップしながら粘ってください。

データのダウンロードが終わればテキスト操作で集計などができます。

図書館の言及回数

$ grep '図書館' -rin ./temp | awk -F "/" '{print $3}' | uniq -c | sort -r
  18 里吉ゆみ
   3 小松ダイスケ
   1 栗林のり子

オリンピックの言及回数

$ grep 'オリンピック' -rin ./temp | awk -F "/" '{print $3}' | uniq -c | sort -r
  92 木村基成
  69 里吉ゆみ
  29 後藤雄一
  10 三浦しずか
   6 ふじた孝行
   6 岡本京子
   4 栗林のり子
   3 大場やすのぶ
   2 マック赤坂
   1 山口拓

待機児童の言及回数

$ grep '待機児童' -rin ./temp | awk -F "/" '{print $3}' | uniq -c | sort -r
  46 木村基成
  15 ひえしま進
  10 三浦しずか
   9 栗林のり子
   8 里吉ゆみ
   6 ふじた孝行
   3 岡本京子
   1 マック赤坂
   1 後藤雄一

データ元

http://www.h29togisen.metro.tokyo.jp/election/list.html