livedoor clipでクリップされてるドメイン

クローリングしてる暇があるなら…論文かいたら? | EDGE Datasets(研究用データセット)」で手に入れたlivedoor clipのデータ(2008年12月版)をどう使用しようかと考えている。ソーシャルブックマークの研究という点では、レコメンデーションやリンク予測が定番かなとも思う。2009年の6月には新しいデータが書き出されるようなので、今回のデータで学習して次回のデータでテストする、なんて使い方ができるわけだ(次回の書き出しを待つまでもなく日時でデータ分割すればいいのだけど)。

本格的にデータをこねまわす前に、簡単にデータの概要みたいなものを調べてみた。以下はクリップ数が多いドメイン100。

やっぱりと言っていいのかは分からないが、はてなダイアリーのクリップ数が多かった。データ全体でのクリップ数が1,570,527なので7.65%ほどをはてなダイアリーが占めていることになる。その次がlivedoor blogで、以下ニュースサイトなどが並んでいる。

順位 ホスト名 クリップ数
1 d.hatena.ne.jp 120169
2 blog.livedoor.jp 60433
3 www.itmedia.co.jp 42742
4 gigazine.net 39869
5 japan.cnet.com 36952
6 heartattack507.blog84.fc2.com 21367
7 itpro.nikkeibp.co.jp 18676
8 phpspot.org 17923
9 www.asahi.com 17754
10 journal.mycom.co.jp 15197
11 www.atmarkit.co.jp 13795
12 www.nicovideo.jp 13028
13 www.ideaxidea.com 12087
14 www.popxpop.com 11865
15 jp.techcrunch.com 10759
16 coliss.com 9564
17 japanese.engadget.com 9401
18 cashp7.sakuraweb.com 9224
19 www.moongift.jp 8554
20 anond.hatelabo.jp 8362
21 www.youtube.com 8268
22 netafull.net 8093
23 www.100shiki.com 7878
24 e0166.blog89.fc2.com 7798
25 internet.watch.impress.co.jp 7766
26 www.designwalker.com 7758
27 www.gizmodo.jp 7576
28 alfalfa.livedoor.biz 7255
29 www.forest.impress.co.jp 7010
30 labs.unoh.net 6819
31 web-tan.forum.impressrd.jp 6666
32 news4vip.livedoor.biz 6640
33 plusd.itmedia.co.jp 6077
34 blog.goo.ne.jp 6060
35 wiredvision.jp 5942
36 business.nikkeibp.co.jp 5828
37 labs.cybozu.co.jp 5374
38 ameblo.jp 5325
39 sankei.jp.msn.com 5159
40 google-mania.net 5084
41 genkin7p.sakuraweb.com 5025
42 slashdot.jp 4989
43 news.livedoor.com 4850
44 blogs.yahoo.co.jp 4528
45 headlines.yahoo.co.jp 4436
46 kengo.preston-net.com 4343
47 genkinp7.sakuraweb.com 4136
48 guideline.livedoor.biz 4113
49 www.geocities.jp 4046
50 blog.creamu.com 3885
51 lifehacking.jp 3806
52 q.hatena.ne.jp 3762
53 codezine.jp 3595
54 satoshi.blogs.com 3509
55 www.future-planning.net 3496
56 gihyo.jp 3426
57 www.japanranking.jp 3372
58 coolweb.jp 3166
59 www.geekpage.jp 3058
60 japan.internet.com 3048
61 ascii.jp 3042
62 cyblog.jp 2967
63 afiliate.okidoki.main.jp 2939
64 portal.nifty.com 2938
65 dain.cocolog-nifty.com 2937
66 www.j-cast.com 2748
67 pc.watch.impress.co.jp 2737
68 gitanez.seesaa.net 2706
69 www.watch.impress.co.jp 2702
70 clip.livedoor.com 2680
71 www.yomiuri.co.jp 2602
72 zen.seesaa.net 2589
73 la.ma.la 2578
74 subtech.g.hatena.ne.jp 2542
75 akihitok.typepad.jp 2534
76 urasoku.blog106.fc2.com 2514
77 labaq.com 2461
78 builder.japan.zdnet.com 2396
79 markezine.jp 2378
80 www.ringolab.com 2363
81 www.job-forum.jp 2314
82 www.excite.co.jp 2254
83 mobairoiro.sakura.ne.jp 2240
84 bb.watch.impress.co.jp 2214
85 www.lifehacker.jp 2156
86 it.nikkei.co.jp 2134
87 pub.ne.jp 2060
88 kin.geo.jp 2000
89 cash1.sakuratan.com 1981
90 cash1.uh-oh.jp 1980
91 cashp8.jpn.org 1960
92 takagi-hiromitsu.jp 1930
93 paradisewalk.net 1923
94 tan.skr.jp 1900
95 mon.squares.net 1880
96 genkinp8.x0.com 1860
97 maruta.be 1831
98 www.sem-r.com 1797
99 blogs.itmedia.co.jp 1788
100 news23vip.blog109.fc2.com 1786