午後-Kikker独り立ち-

Kikkerの内部動作を結構大きく変えた。


というのも、今までのKikkerは一つのURLを解析するために、Bulkfeedsの形態素解析 APIを一回リクエストして、んでもって、Yahooで8個ぐらいのキーワードについてヒット数を調べてたのね。
ただ、この処理がすごーく重くてクローラの性能を制限してたから、この部分を全て自前でやることにした。


とは言っても、TF-IDFのIDFの部分をchasenの持ってる辞書の生起コストで置き換えただけなんだけど。


というわけで、今のKikkerは独り立ちしました。ただ、まだまだ若造なので抽出するキーワードがおかしいかもしれません(´ﾍ｀；)
しかーし、クロールのコストが減ったので、その分各URLについてより大きなベクトルを得られるようにしました。よって、推薦の精度は上がるんじゃないかな(ベクトル計算の計算量が増えたのでページ生成は遅くはなったみたいだけど・・・)。


[関連記事]
http://d.hatena.ne.jp/kanbayashi/20060429#p4

夕方-夜

Kikker関係の設計についてうんうんうなりながら考える*1。ひらめいた!!


というわけで、とりあえずYoutubeのクローラを書きます。一日６万エントリ*2をクロールしようと思います。
そして、Youtubeクローラ書けた。

*1:Google Desktop Gadgetについても関係してます

*2:梅田氏のBlogによると一日これぐらいUPLOADされるらしい

夜中-KikkerにYoutubeビデオ推薦機能を実装-

しました。案外簡単にでけた。

☆-(ノﾟДﾟ)八(ﾟДﾟ　)ノｲｴｰｲ

ためしにRyoのアカウントのを見てみて下さい。

実際に使いたい方はYoutube用に新しいアカウントを作って試してみて下さい*1。
http://ryogrid.myhome.cx:1234/?id=ryo_youtube&type=html&category=youtube

あ、そうそう、Youtubeビデオ推薦機能の実装に際して、Kikker Web APIからYoutubeのエントリも持ってこれるようになったのでそれも使ってみてね。
http://d.hatena.ne.jp/kanbayashi/20060714#p2


コレまじいけるんじゃね？(投票)

*1:はてブの好みとは違うよね？

Today's (hoge)^2

  • zuzara.com ≫ 日本で公開されているAPI一覧（下書き）

http://blog.zuzara.com/2006/07/20/98/
Kikker Web APIキター

  • fladdict.net blog: 私がHatenaTubeでどれだけ儲けたか

http://fladdict.net/blog/2006/07/hatenatube_5.html
悲しい事実

http://developer.yahoo.co.jp/auctions/
ヤフオクWebサービスか。金儲けに使えそう。

http://www.itmedia.co.jp/news/articles/0607/19/news039.html
キター

  • 百式 - ハイスピードサービス (High Speed Conferencing.com)

http://www.100shiki.com/archives/2006/07/_high_speed_con.html
便利そう

http://japanese.engadget.com/2006/07/18/zune-strategy/
P2Pストリーミングってすごそう。惹かれる。

http://www.web-20.net/2006/07/post_24.html
ここも皆さんなにとぞよろしくおねがいします。

  • NECも参入，“SoftEther型ソフト”に再評価の動き：ITpro

http://itpro.nikkeibp.co.jp/article/OPINION/20060715/243476/
だそうです。

  • 「どんな環境でもつながります」，技術系ベンチャが新型VPNシステムを開発：ITpro

http://itpro.nikkeibp.co.jp/article/NEWS/20060512/237760/
へー。おもしろいな。SoftEtherの公開ハブを使っても近いことできるよね。そこらへんをさらにボタン一つでできるぐらいになるといいかも。

  • wiki感覚でオリジナルの検索サービスが作成できる「FC2マイサーチ」

http://internet.watch.impress.co.jp/cda/news/2006/07/20/12723.html
用途が限られるけ、タイトルには惹かれる。

http://www.jva.or.jp/world/2006/worldleague/members/profile.php?n=16
あー。前大学の試合見に行ったらいたぞコイツ。
そうかぁ。日本代表かぁ。すげぇなぁ。

  • 「復活」果たしたITサービス業界がこの5年間で失ったもの：ITpro

http://itpro.nikkeibp.co.jp/article/OPINION/20060719/243731/
人材不足は僕らにとってはチャンスかと。

http://journal.mycom.co.jp/articles/2006/07/20/grails/
期待。KikkerはJavaで書いてあるからGrailsでViewを再構築できたら理想的。
ただ、Groobyとrubyの言語仕様の違いからして、Railsにどこまで近づけるのかは微妙だよな。