はてブおせっかい
お仕事したり、Kikkerのクローラを修理したり。 クローラをセマフォとか使ってちゃんとスケジューリングするようにしたら、すこぶる快調に動き始めた。☆-(ノﾟДﾟ)八(ﾟДﾟ )ノｲｴｰｲ。 #今までは、クローラスレッドがいつのまにかたくさん走りすぎてOutOfMemoryと…
[前の] http://d.hatena.ne.jp/kanbayashi/20060905#p4 [今回の] http://d.hatena.ne.jp/kanbayashi/20060923#p1前やった、単純クラスタリングというのは、各点の情報のみを用いてクラスタリングを行ってたので(1次の関係しか考慮しない。M-Means法とかだと…
String#internを使って、ドキュメントの持つベクトルで、同一のキーワード文字列を示すときは、同一のインスタンスを指すようにしてみた。 おぉ、メモリ消費量が減った気がする。#当初はすげぇ減ったーって思ったのだが、勘違いかもしれないので、様子を見る…
はてブおせっかいのデータが消えた*1。 クローラのバグがあったり、はてブからアク禁くらったり、上記の事があったりで、はてブおせっかいの本来の精度はまだ一度も出ていません。 なので、はてブおせっかい使えねぇとはまだ判断しないで下さい。 以上。いい…
Mongrelのアクセスログで grep rss production.log | sort | uniq -c | grep Parameters | sort | grep -v sorry > ranking.log とすると、今までのユーザごとのRSSへのアクセス数が分かる。 で、大体、リーダなどに設定していると思われる有意なユーザを数…
はてなにメールを出しておいたら、アク禁止めてくれたみたい。 迅速な対応ありがとうございます。 さすがだぜ、はてな。
はてブおせっかいについてそつなく発表。 他の人達のやってることも、結構面白そうなのが多い。最終発表が楽しみだ。
Kikkerやはてブおせっかいのクローラの取りこぼしがひどい。ということで、調査。 すると、TimerのscheduleAtFixedRateの挙動が自分の理解していた内容と違った・・・ http://www.atmarkit.co.jp/fjava/javatips/078java008.html というわけで、その部分を直…
クラスタリングについていろいろと調べる。 http://ocw.u-tokyo.ac.jp/course-list/engineering/applied-acoustics-2005/lecture-notes/D2-Clustering.pdf http://www.kamishima.net/jp/clustering/ http://www.it.ecei.tohoku.ac.jp/~kato/patman/sld041.ht…
・MySQLの最大コネクション数を変更して*1、コネクション周りで不都合が出ないようにした →タイトルとかタグも表示されるように ・クロールしてあったエントリのブクマ数が増えていたら、それを反映するように →使える情報が増えるので推薦の精度が上がった…
HotEntryのトップページｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!! けど、負荷がすごすぎて、サーバが耐えられない・・・・・・。 とりあえず、ごまかしの対策をしてみる とりあえず、皆が同時に計算させて、結局誰の計算も終わらないという状況を避けるために、計算部分を…
はてブおせっかいを公開します!! ↓ はてブおせっかいは、集団のブクマ行動によってエントリを推薦するということで、最近の「はてブのお気に入りは正直どうなのよ」議論への解答を示します。 是非お試し下さい。 ブクマお願いしまーす↓ ブクマする ※タイトル…
