NP_cles()

12345678910111213141516171819202122232425262728293031
«Prev || 1 · 2 · 3 · 4 · 5 · 6 · 7 · 8 · | Next»

ローカルのMecabを使いたいというリクエストがあったので、jp1.6よりローカルのMecabを形態素解析器として使うためのモードを復活*1させました。

デフォルトではYahoo!APIを使うようにになっていますが、下記の要領でローカルのMecabを使うことができます。ファイルの書き換えが必要ですが、自宅サーバなどに自力でMecabをインストールできるくらいの技術があることが前提なので特に問題ないと思っています。


[続きを読む]
投稿者:hsur 投稿日時:2007-06-25 - 20:53
カテゴリー:Nucleus Tips - /  - トラックバック(0 -

spam判定をするためにはどれくらい学習が必要なのかというのは良くわかりませんが、参考までに僕のところではどれくらい学習させているか管理画面のスクリーンショットを掲載しておきます。

NP_SpamBayes 管理画面 - これくらい学習させてます

spamというのがspamであるデータに含まれる単語。hamというのがspamでないデータに含まれる単語をあらわしていて、それぞれの単語が含まれる確率を用いてspamであるかどうかを判断します。これらのデータは自分で投入することもできますがNP_SpamBayesでは簡単にフィルタを賢くできるような機能が備わっています。

例えば、ブロックしたトラックバック*1を元にspamであることを学習させることができます。また、公開されているコメント*2や公開されているトラックバック*3を元にspamでないことを学習させることもできます。

投稿者:hsur 投稿日時:2007-06-21 - 19:31
カテゴリー:Nucleus Tips -  - トラックバック(0 -

実はかなり前から発生を確認しているのですが、NP_TrackBackというUserAgent騙るトラックバックspamツールが出回っています

NP_TrackBackがspamの発信源かのように取り扱われている記述も散見されるようなので、jp版の現メンテナとしての見解を述べておきます。ちなみにどんなアクセスかというと下記のようなものです。

203.143.100.125 - - [16/Jun/2007:21:23:27 +0900] "POST /item/1471.trackback/1181995866/3415172221/745a336b614796941a4c08bd502fe9c1 HTTP/1.1" 200 138 "-" "NP_Trackback/2.0.3"

このログの一番最後の"NP_Trackback/2.0.3"という部分がUserAgentなのですが、なぜこれが偽装されているのか見破れるかというと、このUserAgentは本当のNP_TrackBackには存在しないものだからです。


[続きを読む]
投稿者:hsur 投稿日時:2007-06-16 - 23:24
カテゴリー:Nucleus Tips -  - トラックバック(0 -

katsumiさんがNucleusのSQLクエリ実行回数とメモリ消費量を測っていたので、うちでもまねしてみました。

目から鱗 w/SQLite SQL クエリーの実行回数

ここでは同時に、メモリの消費量を見るためにmemory_get_usage()関数の戻り値も表示している(PHPのコンパイル方法によっては、この関数は使えないので注意)。

memory_get_usage()、こんな関数あったんですね。うちではメモリ使用量はキャッシュヒット時で800k弱キャッシュミスヒット時で1.1Mくらいでした。

実はクエリの実行回が多いことについてはずいぶん前からわかっていて、僕のところでは最悪で500程度の数値が出ていました。これらについては後述の方法で実行したクエリの内容を保存しておいてそのクエリの内容を分析してチューニングしたりしていました。


[続きを読む]
投稿者:hsur 投稿日時:2007-06-14 - 23:48
カテゴリー:Nucleus Tips -  - トラックバック(0 -

Nucleus本が出たので僕の周りでも新規に導入したという話を聞く機会も多くなりました。Nucleusをそれなりに使うためには大なり小なりプラグインを入れないといけなくなってくるわけなのですが、公式サイトのWikiのプラグイン一覧だと数が膨大すぎて読む気になれないらしく、「いくつくらいプラグインを入れているんですか?」という質問を最近何度も受けるようになりました。

プラグインはたくさん入れていますが、実は自分自身でもいくつ入れているのかわかっていないので参考までにまとめておきたいと思います。


[続きを読む]
投稿者:hsur 投稿日時:2007-05-19 - 23:02
カテゴリー:Nucleus Tips -  - トラックバック(default -

v3.3にアップデート完了しました。デフォルトのままで運用していたら負荷が2倍以上になってしまったので、急いでmemcachedを使ったキャッシュを3.3用にポーティングしたりしてたのでちょっと大変でした。

v3.3とプラグインの互換性についてですが、ウチでリリースしているプラグインは基本的にv3.3 readyなので、アップグレード等は特に必要はありません。また、v3.3向けの機能を組み込んだNP_Trackback*1とNP_Blacklist*2については現在準備中です。

NP_Blacklistについて

このバージョンからコメント時にspamチェックをするためのイベントがコアに組み込まれています。このため同梱しているNP_AddSpamCheckEvent.phpを入れなくてもコメント時にspamチェックが行われます。NP_AddSpamCheckEvent.phpが入っていても害はありませんが、2重チェックになりますのでインストールしている場合にはアンインストールをすることをお勧めします。


[続きを読む]
投稿者:hsur 投稿日時:2007-04-29 - 23:57
カテゴリー:Nucleus Tips -  - トラックバック(0 -

やっと時間ができたのでボチボチ活動再開です。とりあえずNucleus 3.3bを導入してコードを眺めているんですが、思っていたより内部的な変更がかなり行われているみたいです。

標準対応はうれしいけど・・

特にコメント時にはコアがSpamCheckイベントを発行するようになっているので、NP_AddSpamCheckEventを入れなくてもコメント時にNP_Blacklistや、NP_Akismetのチェックが効くようになっていました。

ということは、これまでNP_Blacklistを導入する際にはNP_AddSpamCheckEventも入れてねと言ってきたわけですが、3.3になると2重チェックになっちゃうからNP_AddSpamCheckEventは入れないでといわなきゃいけない訳で、、、、、なかなかに頭が痛いところです。


[続きを読む]
投稿者:hsur 投稿日時:2007-03-18 - 21:09
カテゴリー:Nucleus Tips -  - トラックバック(0 -

おそらくanti-spamプラグインとしては最も効力が高いと思われるベイジアンフィルタを使ったプラグインであるNP_SpamBayesですが、息抜きに樋口さんに教えていただいた方法*1で日本語の分かち書きに対応したものを作ってみました。

.htaccessの防御を緩めて、年明けから試していますが、さすがに学習型のプラグインは強力でほとんど取りこぼしませんね。


[続きを読む]
投稿者:hsur 投稿日時:2007-01-02 - 04:24
カテゴリー:Nucleus Tips - /  - トラックバック(0 -

先日からお試ししていたAkismetですが、英語のspamはかなり弾いてくれるようなので、NP_Akismetをお手軽に導入できるようなプラグインを作成しました。興味のある方はどうぞ。

やり方としてはこんな感じになります。

0. Wordpress.comのアカウント取得(API Keyの取得)
1. NP_Akismetをインストール
2. NP_AddSpamCheckEventをインストール
3. NP_Blacklistの改造

Wordpress.com及び、NP_Akismetが全て英語なので、英語を見たくないという人はちょっと面倒かもしれません。


[続きを読む]
投稿者:hsur 投稿日時:2007-01-02 - 03:48
カテゴリー:Nucleus Tips - / /  - トラックバック(0 -

yuさんがNucleusの新たなAnti-spam手法についていろいろ模索されているようなので、ウチでも新しくひとつNP_Akismetというプラグインを試してみることにしました。僕は良く知らないのですが、WordPressに標準搭載されているAnti-spam機構のようです。

Stop Comment Spam and Trackback Spam Akismet

We can’t stand spam.
Who can? You have better things to do with your life than deal with the underbelly of the internet. Automattic Kismet (Akismet for short) is a collaborative effort to make comment and trackback spam a non-issue and restore innocence to blogging, so you never have to worry about spam again.

これだけでは良くわからないのですが、とりあえずプラグインの内容を読んでみたところ、コメント、トラックバックの内容をサーバに問い合わせてspam判定をする仕組みのようです。サービス利用時にはAPI Keyが必要になります。個人利用の場合は無料ですが、商用利用の場合にはAPI Keyを購入する必要があるようです。基本的にはインストールして、API Keyを設定すればそれで終わりというものみたいです。


[続きを読む]
投稿者:hsur 投稿日時:2006-12-18 - 20:56
カテゴリー:Nucleus Tips - /  - トラックバック(0 -
«Prev || 1 · 2 · 3 · 4 · 5 · 6 · 7 · 8 · | Next»