cles::blog

shizukiさんに教えていただいて分かったのですが、YahooAPIを使っているプラグインであるNP_MetaTags, NP_SpamBayesを使っている場合に、管理者操作履歴にAsyncHTTP Errorというエラーが記録されて、プラグインが動作しないという問題が発生しているようです。

これはYahooAPIのURLが変更されたことに起因していると考えられます。URLの変更自体は2008/8に行われており^*1、直後に対応版の開発は行っていましたが本日までリリースを行っておりませんでした。

本不具合についての修正版については早急に準備をしていますが、プラグイン内に記載されている下記の2つのURLを書き換えることにより対処することが可能です。ご迷惑をおかけして申し訳ありません。

• ^*1: Yahoo!検索、Yahoo!カテゴリのWebAPIドメイン変更のお知らせ - Yahoo!検索 スタッフブログ

NP_SpamBayesJPのインタフェイスを日本語化しました。また、各所で動作確認が取れ、実用レベルであると認識できたので、バージョン表記からベータを取りました。

まだ暫定日本語版のため、まだUTF-8/EUC-JP両対応になっていません。EUC-JPの場合には文字コードを変換すれば利用可能になると思いますが、正式に動作確認していませんのでその旨はご了承いただければと思います。

※使い方についてはplugins:spambayesjp[Nucleus CMS Japan Wiki]にまとめてあります。

動作確認はNucleus 3.31SP1（UTF-8）、PHP 4.4.7環境で行っています。
動作確認報告、バグ報告はこのエントリへ、コメント・トラックバックをお願いします。

ローカルのMecabを使いたいというリクエストがあったので、jp1.6よりローカルのMecabを形態素解析器として使うためのモードを復活^*1させました。

デフォルトではYahoo!APIを使うようにになっていますが、下記の要領でローカルのMecabを使うことができます。ファイルの書き換えが必要ですが、自宅サーバなどに自力でMecabをインストールできるくらいの技術があることが前提なので特に問題ないと思っています。

• ^*1: 僕が始めにオリジナル版を改造していたときの内容になので、復活という表現になっています

spam判定をするためにはどれくらい学習が必要なのかというのは良くわかりませんが、参考までに僕のところではどれくらい学習させているか管理画面のスクリーンショットを掲載しておきます。

spamというのがspamであるデータに含まれる単語。hamというのがspamでないデータに含まれる単語をあらわしていて、それぞれの単語が含まれる確率を用いてspamであるかどうかを判断します。これらのデータは自分で投入することもできますがNP_SpamBayesでは簡単にフィルタを賢くできるような機能が備わっています。

例えば、ブロックしたトラックバック^*1を元にspamであることを学習させることができます。また、公開されているコメント^*2や公開されているトラックバック^*3を元にspamでないことを学習させることもできます。

• ^*1: 「Train spam with all NEW blocked trackbacks.」の部分
• ^*2: 「Train HAM (not spam) with all NEW comments」の部分
• ^*3: 「Train HAM (not spam) with all NEW trackbacks.」の部分

迷惑メール振り分け技術として良く使われているベイジアンフィルタを用いたspam避けプラグインです。きちんと学習させればおそらく最強のspam対策プラグインであることは間違いないと思います。

反響が予想以上に大きかったので、さっくりと作ってしまいました。もともとローカルのMecabを使って形態素解析をしていたのですが、この部分を誰もが導入可能なようにごっそりとYahoo!のウェブサービスに置き換えたものです。

† あくまでベータ版です

とりあえず動作可能^*1ではありますが、あくまで人柱版という位置づけです。

技術的な問題に関しては積極的に対応していきますが、それ以外のサポートはあまりする予定がありません。また、日本語はきちんと処理できますがインタフェイスは英語のままです。

※使い方についてはplugins:spambayesjp[Nucleus CMS Japan Wiki]にまとめる予定です。

動作確認はNucleus 3.3（UTF-8）、PHP 4.4.7環境で行っています。
動作確認報告、バグ報告はこのエントリへ、コメント・トラックバックをお願いします。

• ^*1: うちのサイトではMecab版を半年以上運用して有効性は確認してあります

捜し求めていた形態素解析のウェブサービスがYahoo!からリリースされました。

Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析

日本語形態素解析Webサービス
日本語文を形態素に分割し、品詞、読みがなの付与、統計情報を取得できる機能を提供します。

これで最強のspam対策プラグインNP_SpamBayes日本語対応版を自宅（専用）サーバ以外の環境の人にもをお届けできるんじゃないかと思います。

これについては早速開発にとりかかろうと思います。NP_ReCaptchaと同じ轍を踏むわけにはいかないので。

おそらくanti-spamプラグインとしては最も効力が高いと思われるベイジアンフィルタを使ったプラグインであるNP_SpamBayesですが、息抜きに樋口さんに教えていただいた方法^*1で日本語の分かち書きに対応したものを作ってみました。

.htaccessの防御を緩めて、年明けから試していますが、さすがに学習型のプラグインは強力でほとんど取りこぼしませんね。

• ^*1: DokuWikiの日本語対応を参照

本家ではNP_SpamBayesというベイジアンフィルタでspamを防ぐプラグインが話題になっているようです。先日リリースされたばかりなのですが、積極的にバージョンアップされています。

spambayes [Wiki:NucleusCMS]

This plugin will add Spam bayesian filtering to your weblog.

ベイジアンフィルタは確率を利用して推論を行うためのアルゴリズムで、身近なところだとSpamAssassinやThunderbirdなどspam振り分けとしてはいろいろなところに搭載されています。非常に興味があるプラグインなのですが、現在のところ日本語のspamを認識することができません。