- blogs:
- cles::blog
ファイル名のエンコードをUTF-8にする
linux
perl
windows
charset Windows標準の文字コードは SJIS なので、Linux に FTP などでうっかりファイルをアップロードするとファイル名が SJIS になることがあります。数個であればアップロードし直したり、手動でファイル名を変更すれば問題ないのですが、今回は訳あってこれをなんとか UTF-8 に変換する必要があったのでいろいろと苦労することになりました。結論から言うと、convmvというperl スクリプトを使うと一撃でファイル名のエンコード変換ができることがわかりました。
convmv - converts filenames from one encoding to another
convmv is meant to help convert a single filename, a directory tree and the contained files or a whole filesystem into a different encoding. It just converts the filenames, not the content of the files. A special feature of convmv is that it also takes care of symlinks, also converts the symlink target pointer in case the symlink target is being converted, too.
Windows <-> Linux で日本語のファイル名をやりとりする場合には知っておくと便利かもしれません。
特に Zip なんかのアーカイブの中に日本語のファイルが入ってしまっていたりすると、転送時には気がつかなかったりしますからね。
ライブドアのオープンソース汎用レコメンデーションエンジン
marketing
perl ライブドアがPerl+MySQLで動作するオープンソースのレコメンデーションエンジン「Cicindela」をオープンソースで公開したようです。
ライブドア開発陣からのクリスマスプレゼントといったところでしょうか。
ライブドア、レコメンドエンジンをオープンソースで公開:マーケティング - CNET Japan
ライブドアは12月24日、開発者向けに汎用レコメンデーションエンジン「Cicindela」をオープンソースとして公開した。ソースコードはGoogle Code上でMIT Licenseにて配布している。
Cicindelaは、「このウェブページを見た人はこんなページも見ています」といったおすすめ機能を既存のサービスに追加できるように、ライブドアで独自開発したレコメンデーションエンジン。
システムの概要を見る限り、APIはシンプルなので使いやすそうですね。
インストールしてこのブログに適用してみるというのも面白いかもしれません。。。。
Real Sync
windows Windows上で大量のファイルを拡張子を識別して選択的にコピーする必要があったので、Cygwin上でrsyncを使ってみたのですがどうにも遅くてしょうがないのでWindowsネイティブでサクッと動くアプリはないものかと思って探してみたところ、このReal Syncがちょうどぴったりでした。
当ソフトウェアは、2つのフォルダをミラーして同一内容にするツールです。このソフトを利用することで、フォルダの同期を取ることができ、バックアップ等を簡単にリアルタイムに行うことができます。また、更新されたファイルだけをコピーするため、高速です。
導入する際は、ミラーするフォルダを設定して、更新ボタンを押すだけです。
フォルダの設定で自動更新をチェックしたものは、一括して、更新でき、また、一定時間ごとに更新することも可能です。尚、当ソフトウェアは、フォルダの設定などを誤った場合、大変危険(確認なしに上書きしますので)ですので、ご注意ください。当ソフトウェアを利用した場合の責任はいっさい負いません。
差分更新の際にはrsyncのようにハッシュをとって比較したりはせずに、あくまで日付による判定のみのようですが通常の用途ではこれで十分そうです。
BarracudaのDNSBLサービス
antispam スパムフィルターのアプライアンスを開発しているBarracuda Networksが公開しているDNSBLサービスがあるようです。
Spamhausの対抗馬となるフリーのスパム対策サービスがBarracudaから登場 - SourceForge.JP Magazine
しかしここへ来て、Spamhausの対抗馬となるフリーなサービスが新たに登場した。Barracuda Reputation Block List(BRBL、読みは「バーベル」)だ。提供元は、オープンソース関連企業としても名の知れたBarracuda Networksだ。同社CEO(最高経営責任者)であるDean Drako氏によると、今後も同サービスを有料化する予定はないという。
利用は無料ですがDNSを引くためにはBRBLにアカウントを作って、DNSサーバのアドレスを登録しておく必要があるようです。面白そうなので、アカウントを作って使い始めてみました。どの程度spamをブロックしてくれるのかちょっと楽しみです。
JavaScriptバリバリのページをスクレイピングする
ruby
scrape 普段ウェブのスクレイピングにはWWW::Mechanizeを使っています。WWW::MechanizeはJavaScriptが解釈できないので、これまでは自分でJavaScriptを解釈してプログラミングをしていたのですが、スクレイピングの妨害のためなのか何なのかは良くわかりませんが、尋常じゃない程のJavaScriptを解釈しなければならないページにぶち当たってしまって、この一週間途方に暮れていました。
いろいろ調べた結果、IEやFirefoxを外部から操作する方法が一番早いようなので、Rubyから使えるWatirというライブラリを使ってみることにしました。内部的にはWin32APIを使ってIEをコントロールするようです。後々バッチ化をすることを考えると、あまりWindows依存で起動時に画面が必要になるアプリにはしたくないのですが、この際ですから仕方ありません。
Watir is an open-source library for automating web browsers. It allows you to write tests that are easy to read and maintain. It is simple and flexible.
Watir drives browsers the same way people do. It clicks links, fills in forms, presses buttons. Watir also checks results, such as whether expected text appears on the page.
このWatir、何と読んだらいいから分からなくて困りましたが、Watir pronounceで検索してみたらプロジェクトのトップページに"It is pronounced water."とちゃんと書いてありました。ウォーターと読めばいいようです。
[JavaScriptバリバリのページをスクレイピングする の続きを読む]
iL CHIANTI (ディナー編)
italian 今日は三越前のiL CHIANTIでディナー。
予約で席が一杯だったらしく、2回の喫煙席に通されました。運ばれてきたメニューをみるとあちこち焼け焦げて穴があいています。メニューがかなり大きいので、おそらくテーブルの上に置かれたキャンドルの火で穴をあける人が後を絶たないんじゃないかと、そんな話をしながら、いろいろとオーダー。
写真のタコのイタリア揚げは、アルコールに火がついた状態で運ばれてきて味もさることながら、プレゼンテーション的にもかなり面白かったです。
エビちゃんというコードネームのプログラムが社内で開発されていて、みんなテンションが上がっていたので、エビの入ったちょっと珍しい大江戸ピッツァ(アサリ、サザエ、エビ、アナゴ、アボガド)なんていうのにも挑戦してみました。甘辛い穴子が何とも特徴的です。
[iL CHIANTI (ディナー編) の続きを読む]
馳走居酒屋 黒座暁樓
和食 今日のランチは黒座暁樓。
店構えからがっちりしていて、ちょっと威圧感があります。
ランチは1300円のものが多く、とちょっと値段が張るというかこの辺らしい値段なのですが、お店はかなり混んでいました。
オーダーは西京焼き定食。白身魚と鮭の2切れ構成だったことにちょっと驚きました。西京焼き自体はちょっと味がくど目なので、2切れ食べきるのが結構大変でした。味については及第だと思いますが、これだったら1切れで900円くらいの定食も作って欲しい感じはしました。
[馳走居酒屋 黒座暁樓 の続きを読む]
Yahoo!をSQLライクに検索する
てっく煮ブログに米Yahoo!がYahoo! Query Language(YQL)というサービスが紹介されていました。Yahoo Pipesのときはあまり面白そうに思えなかったのですが、このYQLはちょっと面白そうです。
米 Yahoo! が SQL っぽく色んなデータを取ってこれるAPIを出した - てっく煮ブログ
米 Yahoo! から Yahoo! Pipes みたいに自由度が高くて、またちょっと毛色が違うサービスが出てきた。
題して、Yahoo! Query Language。YQL と呼ぶようだ。
SQL 風の言語を REST で投げて、結果を XML や JSON で受け取ることができる。
上記のエントリに従って、YQLコンソールからこのブログのrssをselectしてみました。
[Yahoo!をSQLライクに検索する の続きを読む]
Nucleus CMS v3.31 SP3がリリースに
NucleusCore セキュリティ問題を解決したNucleus CMS v3.31 SP3リリースされています。
解決された問題は以下の2点です。
Nucleus(JP)フォーラム :: トピックを表示 - プラグインの脆弱性および対処方法について
Nucleusで使われるメディアマネージャにおいて、ディレクトリ・トラバーサル等の脆弱性が発見されています。複数のユーザでNucleusを用いている場合は、特に注意してください。単独ユーザの場合は大きな影響は有りませんが、以下に述べるように、 media-tocu-dirs関連の機能を用いている場合は注意が必要です。
Nucleus(JP)フォーラム :: トピックを表示 - Nucleus CMS v3.31 SP3 日本語版
3.3 から導入されたオートドラフト保存の不具合により、複数の管理者(アイテムを追加できる人がいるという意味です)で運営してるサイトで、本来削除する権限の無いアイテムを削除することができるという脆弱性がありました。
複数のユーザーでNucleusを利用している場合にはなるべく早くバージョンアップをすることを推奨します。
アップデートの詳細についてはNucleus(JP)フォーラム :: トピックを表示 - Nucleus CMS v3.31 SP3 日本語版を参照してください。
酒処 DDSK
今日は新橋のDDSKにて忘年会。
上にでですけがありますが、こちらはあくまでディーディーエスケーなんだそうです。バーカウンターがメインなので、個室は1つ2つという感じです。
この時期なのでしょうがないのかもしれませんが、注文してから料理が出てくるまで20分以上待たされました。酒がほとんど飲めない自分にとって食べ物がない状態である程度飲まないといけない状況がちょっと辛かったです。
今回は豚トロのとろとろ煮が一番のお気に入りでした。
[酒処 DDSK の続きを読む]- 換気口に風よけカバーを設置 (2)
2 . 福岡銀がデマの投稿者への刑事告訴を検討中(1423)
3 . シャープの空気清浄加湿器のキュルキュル音対策は PTFE テープで(1299)
4 . GitHub が全ての公開リポジトリへのシークレットスキャンを有効に(1148)
5 . 年次の人間ドックへ(1104)
Academic[574]
Book[155]
Diary[522]
Disaster[101]
Foodlogue[1425]
Game[284]
Goods[805]
Healthcare[341]
Hobby[32]
IT[1195]
Military[343]
misc.[1570]
Mobile[510]
Music[38]
Neta[106]
News[95]
Photo[391]
RealEstate[120]
Security[1178]
SEO Contest[36]
Software[634]
Tips[1886]
Travelogue[1238]
Web[675]
Work[193]





