BLOGTIMES
« :: »
2009/05/05

Jcodeで文字コード変換をしようとすると落ちる

  perl  charset 
このエントリーをはてなブックマークに追加

３月末にサーバを移行してからAWStatsの再設定をしていなかったので、AWStatsを再設定しました。ついでに2005年分からのログを再処理しようと思ったのですが、なぜかログの前処理のutf8_decode.plが下記のようなエラーを吐いて落ちるので困ってしまいました。

UTF-16BE:Malformed HI surrogate dee8 at /usr/lib/perl5/5.8.8/i386-linux-thread-multi/Encode.pm line 193, <STDIN> line 618012.

該当するコードは下記の部分のようです。

Jcode::convert(\$_,'utf8');

どうやらJcodeが文字変換の際にEncodeを呼び出すようなのですが、ここでおかしな文字が入っているとPerlが死んでしまうようです。同じような問題ではまっている人を見つけたので、あまり本質的な解決方法ではありませんが、eval{ };でくくって誤魔化してしまいました。

† 参考
　・Jcode.pmが死ぬ : ひろ式めもちょう

しかたないのでevalで囲った。

    by hsur at 03:23 [5年前][4年前][2年前][1年前][1年後][2年後][3年後][4年後][5年後] |
    こんな記事もあります 「前処理 AWStats Encode」
    ・PHP の内容を AST で解析する
    ・ターミナル上に QR コードを表示する
    ・MariaDB の utf8 テーブルに絵文字を格納するには
    ・log を常時監視して slack にポストする
    ・CentOS 7 で自分でビルドした apache を使うと systemctl start が戻ってこない
    ・Google が高品質な JPEG エンコーダー「Guetzli」を公開
    ・snmptrapd の通知を Slack に飛ばす
    ・imapsync で IMAP のフォルダ同期を設定する
    ・CentOS7 標準の MariaDB で base64 エンコード/デコードしたい
    ・ドコモが 6/24 から VoLTE を開始
    トラックバックについて
    Trackback URL:
    お気軽にどうぞ。トラックバック前にポリシーをお読みください。[policy]
    このエントリへのTrackbackにはこのURLが必要です→https://blog.cles.jp/item/3029
    Trackbacks
    このエントリにトラックバックはありません
    Comments
    愛のあるツッコミをお気軽にどうぞ。[policy]
    古いエントリについてはコメント制御しているため、即時に反映されないことがあります。
    コメントはありません
    Comments Form

    コメントは承認後の表示となります。
    OpenIDでログインすると、即時に公開されます。

    OpenID を使ってログインすることができます。

    Identity URL: Yahoo! JAPAN IDでログイン

    « :: »
    Copyright © 2004-2023 by CLES All Rights Reserved.