cles::blog

Google が AI によってファイルを判別するプログラム Magika^*1*2を公開していました^*3。

通常、Linux で拡張子がない不明なファイルの詳細を知りたい場合には、ほとんどの人はfile^*4 コマンドを使うことが多いと思います。ただし、ファイルがどのアプリケーションによって作成されたものなのかを判定するための一般的な方法はないため、file コマンドを使ったとしても内容が正しく判別されるとは限りません。file コマンドの場合には、ファイルの判定はファイルシステムテスト（ファイルが空か？特殊ファイルか？）、マジックナンバーテスト（ファイルの先頭にマジックナンバーが記載されているか？）、言語テスト（ファイルがテキストである場合には、どのような文字コードで書かれているか）の 3 つの判定が順に行われるとされています。つまり基本的にはヒューリスティックなルールを一定の順序で試してみて、該当するものがあるかどうかを判定していることになります。

これに対して、Magika は人間が作ったルールではなく、これをディープラーニングによるモデルで代替しようという試みです。

Googleが高精度かつ高速にファイル形式を判別するツール「Magika」公開 - PC Watch

Magikaはディープラーニングの力を活用し、平均精度99%以上を実現しつつ、1つのCPUで実行しても1秒間に120種類以上/数百万ファイルのファイル形式を判別できるツール。判別時間はわずか数ミリ秒で、モデル自体も比較的小さく、コアモデルは1MB未満だ。

† インストールは pip で

イントールは Python 環境があれば pip で一撃なので簡単に試してみることができます。

• ^*1: Magika
• ^*2: GitHub - google/magika: Detect file content types with deep learning
• ^*3: Magika: AI powered fast and efficient file type identification | Google Open Source Blog
• ^*4: Ubuntu Manpage: file - ファイルタイプを判定する

Google の検索結果には Googlebot がサイトをクロールしたときのキャッシュへのリンクが含まれていましたが、これがひっそりと削除されたようです。

サイトが落ちているけど内容をちょっと確認したい・・・みたいな時に便利だったんですが、まぁ使用頻度がそれほど高くない機能だったのでしょうがないという感じでしょうか。

Google検索のキャッシュリンクが廃止で過去のページが閲覧不可に - PC Watch

これまで検索結果の各Webページのキャッシュにアクセスできるリンクが用意されており、Webページの過去の状態や削除される前の状態などが確認できたが、このリンクが削除されたかたち。検索演算子「cache:」を使ったアクセスはまだ行なえるが、将来的にはこちらも利用できなくなる予定だという。

神奈川の入試ネット出願システムで Gmail での受信が正常にできない現象が発生していた件が、やっと解決したようなのでメモ。

こういう Google や Yahoo 等のフリーメールのサービスは日々 spam との戦を繰り広げているので、予告無しかつ不定期にフィルタリングのルールが変更されることがあり、メールが届かないと言われる送信側のシステム管理者にとっては常に頭痛の種です。Google は昨年、Gmail へのメール配信を行う場合のガイドラインを公表していて、実施が 2 月からに迫っていましたが、これとは関連関係ないはずです。

自分でメール配信するサービスを作るときには SendGrid などのサービスを使うというのが現在のベストプラクティスだとは思っています。

神奈川県公立高等学校入学者選抜インターネット出願システムの稼動状況について - 神奈川県ホームページ

令和6年1月10日掲載（第1報）
本システムからのメールの受信をする際、Gmailでの受信が正常にできない現象が発生しており、現在原因を調査中です。
Gmailを利用されている方は、Gmail以外のメールアドレスの利用をご検討ください。
利用者の皆様にはご迷惑をおかけして大変申し訳ございませんが、ご理解とご協力の程よろしくお願いいたします。

Google が日本初のデータセンター (DC) を印西市に開設していました。
以前、グッドマンビジネスパークに用地購入^*1したことが報じられていたものが、やっと完成したということですね。

「すでに GCP には asia-northeast1 (東京) や asia-northeast2 (大阪) というリージョンがあるのに、なぜ国内初？」と思いましたが、これまでは equinix などのパートナーが運営している DC が利用されていたので、Google の自社所有として DC が国内初ということになるみたいです。

Google Japan Blog: 千葉県印西市にデータセンターを開設

Google は、千葉県印西市にデータセンターを開設し、本日開所式を行いました。
このデータセンターは、日本で初めてで、Google のツールやサービスを利用する際のアクセスを高速化し、より高い安定性を実現します。

• ^*1: グーグルが日本に自社データセンター建設へ、立地は首都圏屈指の「DC銀座」 | 日経クロステック（xTECH）

以前、SMB 2.0 以降を使う Samba サーバの共有フォルダを対象にして Windows のイメージバックアップを取ろうとすると Sparse File の関係でバックアップが取れたり取れなかったりするという問題がありました。

同じような問題が OmniOS(illumos) でも発生していたので困っていました。
OmniOS は Open Solaris の系譜なので、ファイル共有は Samba ではなく Kernel 内蔵の smb です。
というわけで、Linux のSamba と同じテクニックは使えず、原因も Sparse File ではありません。

† まず、結論から

いつも通り、解決するための結論から書いて置きます。

以下のようなコマンドで zfs 共有の nbmand(Non Blocking mandatory locks)^*1*2 プロパティを on にしてやります。

どうもこの nbmand というプロパティが off だとクライアントがファイルをうまくロックすることができず、これが原因になっていたようです。

nbmand のデフォルトは off ですし、おそらくパフォーマンス等に対するペナルティもあると思われるので、今回はバックアップに使う共有でだけ on にしています。Open Solaris の時から nbmand は cross-protocol locking （例えば NFS と SMB を同時に使う）が必要な時だけ on にする必要がある^*3という認識だったのですが、どうやらちょっと僕の認識が間違っていたようです。これまで off でもファイルサーバとしては特に問題になる挙動に当たったことがなかったのですが、このあたり近日中に詳しく調べてみたいと思います。

† 実際に発生するエラー

実際にバックアップを取ろうとすると発生するエラーは以下のような感じです。

• ^*1: illumos: manual page: zfs.8
• ^*2: illumos: manual page: mount.8
• ^*3: Managing CIFS Shares (Task Map) (Solaris CIFS Administration Guide)

検索連動型広告を悪用してフィッシングサイトに誘導する手口がニュースになっていたのでメモ。
ユーザー視点から見ると「えきねっと」を検索すると、その結果のトップがフィッシングサイトへのリンクになってしまうのでかなり悪質です。

グーグル検索で偽「えきねっと」　悪用された広告枠、審査強化の訴え：朝日新聞デジタル

インターネットの「検索連動型広告」を悪用した詐欺が頻発している。昨年10月以降、JR東日本のサービス「えきねっと」をグーグルで検索すると、本物そっくりの偽サイトが画面最上部の広告枠に表示される問題が繰り返し起きた。

Fitbit Inspire HR がだいぶくたびれてきたので、新型のFitbit Inspire 3^*1 に買い換えてみました。
カラーはピンク。目立つ色の方がなくさないからという安直な理由です。

価格や重さ、大きさは　Fitbit Inspire HR とあまり変わりませんが、OLED はさらに明るく、カラー化されているので見やすくなりました。また、標準のバンドがシリコンの柔らかいタイプになったので、別途柔らかいバンドを用意する必要がなくなったところも個人的にはポイントが高いです。

Google に買収されてから初めての製品購入ですが、製品的にはそれほど変わった印象は感じませんね。

• ^*1: Fitbit Inspire 3 | 健康管理トラッカー

以前、Windows でファイルをロックしているプロセスを調べることができる LockHunterというアプリについてのエントリを書きましたが、これと同じことをすることができる MS 謹製の File Locksmith というユーティリティをみつけました。PowerToys というユーティリティ群のひとつとして搭載されています。

導入する場合、以下の GitHub のリリースから PowerToys としてダウンロードすることになります。

• Releases · microsoft/PowerToys

使い方はファイルを右クリックして「このファイルは何で利用していますか？」という項目を選択するだけです。PowerToys は File Locksmith に限らず便利なツールがいろいろ揃っているので、導入しておくと良いと思います。

PowerToysWindows 用の File Locksmith ユーティリティ | Microsoft Learn

エクスプローラー内の 1 つ以上のファイルまたはディレクトリを選択します。 ディレクトリが選択されている場合、そのすべてのサブファイルとサブディレクトリもスキャンされます。 がアクティブ化されると File Locksmith 、アクセスできる実行中のすべてのプロセスがスキャンされ、使用しているファイルが確認されます。

Google が Google アカウントの基本認証を 5/30 でサポート終了するようなのでメモ。

影響を受けるのは、ほとんどの場合、メーラーを使って POP や IMAP, SMTP を使う場合に限られると思います。これについては認証を OAuth に切り替えるだけで対応が可能です。すでに切り替え済みのことが多いと思いますが、Gmail をウェブ画面からでなく、メーラー（Thunderbird、Outlook など）で利用している場合には一度アカウントの設定を確認しておく必要があります。

安全性の低いアプリと Google アカウント - Google アカウント ヘルプ

アカウントを安全に保つため、2022 年 5 月 30 日より、Google は、ユーザー名とパスワードのみで Google アカウントにログインするサードパーティ製のアプリとデバイスについてサポートを終了いたします。

Google が「一部の個人情報（PII）または晒し行為のコンテンツを Google 検索から削除する」ページから申請できる個人情報(PII: Personally Identifiable Information)の削除について、その範囲を拡大していたのでメモ。

幸いにもサーチエンジンにセンシティブな個人情報をインデックスされた経験はありませんが、いざというときのためにこういう手段があることも認識しておいた方が良いですね。

Google、検索での個人情報削除申請の適用範囲を拡大 - PC Watch

今回のポリシー更新では、削除を申請できる情報の種類を追加。個人情報窃取を引き起こしうる電話番号やメールアドレス、住所などといった個人の連絡先情報、ログインに用いる機密情報なども対象となった。