blogs:
cles::blog
NP_cles()

« Windows 10 上で X11 なアプリを動かす :: 5 月 27 日は「ドラゴンクエストの日」 »

2018/05/26

Windows 10 上の Ubuntu 16.04 に Splash をインストールする

wsl

python

ubuntu

splash

tutorial

Splash 3.2 - Windows 10 上の Ubuntu 16.04 に Splash をインストールする

HTML 内の JS をレンダリングしてくれるサーバである Splash を WSL(Windows Subsystem for Linux) な Ubuntu 16.04 にマニュアルでインストールしようとしたら、いろいろハマってしまったのでその顛末をメモとして残しておきます。Splash を使うと JavaScript が埋まった HTML をスクレイピングしたいときや、ウェブページのサムネイル生成などが簡単にできます。

† 公式のマニュアルはあるけれど・・・

Ubuntu 16.04 向けのインストールマニュアルは以下にあります。

Ubuntu 16.04 (manual way) — Installation — Splash 3.2 documentation

これですんなりインストールできるのかなと思っていましたが、これを WSL の Ubuntu 16.04 でやると、手順2の「sudo ./provision.sh ・・・」というところで以下のようなエラーを吐いてハングしてしまいます。

QStandardPaths: XDG_RUNTIME_DIR not set, defaulting to '/tmp/runtime-root'
process 17451: D-Bus library appears to be incorrectly set up; failed to read machine uuid: UUID file '/etc/machine-id' should contain a hex string of length 32, not length 0, with no other text
See the manual page for dbus-uuidgen to correct this issue.
[240] Critical: QList<KDUpdater::VolumeInfo> KDUpdater::mountedVolumes(): Cannot open /etc/mtab: No such file or directory
[240] Critical: QList<KDUpdater::VolumeInfo> KDUpdater::mountedVolumes(): Cannot open /etc/mtab: No such file or directory

ネット上の情報を探してみると、ヘッドレスで Qt5 をインストールしようとするとハングするという情報もあり、これと同じ問題のような気がするので、上記で出ている細かいエラーと共にこちらにも対処することにします。

software installation - Installing qt5 hangs when installing headless with xvfb-run via ssh connection using official .run installer - Ask Ubuntu

ヘッドレスな状況では画面が見えず、有効な対策が打てないので今回は xvfb ではなく、VcXsrv を使って画面を見ながら臨機応変に対応することにしました。

以下、具体的なインストール手順。

† 下準備

あらかじめ VcXsrv をインストールし、起動しておきます。
さらに、Ubuntu 16.04 を最新状態にして、エラーが出ているファイル（/etc/mtab, /etc/machine-id）を生成します。
dbus は使っているかどうかイマイチ確信が持てませんが、一応サービスを起動しておきます。

sudo apt-get update ; sudo apt-get -y upgrade; sudo apt-get -y install build-essential git
sudo ln -s /proc/mounts /etc/mtab
sudo mv /etc/machine-id{,.bak}
sudo dbus-uuidgen --ensure=/etc/machine-id
sudo service dbus start

† Splash のインストール

ここからは公式のマニュアルに沿って進行しますが、適宜パッチを当てます。

1.Clone the repo from GitHub:

この部分はオリジナルから変更はありません。単に git のリポジトリをクローンするだけです。

cd ~
git clone https://github.com/scrapinghub/splash/

2. Install dependencies:

ここではインストール用のメインスクリプトである provision.sh にパッチを当てています。
パッチの内容は大きく以下の２点です。

Qt のインストーラーを vxvb ではなく、VcXsrv 経由で起動するように修正
qmake のパスがうまく解決されていないのを修正

cd splash/dockerfiles/splash
sudo cp ./qt-installer-noninteractive.qs /tmp/script.qs

patch -p3 <<'EOF'
--- a/dockerfiles/splash/provision.sh
+++ b/dockerfiles/splash/provision.sh
@@ -124,7 +124,7 @@ install_official_qt () {
     curl -L -o /downloads/qt-installer.run \
                http://download.qt.io/official_releases/qt/5.9/5.9.1/qt-opensource-linux-x64-5.9.1.run && \
     chmod +x /downloads/qt-installer.run && \
-    xvfb-run /downloads/qt-installer.run \
+    DISPLAY=localhost:0.0 /downloads/qt-installer.run \
         --script /tmp/script.qs \
         | egrep -v '\[[0-9]+\] Warning: (Unsupported screen format)|((QPainter|QWidget))' && \
     ls /opt/qt59/ && \
@@ -139,7 +139,7 @@ install_qtwebkit () {
     curl -L -o /downloads/qtwebkit.tar.xz https://github.com/annulen/webkit/releases/download/qtwebkit-5.212.0-alpha2/qtwebkit-5.212.0_alpha2-qt59-linux-x64.tar.xz && \
     pushd /builds && \
     tar xvfJ /downloads/qtwebkit.tar.xz --keep-newer-files && \
-    rsync -aP /builds/qtwebkit-5.212.0_alpha2-qt59-linux-x64/* `qmake -query QT_INSTALL_PREFIX`
+    rsync -aP /builds/qtwebkit-5.212.0_alpha2-qt59-linux-x64/* `/opt/qt59/5.9.1/gcc_64/bin/qmake -query QT_INSTALL_PREFIX`
 }


@@ -164,8 +164,8 @@ install_pyqt5 () {
     # PyQt5
     tar xzf /downloads/pyqt5.tar.gz --keep-newer-files  && \
     pushd PyQt5_gpl-${SPLASH_PYQT_VERSION}  && \
-#        --qmake "${SPLASH_QT_PATH}/bin/qmake" \
     ${_PYTHON} configure.py -c \
+        --qmake "/opt/qt59/5.9.1/gcc_64/bin/qmake" \
         --verbose \
         --confirm-license \
         --no-designer-plugin \

EOF

sudo ./provision.sh \
           prepare_install \
           install_msfonts \
           install_extra_fonts \
           install_deps \
           install_flash \
           install_qtwebkit_deps \
           install_official_qt \
           install_qtwebkit \
           install_pyqt5 \
           install_python_deps

echo "/opt/qt59/5.9.1/gcc_64/lib/" | sudo tee /etc/ld.so.conf.d/qt59.conf > /dev/null
sudo ldconfig

オリジナル版ではヘッドレスなので Qt のインストール画面は出ないようになっていますが、今回はちゃんとした X Server を使うので以下のようなインストーラーの画面が表示（操作自体はスクリプトを指定しているので自動）されます。

この工程のどこかで引っかかるのかと思っていましたが、ハングすることもなくなぜかすんなり完了してしまいました。
詳細はよく分かりませんが、vxfb と Qt のインストーラーの相性が良くないということなのかもしれません。

最後に pip3 で splash をインストールします。dbus はいちおうここで止めておきます。

cd
sudo pip3 install splash/
sudo service dbus stop

これでインストールは完了です。

† Splash を起動してみる

きちんとインストールできていれば、以下のコマンドで Splash サーバが起動します。

python3 -m splash.server

Splash のデフォルトポートは 8050 なので、ブラウザで http://localhost:8050 にアクセスすれば Splash の画面が表示されるはずです。あとは URL 欄に好きな URL を入力して「Render ! 」をクリックすればサイトのサムネイルが生成されるはずです。

一つ一つは小さなことですが、ここまで来るまでいろいろ試行錯誤があって大変でした。

† 2018/6/22 追記

ld から libQt5Quick.so.5 が見つからないと以下のように怒られる場合があるようなので、/etc/ld.so.conf.d にパスを追加する手順を追加しました。

ImportError: libQt5Quick.so.5: cannot open shared object file: No such file or directory

18.04 に対してインストールを行う場合には以下の手順を使ってください。

Windows 10 上の Ubuntu 18.04 に Splash をインストールする

by hsur at 18:21 [5年前][4年前][3年前][2年前][1年前] |

こんな記事もあります「Qt Splash Ubuntu」

・ターミナル上に QR コードを表示する
・WSL の Ubuntu 18.04 に chrome と selenium 環境を作る
・WSL に CX-Checker を一撃でセットアップする
・WSL の Ubuntu 上に簡易な CA を立ててみた
・AWS が OpenJDK の LTS を無償で提供する？
・systemd を cron 代わりに使う
・wsltty で WSL のターミナルを使いやすくする
・Ubuntu 18.04 で autofs を設定してみる
・cron-apt で Ubuntu を自動アップデートする
・Ubuntu で静的 IP アドレスを使うには

トラックバックについて

Trackback URL:

お気軽にどうぞ。トラックバック前にポリシーをお読みください。[policy]

このエントリへのTrackbackにはこのURLが必要です→https://blog.cles.jp/item/10200

Trackbacks

このエントリにトラックバックはありません

Comments

愛のあるツッコミをお気軽にどうぞ。[policy]
古いエントリについてはコメント制御しているため、即時に反映されないことがあります。

にぽぽ (2018/06/15 18:17) <%HatenaAuth()%>

python3 -m splash.server

Traceback (most recent call last):
File "/usr/lib/python3.5/runpy.py", line 184, in _run_module_as_main
"__main__", mod_spec)
File "/usr/lib/python3.5/runpy.py", line 85, in _run_code
exec(code, run_globals)
File "/usr/local/lib/python3.5/dist-packages/splash/server.py", line 11, in <module>
from splash.qtutils import init_qt_app
File "/usr/local/lib/python3.5/dist-packages/splash/qtutils.py", line 15, in <module>
from PyQt5.QtWebKit import QWebSettings
ImportError: No module named 'PyQt5.QtWebKit'

上と全く同じようにしているのですが、
ここでエラーが出る理由を教えていただけると非常に助かります。

Comments Form

コメントは承認後の表示となります。
OpenIDでログインすると、即時に公開されます。

OpenID を使ってログインすることができます。

« Windows 10 上で X11 なアプリを動かす :: 5 月 27 日は「ドラゴンクエストの日」 »

サイト内検索

検索ワードランキング

へぇが多いエントリ

Authenticator を Google か... (1)

閲覧数が多いエントリ

1 . NTTドコモエラー38？(14146)
2 . Firefox 65+ で Tab をアドレスバーの下にするには(9911)
3 . 新元号はレジストリの変更でテスト可能だった(8407)
4 . 東海道新幹線の英語の車内アナウンスが車掌の肉声になっていた(7689)
5 . BIOS 起動の Windows を UEFI ブートに変換する(7037)

cles::blog

Windows 10 上の Ubuntu 16.04 に Splash をインストールする