サイトのデータを丸ごと落としたい
たまにありますが、サイトのデータを丸ごと落としたくなりました。
wgetというLinuxのコマンドを使うと再帰的にデータの取得ができますのでこれを使います。
環境はWindowsとMacしかないので、Macで作業した時のメモです。
wgetを探す
まず、Macにはwgetがあるのかというところですが、ありません。
代わりにcurlというコマンドがあります。
これは再帰的にデータを取得できません。
curl vs Wget（日本語翻訳）
homebrewをinstall
wgetをinstallします。
の前に、wgetをinstallできるようにhomebrewをinstallする必要があります。
よくあることですが、lilunxなどで新しいものを入れようとする際には依存関係がある場合があります。
そこで躓くことも大変よくあることです。
homebrewとは『Homebrewではアップル（またはあなたのLinuxシステム）が提供していないあなたの必要なものをインストールできます。』
という大変ありがたいものです。
Homebrew macOS（またはLinux）用パッケージマネージャー
ターミナルの作業に入ります。
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
と入力すると書いてありましたが、少し古い情報だったようです。
installの途中で
Warning: The Ruby Homebrew installer is now deprecated and has been rewritten in Bash. Please migrate to the following command:
とインストーラーがrubyからbashに書き換わったというメッセージが出ましたので、
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"
こちらのコマンドを入力で良さそうです。rubyのコマンドでもbashのコマンドが動くようにはなっています。
パスワード入力を求められますので、Macのログインアカウントのパスワードを入力します。
homebrew installでエラー
"Downloading and installing Homebrew..."の後にエラーが発生しました。
Error:
homebrew-core is a shallow clone.
To `brew update`, first run:
git -C /usr/local/Homebrew/Library/Taps/homebrew/homebrew-core fetch --unshallow
This command may take a few minutes to run due to the large size of the repository.
This restriction has been made on GitHub's request because updating shallow
clones is an extremely expensive operation due to the tree layout and traffic of
Homebrew/homebrew-core and Homebrew/homebrew-cask. We don't do this for you
automatically to avoid repeatedly performing an expensive unshallow operation in
CI systems (which should instead be fixed to not use shallow clones). Sorry for
the inconvenience!
gitにソースが置いてあるようですがshallow cloneなのでまずは次のコマンドを先にやってください。
とのことです。
サイズが大きいので時間がかかります。
フリーズしたように見えますが、しばらくそっとしておいてください。
/git -C /usr/local/Homebrew/Library/Taps/homebrew/homebrew-core fetch --unshallow
この後、念の為にバージョンを確認してみました
brew --version
Homebrew 2.7.5-43-g1525350
Homebrew/homebrew-core (git revision bbafc; last commit 2017-09-21)
ということで、installは進んでいるようです
brew update
の後にたくさんのコマンドのリストが表示されて完了です。
wgetをinstall
最後に目的のwgetをinstallします
brew install wget
いくつかの必要なコマンドとともにwgetがinsallされます。
