Shell 命令行实现将一个站点页面全部下载到本地并替换其中链接的脚本

#!/bin/bash
echo '--开始下载首页--'
curl -s 'http://man.linuxde.net/par/5' > ./html/index.html
mh=./html/index.html
sl=$(nl $mh | grep '<div class="list_bd clearfix">' | head -1 | sed 's/^[    ]*//g' | cut -d ' ' -f1)
el=$(nl $mh | grep "<div class='paging'>" | head -1 | sed 's/^[  ]*//g' | cut -d ' ' -f1)
sed -n  "$sl","$el"'p' $mh > main.htm

echo '--开始下载内页--'
#<a href="
while read line; do
  url=$(echo $line | grep '<a href="' | sed 's/<div class="name"><a href="//g' | cut -d '"' -f1)
  if [[ -n $url ]]; then
    echo '--开始下载' $name '页面--'
    name=$(echo $url | cut -d '/' -f4)
    html='./html/'$name'.html'
    curl -s $url > $html
    # echo '--开始处理' $name '页面链接--'
    # sed -i 's/http:\/\/man\.linuxde\.net\//g' $html
  fi
done < main.htm

echo '--页面下载完成--'
echo '--处理页面链接--'

sed -i '' 's/http:\/\/man\.linuxde\.net\///g' $(grep -rl 'http://man.linuxde.net' ./html)
sed -i '' 's/" title="/\.html" title="/g' $(grep -rl '" title="' ./html)
echo '--链接处理完成--'

wget --mirror -p --convert-links -P ./ http://man.linuxde.net/