首页 最新文章网站服务器Shell正文

查找网页上无效链接的脚本

imitker Shell 1765 0


#!/bin/bash
#name:find_broken.sjh
#查找网站中的无效链接

if [ $# -eq 2 ];
then
    echo -e "$Usage $0 URL\n"
    exit -1;
fi

echo Broken links:

mkdir /tmp/$$.lynx

cd /tmp/$$.lynx

lynx -traversal $1 > /dev/null
count=0;
sort -u reject.dat > links.txt

while read link;
do
    output=`curl -I $link -s | grep "http/.*OK"`;
    if [[ -z $output ]];
    then
        echo $link;
        let count++
    fi
    
 done > links.txt
 
 [ $count -eq 0 ] && echo No broken links find.


评论

百度搜索

站点信息

  • 文章总数:508
  • 页面总数:7
  • 分类总数:29
  • 标签总数:861
  • 评论总数:285
  • 浏览总数:653970
Copyright ©2019-2020.Powered by©刘相涛 辽ICP备14000512号-5