crontab如何自动周期性地访问某一个网页

本文最后更新于2014年6月24日,已超过 1 年没有更新,如果文章内容失效,还请反馈给我,谢谢!

问题:crontab如何自动周期性地访问某一个网页

例如:http://ixyzero.com/zhihu/ 是一个当有访问的时候才会执行抓取任务并更新数据库的页面,可否让crontab每天的几点自动访问一下这个网页?

解决方法:
lynx -source http://ixyzero.com/zhihu/ >/dev/null 2>&1

或者

wget -q --spider http://ixyzero.com/zhihu/

应用到Crontab

例如每天10点自动访问下面的网页!
#crontab -e

0 10 * * * lynx -source http://ixyzero.com/zhihu/index.php >/dev/null 2>&1

或者

0 10 * * * wget -q --spider http://ixyzero.com/zhihu/index.php

——-

命令及其选项的解释:

lynx -source http://ixyzero.com/zhihu/ >/dev/null 2>&1
# -source
works the same as dump but outputs HTML source instead of formatted text.
# -dump
dumps the formatted output of the default document or those specified on the command line to standard output. Unlike interactive mode, all documents are processed. This can be used in the following way:
lynx -dump http://www.subir.com/lynx.html

wget -q –spider http://ixyzero.com/zhihu/
# -q[–quiet]
Turn off Wget’s output.
# –spider
Wget will behave as a Web spider, wich means that it will not download the pages, just check that they are there.(This feature needs much more work for Wget to get close to the functionality of real web spiders.)

 

参考文章:

http://lxsym.blog.51cto.com/1364623/480940

声明: 除非注明,ixyzero.com文章均为原创,转载请以链接形式标明本文地址,谢谢!
https://ixyzero.com/blog/archives/64.html

《crontab如何自动周期性地访问某一个网页》上的一个想法

发表评论

电子邮件地址不会被公开。 必填项已用*标注