楼上说的很多,我补(bu)充(chong)一下(xia),正确的应该叫网(wang)络蜘(zhi)蛛,又(you)称爬(pa)虫,本质是搜索引擎(qing)派出的一个执行抓取任(ren)务的程序(xu)蜘蛛(zhu)池的(de)本(ben)质是(shi)大量(liang)的网站互相(xiang)链(lian)接,每个站单独产(chan)生大量的(de)内容(rong)吸引蜘蛛来爬,几千个网站(zhan)互(hu)链时(shi),可(ke)以想象(xiang)蜘蛛的链接
Copyright © 2008-2018