設計爬蟲時，通常都回避動態(tài)網(wǎng)頁(如Charkabarti，Joshi，Punera，&Pennock，2002)。識別動態(tài)網(wǎng)頁時，只需要看URL中是否出現(xiàn)問號，含問號的就是動態(tài)網(wǎng)頁。忽略動態(tài)網(wǎng)頁是因為它們容易造成蜘蛛陷阱。蜘蛛陷阱理論上是一個無限的網(wǎng)頁集合，而蜘蛛永遠不能完整地遍歷這個集合。在線日歷就是一個容易被忽略的蜘蛛陷阱，它生成的動態(tài)網(wǎng)頁中可以標上任何日期，并包含指向后一天網(wǎng)頁的鏈接。一個爬蟲從這個日歷中找到一個網(wǎng)頁后，便會無止境地請求后一天的網(wǎng)頁。
動態(tài)的頁面（url）屬于蜘蛛陷阱，搜索引擎蜘蛛一旦爬行進入，很有可能會出不來、或是難以流暢的抓取，所以建議網(wǎng)頁一定是靜態(tài)或是經過偽靜態(tài)處理的
本站文章均為永諾網(wǎng)站建設摘自權威資料，書籍，或網(wǎng)絡原創(chuàng)文章，如有版權糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉載，我們謝絕直接復制和抄襲！感謝...
猜你喜歡
聯(lián)絡方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
開發(fā)一款商城賣貨app
1、開發(fā)一款商城APP軟件的首先是針對什么類型的商城，如果是功能比較全的，例如下面的軟件功能，屬于的商城類的多分類APP。 2、先把開發(fā)的APP軟件功能規(guī)劃好，商城功能的板...
-
網(wǎng)站設計-個人網(wǎng)站導航模塊設計極為重要
現(xiàn)在是一個互聯(lián)網(wǎng)風靡的時代，網(wǎng)絡已經成為人們生活中不可缺少的一部分了。而互聯(lián)網(wǎng)又是一個由很多個網(wǎng)站共同組成的大整體，所以說只有這些網(wǎng)站的質量高了，那么整個的網(wǎng)絡環(huán)...
-
體育應用軟件開發(fā)解決方案
當今社會智能手機的普及，移動互聯(lián)網(wǎng)的發(fā)展，各種的賽事體育項目也搬到了手機直播上，給廣體育愛好者帶來了很多的便利。通過手機就能觀看直播比賽，還有回訪的功能。APP軟件也...
-
懸賞任務平臺小程序軟件開發(fā)定制
任務懸賞小程序軟件以賞金激勵用戶，用戶做完任務后為了得到更多的傭金就會按照自己的想法拉人，帶人。懸賞app軟件也有分銷推廣鏈接，每個用戶都有自己的專屬ID，通過不同的鏈...
-
教務管理小程序開發(fā)+公眾號開發(fā)
一、功能介紹 教務管理系統(tǒng)分為小程序三個子系統(tǒng)，三個子系統(tǒng)分別是管理員系統(tǒng)，教師系統(tǒng)和學生系統(tǒng)，分別對應不同的的權限角色：管理員，教師，學生。 1、管理員系統(tǒng)：管理...
