親愛的網友:
為確保您享有最佳的瀏覽體驗,建議您提升您的 IE 瀏覽器至最新版本,感謝您的配合。
新iPhone要來了
三星新產品發表
數位焦點
通訊世界
社群網路
3C生活
軟體情報
科技娛樂
電玩電競

Google希望為使用歷史超過25年的網路爬蟲機器人制定更嚴謹規範

2019-07-04 11:28楊又肇

Google稍早宣布,將針對1994年由荷蘭軟體工程師Martijn Koster提出的「Robot Exclusion Protocol (REP,網路爬蟲機器人協定)」提出真正標準。

分享

雖然過去25年以來,諸多網站與網路搜尋服務都是依照「REP」協定設計,透過存放在網站根目錄的robot.txt宣告哪些內容可以被網路爬蟲機器人擷取,以及擷取頻率,但實際上「REP」協定設計並不嚴謹,例如網站停擺時候如何讓網路爬蟲機器人運作,同時網路爬蟲機器人應該依照何種頻率抓取網站內容,避免造成網站伺服器負擔過重,或是無法即時抓取更新內容等,實際上並沒有一定規範。

因此,就Google稍早提出想法,除了將自身打造的網路爬蟲機器人Googlebot所使用「REP」解析器開源,藉此作為標準設計參考依據,並且期望能以此帶動讓「REP」協定設計能有更嚴謹、統一的標準。

雖然目前還沒有明確標準確定時程,同時也不代表未來將以Google提供版本為準,主要還是會考量不同類型網站使用需求微設計,藉此減少網路爬蟲機器人所產生問題,並且讓網路內容能更容易被網路搜尋服務適時、適當地擷取內容,進而讓更多人可透過搜尋引擎服務找到合適內容。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

Google機器人

楊又肇

聯合新聞網 (udn.com)數位頻道記者,同時身兼自由寫手與Mashdigi網站 (mashdigi.com)創辦者身分,平常喜歡電玩、科技類新品,以及軟體、網路相關內容,也喜歡隨手撰寫內容介紹新玩意。

更多數位新品、技術介紹與科技趨勢內容:https://mashdigi.com/

相關新聞

在月球用GPS定位? NASA:我們正在試!

2019-07-04 21:54

美國眾議院正式要求Facebook暫停加密貨幣Libra發展計畫

2019-07-04 12:03

掃蕩色情、怪力亂神的音訊服務 中國再次加強網路內容管制

2019-07-04 11:29

熱門文章

充電用這條「Lightning線」 一插駭客就能偷你資料

2019-08-18 18:04

把車牌改成空值「NULL」 會發生什麼事?

2019-08-18 16:28

賈伯斯曾看衰 蘋果觸控筆死灰復燃

2019-08-18 19:10

鈦合金Apple Card安全隱私 還能防彈

2019-08-18 20:30

明年新iPhone加速5G浪潮 蘋果自製5G晶片可期

2019-08-18 11:00

可能在海戰一發逆轉奇襲的潛水艇 終將正式加入《戰艦世界》

2019-08-18 12:41

白色皮革筆電太美了!華碩30周年限定版ZenBook閃耀登場

2019-08-18 16:57

羅技K580無線藍牙鍵盤 電腦手機跨平台一鍵切換

2019-08-18 12:50

商品推薦

贊助廣告

商品推薦

留言


Top