親愛的網友:
為確保您享有最佳的瀏覽體驗,建議您提升您的 IE 瀏覽器至最新版本,感謝您的配合。
數位焦點
通訊世界
社群網路
3C生活
軟體情報
科技娛樂
電玩電競

解析遠航財務危機:張綱維財務槓桿玩太大

Google希望為使用歷史超過25年的網路爬蟲機器人制定更嚴謹規範

2019-07-04 11:28楊又肇

Google稍早宣布,將針對1994年由荷蘭軟體工程師Martijn Koster提出的「Robot Exclusion Protocol (REP,網路爬蟲機器人協定)」提出真正標準。

分享

雖然過去25年以來,諸多網站與網路搜尋服務都是依照「REP」協定設計,透過存放在網站根目錄的robot.txt宣告哪些內容可以被網路爬蟲機器人擷取,以及擷取頻率,但實際上「REP」協定設計並不嚴謹,例如網站停擺時候如何讓網路爬蟲機器人運作,同時網路爬蟲機器人應該依照何種頻率抓取網站內容,避免造成網站伺服器負擔過重,或是無法即時抓取更新內容等,實際上並沒有一定規範。

因此,就Google稍早提出想法,除了將自身打造的網路爬蟲機器人Googlebot所使用「REP」解析器開源,藉此作為標準設計參考依據,並且期望能以此帶動讓「REP」協定設計能有更嚴謹、統一的標準。

雖然目前還沒有明確標準確定時程,同時也不代表未來將以Google提供版本為準,主要還是會考量不同類型網站使用需求微設計,藉此減少網路爬蟲機器人所產生問題,並且讓網路內容能更容易被網路搜尋服務適時、適當地擷取內容,進而讓更多人可透過搜尋引擎服務找到合適內容。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

Google機器人

延伸閱讀

抽iPhone誘導填個資 警:趕快到銀行換卡

傳HP、Dell生產將自中國移至台灣 宏碁華...

「台北黑體」繁中字型免費下載 更適合印刷的字...

Google申請G Nest名稱商標,可能將...

楊又肇

聯合新聞網 (udn.com)數位頻道記者,同時身兼自由寫手與Mashdigi網站 (mashdigi.com)創辦者身分,平常喜歡電玩、科技類新品,以及軟體、網路相關內容,也喜歡隨手撰寫內容介紹新玩意。

更多數位新品、技術介紹與科技趨勢內容:https://mashdigi.com/

相關新聞

在月球用GPS定位? NASA:我們正在試!

2019-07-04 21:54

美國眾議院正式要求Facebook暫停加密貨幣Libra發展計畫

2019-07-04 12:03

掃蕩色情、怪力亂神的音訊服務 中國再次加強網路內容管制

2019-07-04 11:29

熱門文章

Intel道歉了!CPU面臨大缺貨 不得不走回頭路

2019-12-11 22:25

雙12果粉瘋換機!五電信推iPhone優惠 0元新機帶回家

2019-12-12 11:37

手機電量10%掉超快、1%卻異常耐用?解析手機電池的判定準則

2019-12-12 15:56

iOS 13.3暗示 蘋果準備推出新款Powerbeats 4耳機

2019-12-12 09:06

郭明錤:明年iPhone重新設計 金屬中框售價不會提升

2019-12-12 08:35

OPPO確認Reno 3系列將於12/26揭曉 新款真無線耳機同步亮相

2019-12-12 09:02

小島秀夫可能與Konami洽談 重新打造《沉默之丘》系列作品

2019-12-12 08:59

WD在台推出 對應NAS裝置快取使用的Red SSD等新品

2019-12-12 08:59

商品推薦

贊助廣告

商品推薦

留言


Top