各種SEO服務及搜索引擎蜘蛛大(dà)全
1、AhrefsBot
AhrefsBot是一個(gè)國外的(de)搜索引擎蜘蛛。一個(gè)營銷網站的(de)爬取蜘蛛，負責分(fēn)析網站的(de)鏈接信息提供seo服務，這(zhè)個(gè)工具對(duì)于國内用(yòng)戶來(lái)說沒有用(yòng)。
2、Dotbot&Rogerbot
Dotbot是Moz的(de)web爬蟲程序，它爲Moz鏈接索引收集web數據。作用(yòng)是提供seo服務的(de)蜘蛛，通(tōng)過Dotbot收集的(de)這(zhè)些數據可(kě)以在mozpro活動、linkexplorer和(hé)Moz Links API的(de)Links部分(fēn)找到。Dotbot不同于Rogerbot，Rogerbot是我們用(yòng)于Moz Pro活動的(de)站點審計爬蟲。給中文站點帶來(lái)流量的(de)幾率很小。
3、SemrushBot，這(zhè)是semrush下(xià)面的(de)一個(gè)蜘蛛，是一家做(zuò)搜索引擎優化(huà)的(de)公司，因此它抓取網頁的(de)目的(de)就很明(míng)顯了(le)。這(zhè)種蜘蛛對(duì)網站沒有任何用(yòng)處，好在它還(hái)遵循robots協議(yì)，因此可(kě)以直接在robots屏蔽。
3、MJ12bot，這(zhè)是英國的(de)一個(gè)搜索引擎蜘蛛，但是對(duì)中文站站點就沒有用(yòng)處了(le)，遵循robots協議(yì)。
4、MegaIndex.ru，這(zhè)是一個(gè)提供反向鏈接查詢的(de)網站的(de)蜘蛛，因此它爬網站主要是分(fēn)析鏈接，并沒有什(shén)麽作用(yòng)。遵循robots協議(yì)。
5、BLEXBot, 這(zhè)個(gè)是webmeup下(xià)面的(de)蜘蛛，作用(yòng)是收集網站上面的(de)鏈接，對(duì)我們來(lái)說并沒有用(yòng)處。遵循robots協議(yì)
6、PetalBot華爲的(de)搜索引擎蜘蛛——花瓣蜘蛛。目前的(de)情況來(lái)看，華爲的(de)PetalBot蜘蛛對(duì)我們的(de)網站作用(yòng)是不大(dà)，如果你的(de)網站服務器性能比較差，這(zhè)個(gè)PetalBot蜘蛛可(kě)能會拖慢(màn)你的(de)網站速度，可(kě)以暫時(shí)屏蔽蜘蛛抓取。
7、Bytespider字節跳動的(de)蜘蛛爬蟲程序，現在很饑餓，爬取頻(pín)繁，如果服務器配置不高(gāo)也(yě)可(kě)以暫時(shí)屏蔽。