List of webbots

Download without IP addresses XML format JSON format CSV format

Download including IP addresses XML format JSON format CSV format

Bot name
Last detected
IPs known
 
3w24bot/1.2
2019-07-16
0
3w24bot/1.3
2019-07-12
0
7Siters/1.08
2019-07-10
0
AdAuth/1.0
2020-06-30
1
admantx-adform/3.1
2020-02-29
24
admantx-eusyncbatch01/3.1
2019-10-02
1
admantx-sap/2.4
2019-07-13
0
AdsBot-Adsrvr
2019-10-29
1
adscanner
2019-09-06
2
adscanner/1.0
2019-10-02
4
adscanner/1.1
2020-03-17
4
AhrefsBot/5.2
2019-05-26
3
AhrefsBot/6.1
2020-07-08
677
aiHitBot/2.9
2020-06-25
2
Applebot/0.1
2020-06-10
435
archive.org_bot
2019-09-08
2
AwarioRssBot/1.0
2020-07-02
2
Baidu Japan
2019-05-18
0
Baiduspider-image+
2019-10-24
42
Baiduspider-render/2.0
2020-07-02
254
Baiduspider/2.0
2020-07-08
370
Barkrowler/0.9
2019-07-04
8
bidswitchbot/1.0
2020-07-07
14
Bigsearch.ca/Nutch-1.0-dev
2019-05-18
0
bingbot/2.0
2020-07-08
1449
BingPreview/1.0b
2020-07-08
1309
bitlybot/3.0
2020-01-25
1
BLEXBot/1.0
2020-07-07
34
CATExplorador/1.0beta
2020-07-02
10
CCBot/2.0
2020-07-08
207
CheckMarkNetwork/1.0
2020-06-23
106
CipaCrawler/3.0
2020-02-08
5
Clarabot/1.4
2020-04-18
10
Cliqzbot/2.0
2019-08-13
44
Cliqzbot/3.0
2020-06-28
227
CloudFlare-AlwaysOnline/1.0
2020-02-23
1
CMS Crawler
2020-03-14
1
coccocbot-image/1.0
2020-07-07
18
coccocbot-web/1.0
2020-07-01
23
CSS Certificate Spider
2019-08-01
0
datagnionbot
2020-06-08
1
Dataprovider.com
2020-07-07
56
DataXu/1.0
2020-07-03
6
Diffbot/0.1
2020-07-07
7
Discordbot/2.0
2020-05-23
4
DomainCrawler/3.0
2019-08-26
10
DomainStatsBot/1.0
2020-07-07
4
DotBot/1.1
2020-07-08
20
DuckDuckBot-Https/1.1
2020-03-17
8
DuckDuckGo-Favicons-Bot/1.0
2020-07-07
3
E. Orliac, G. Fourestey/1.0
2019-08-27
0
evc-batch/2.0
2020-07-04
2
Exabot/3.0
2019-08-04
3
facebookexternalhit/1.0
2020-07-01
5
facebookexternalhit/1.1
2020-07-08
657
FastCrawler/4.9
2019-06-05
0
Feedly/1.0
2020-07-08
4
FeedlyBot/1.0
2020-01-10
1
FemtosearchBot/1.0
2020-06-23
5
GarlikCrawler/1.2
2020-06-04
1
GigablastOpenSource/1.0
2019-11-02
3
Gluten Free Crawler/1.0
2019-12-14
1
go-resty/2.0.0
2019-10-04
1
Google-Adwords-Instant
2020-07-07
3
Googlebot-Image/1.0
2020-07-07
363
Googlebot/2.1
2020-07-08
2381
Grahambot/0.1
2019-05-18
0
Grammarly/1.0
2019-11-09
0
GrapeshotCrawler/2.0
2020-07-08
33
Graydon bot/1.0
2020-06-27
1
HTTP Banner Detection
2020-07-08
4
ia_archiver
2020-06-03
4
IAS crawler
2020-03-03
4
Iframely/1.3.1
2019-08-19
0
InoopaBot/1.0
2019-08-07
1
istellabot/t.1.13
2019-08-01
3
JobboerseBot
2020-01-28
7
Jooblebot/2.0
2019-06-28
0
KOCMOHABT
2019-12-20
13
KomodiaBot/1.0
2020-06-29
6
LightspeedSystemsCrawler
2020-04-22
3
Linguee Bot
2020-06-16
4
LinkedInBot/1.0
2019-10-01
2
LinkpadBot/1.12
2019-07-28
1
LinkpadBot/2.3
2019-10-10
0
LinkWalker/3.0
2019-08-15
0
LivelapBot/0.2
2019-06-27
0
looid.com Search Engine/0.1
2019-08-30
1
ltx71
2020-07-06
6
Mail.RU_Bot/2.0
2020-07-05
134
Mail.RU_Bot/Img/2.0
2020-01-20
13
Mail.RU_Bot/Robots/2.0
2020-07-03
15
Mappy/1.0
2019-10-05
1
MauiBot
2019-09-09
2
Mediapartners-Google
2020-07-08
245
Mediatoolkitbot
2019-06-27
0
meg/0.2
2020-06-03
1
MegaIndex.ru/2.0
2020-07-08
7
MetaInspector/5.6.0
2019-12-05
1
MixnodeCache/1.8
2020-07-06
3
MJ12bot/v1.4.7
2019-07-20
2
MJ12bot/v1.4.8
2020-07-08
472
MojeekBot/0.6
2019-09-28
1
MojeekBot/0.7
2020-06-27
1
msnbot/2.0b
2020-05-01
641
netEstate NE Crawler
2020-07-06
3
NetpeakCheckerBot/3.2
2019-08-29
0
Nimbostratus-Bot/v1.3.2
2020-07-08
48
Nmap Scripting Engine
0
oBot/2.3.1
2020-07-04
28
olbicobot/Nutch-1.15-SNAPSHOT
2019-12-28
2
Pandalytics/1.0
2020-07-04
23
panscient
2020-06-15
3
PaperLiBot/2.1
2020-06-08
3
PartyflockLinkChecker/0.3
2019-10-30
1
pmoz.info ODP link checker
2020-07-03
1
proximic
2020-07-08
526
Qwantify/2.4w
2020-05-18
67
Qwantify/Bleriot/1.1
2020-02-06
11
Qwantify/Bleriot/1.2.1
2019-10-03
0
Re-re Studio
2019-09-29
2
Researchscan/t12ca
2020-04-14
3
Researchscan/t12sns
2020-06-25
3
Researchscan/t13rl
2020-06-25
3
Riddler
2020-03-25
1
RSSingBot
2019-10-11
0
SafeDNSBot
2020-03-17
3
Scrapy/1.4.0
2020-07-01
3
Scrapy/1.5.0
2019-12-09
2
Scrapy/1.5.1
2020-03-07
2
Scrapy/1.5.2
2019-07-18
1
Scrapy/1.6.0
2019-08-13
3
Scrapy/1.7.2
2020-07-08
3
Scrapy/1.8.0
2020-03-16
2
Screaming Frog SEO Spider/11.2
2020-02-28
1
Screaming Frog SEO Spider/11.3
2019-10-02
0
Screaming Frog SEO Spider/12.2
2019-12-09
0
Screaming Frog SEO Spider/6.2
2019-11-20
0
Seekport Crawler
2020-07-02
32
SemrushBot-BA
2020-07-07
14
SemrushBot-SI/0.97
2019-09-30
0
SemrushBot/3~bl
2019-08-21
29
SemrushBot/6~bl
2020-07-08
29
SEOkicks
2020-07-03
8
serpstatbot/1.0
2020-05-31
26
SeznamBot/3.2
2020-07-08
144
SeznamBot/3.2-test1
2019-12-28
3
SiteCheckerBotCrawler/1.0
2019-10-16
0
SiteExplorer/1.1b
2019-05-20
1
Slackbot 1.0
2020-06-06
11
Slackbot-LinkExpanding 1.0
2020-06-25
31
SMTBot/1.0
2020-07-04
3
SniffRSS/0.5beta
2019-05-18
0
Sogou web spider/4.0
2020-07-07
326
special_archiver/3.1.1
2020-07-05
2
SpiderLing
2019-10-21
0
startmebot/1.0
2020-07-08
699
Startpagina-Linkchecker/1.0
2020-07-07
2
Streamline3Bot/1.0
2019-09-29
1
SurdotlyBot/1.0
2020-07-04
59
The Knowledge AI
2020-05-13
3
Thither.Direct Bot/0.0.1
2019-06-14
0
TinEye-bot/1.31
2019-12-10
5
tracemyfile/1.0
2020-03-10
1
trendictionbot/0.5.0
2020-07-07
3
TurnitinBot
2020-05-16
3
TweetmemeBot/4.0
2019-06-01
2
Twingly Recon
2019-05-18
0
Twitterbot/1.0
2020-06-30
9
Uptimebot/1.0
2019-06-27
177
Vagabondo/4.0
2020-06-18
7
Validator.nu/LV
2020-03-21
5
vebidoobot/1.0
2020-06-20
4
VelenPublicWebCrawler/1.0
2020-06-26
17
vuhuvBot/1.0
2020-07-03
3
W3C_Validator/1.3
2020-03-21
4
WbSrch/1.1
2019-06-26
1
woorankreview/2.0
2020-05-12
47
Wotbox/2.01
2019-10-06
0
XenForo/2.x
2019-09-24
0
yacybot
2019-05-18
0
Yahoo! Slurp
2020-07-04
9
YaK/1.0
2020-07-03
16
Yandex/1.01.001
2019-05-18
0
YandexBot/3.0
2020-07-08
245
YandexImages/3.0
2020-07-08
22
YandexMobileBot/3.0
2020-07-07
18
YisouSpider
2020-07-03
27
ZoomBot
2020-06-16
2