Bot name
Last detected
IPs known
7Siters/1.08
2019-07-10
0
admantx-adform/3.1
2020-09-18
24
admantx-eusyncbatch01/3.1
2019-10-02
1
admantx-sap/2.4
2019-07-13
0
AdsBot-Adsrvr
2019-10-29
1
adscanner/1.0
2019-10-02
4
adscanner/1.1
2020-03-17
4
AhrefsBot/5.2
2019-05-26
3
AhrefsBot/6.1
2020-09-23
680
aiHitBot/2.9
2020-08-09
2
Applebot/0.1
2020-06-10
435
archive.org_bot
2019-09-08
2
AwarioRssBot/1.0
2020-08-14
2
Baiduspider-image+
2019-10-24
42
Baiduspider-render/2.0
2020-09-23
256
Baiduspider/2.0
2020-09-23
468
Barkrowler/0.9
2019-07-04
8
bidswitchbot/1.0
2020-09-23
18
Bigsearch.ca/Nutch-1.0-dev
2019-05-18
0
bingbot/2.0
2020-09-23
1472
BingPreview/1.0b
2020-09-22
1340
bitlybot/3.0
2020-01-25
1
BLEXBot/1.0
2020-09-21
43
CATExplorador/1.0beta
2020-09-21
11
CheckMarkNetwork/1.0
2020-06-23
106
CipaCrawler/3.0
2020-02-08
5
Clarabot/1.4
2020-04-18
10
Cliqzbot/2.0
2019-08-13
44
Cliqzbot/3.0
2020-07-12
228
CloudFlare-AlwaysOnline/1.0
2020-02-23
1
coccocbot-image/1.0
2020-09-23
18
coccocbot-web/1.0
2020-09-22
23
CSS Certificate Spider
2019-08-01
0
datagnionbot
2020-09-02
1
Dataprovider.com
2020-09-10
63
Discordbot/2.0
2020-08-25
4
DomainCrawler/3.0
2019-08-26
10
DomainStatsBot/1.0
2020-09-08
5
DuckDuckBot-Https/1.1
2020-09-21
8
DuckDuckGo-Favicons-Bot/1.0
2020-09-23
3
E. Orliac, G. Fourestey/1.0
2019-08-27
0
evc-batch/2.0
2020-09-09
2
facebookexternalhit/1.0
2020-08-28
8
facebookexternalhit/1.1
2020-09-23
699
FastCrawler/4.9
2019-06-05
0
FeedlyBot/1.0
2020-01-10
1
FemtosearchBot/1.0
2020-06-23
5
GarlikCrawler/1.2
2020-09-10
1
GigablastOpenSource/1.0
2019-11-02
3
Gluten Free Crawler/1.0
2019-12-14
1
go-resty/2.0.0
2019-10-04
1
Google-Adwords-Instant
2020-07-07
3
Googlebot-Image/1.0
2020-09-23
442
Googlebot/2.1
2020-09-23
2631
Grahambot/0.1
2019-05-18
0
Grammarly/1.0
2019-11-09
0
GrapeshotCrawler/2.0
2020-09-23
49
Graydon bot/1.0
2020-09-05
1
HTTP Banner Detection
2020-09-22
4
ia_archiver
2020-09-20
13
Iframely/1.3.1
2019-08-19
0
InoopaBot/1.0
2019-08-07
1
istellabot/t.1.13
2019-08-01
3
JobboerseBot
2020-01-28
7
Jooblebot/2.0
2019-06-28
0
KomodiaBot/1.0
2020-09-07
6
LightspeedSystemsCrawler
2020-07-12
3
LinkedInBot/1.0
2019-10-01
2
LinkpadBot/1.12
2019-07-28
1
LinkpadBot/2.3
2019-10-10
0
LinkWalker/3.0
2020-08-16
1
LivelapBot/0.2
2019-06-27
0
looid.com Search Engine/0.1
2019-08-30
1
Mail.RU_Bot/2.0
2020-09-23
140
Mail.RU_Bot/Img/2.0
2020-01-20
13
Mail.RU_Bot/Robots/2.0
2020-09-23
17
Mediapartners-Google
2020-09-23
293
Mediatoolkitbot
2020-09-02
2
MegaIndex.ru/2.0
2020-09-09
7
MetaInspector/5.6.0
2019-12-05
1
MixnodeCache/1.8
2020-09-21
3
MJ12bot/v1.4.7
2019-07-20
2
MJ12bot/v1.4.8
2020-09-23
502
MojeekBot/0.6
2019-09-28
1
MojeekBot/0.7
2020-06-27
1
msnbot/2.0b
2020-05-01
641
netEstate NE Crawler
2020-09-10
3
NetpeakCheckerBot/3.2
2019-08-29
0
Nimbostratus-Bot/v1.3.2
2020-09-23
48
olbicobot/Nutch-1.15-SNAPSHOT
2019-12-28
2
Pandalytics/1.0
2020-09-19
29
PaperLiBot/2.1
2020-06-08
3
PartyflockLinkChecker/0.3
2019-10-30
1
pmoz.info ODP link checker
2020-07-03
1
Qwantify/2.4w
2020-05-18
67
Qwantify/Bleriot/1.1
2020-02-06
11
Qwantify/Bleriot/1.2.1
2019-10-03
0
Re-re Studio
2019-09-29
2
Researchscan/t12ca
2020-04-14
3
Researchscan/t12sns
2020-06-25
3
Researchscan/t13rl
2020-06-25
3
Scrapy/1.4.0
2020-08-20
5
Scrapy/1.5.0
2019-12-09
2
Scrapy/1.5.1
2020-03-07
2
Scrapy/1.5.2
2019-07-18
1
Scrapy/1.6.0
2019-08-13
3
Scrapy/1.7.2
2020-08-12
4
Scrapy/1.8.0
2020-03-16
2
Screaming Frog SEO Spider/11.2
2020-02-28
1
Screaming Frog SEO Spider/11.3
2019-10-02
0
Screaming Frog SEO Spider/12.2
2019-12-09
0
Screaming Frog SEO Spider/6.2
2019-11-20
0
Seekport Crawler
2020-09-08
38
SemrushBot-BA
2020-09-23
23
SemrushBot-SI/0.97
2019-09-30
0
SemrushBot/3~bl
2019-08-21
29
SemrushBot/6~bl
2020-09-23
58
serpstatbot/1.0
2020-05-31
26
SeznamBot/3.2
2020-09-23
144
SeznamBot/3.2-test1
2019-12-28
3
SiteCheckerBotCrawler/1.0
2019-10-16
0
SiteExplorer/1.1b
2019-05-20
1
Slackbot 1.0
2020-08-24
13
Slackbot-LinkExpanding 1.0
2020-08-24
33
SniffRSS/0.5beta
2019-05-18
0
Sogou web spider/4.0
2020-09-23
382
special_archiver/3.1.1
2020-09-19
5
startmebot/1.0
2020-09-23
800
Startpagina-Linkchecker/1.0
2020-09-23
2
Streamline3Bot/1.0
2019-09-29
1
SurdotlyBot/1.0
2020-09-11
68
The Knowledge AI
2020-09-09
4
Thither.Direct Bot/0.0.1
2019-06-14
0
TinEye-bot/1.31
2019-12-10
5
tracemyfile/1.0
2020-03-10
1
trendictionbot/0.5.0
2020-07-31
3
TweetmemeBot/4.0
2019-06-01
2
Twingly Recon
2019-05-18
0
Twitterbot/1.0
2020-09-21
9
Uptimebot/1.0
2019-06-27
177
Vagabondo/4.0
2020-06-18
7
Validator.nu/LV
2020-03-21
5
vebidoobot/1.0
2020-09-18
4
VelenPublicWebCrawler/1.0
2020-07-08
18
vuhuvBot/1.0
2020-08-31
3
W3C_Validator/1.3
2020-03-21
4
woorankreview/2.0
2020-07-11
54
Yahoo! Slurp
2020-08-28
14
Yandex/1.01.001
2019-05-18
0
YandexBot/3.0
2020-09-23
344
YandexImages/3.0
2020-09-23
32
YandexMobileBot/3.0
2020-09-10
34
YisouSpider
2020-09-04
41
