List of webbots

Download without IP addresses XML format JSON format CSV format

Download including IP addresses XML format JSON format CSV format

Bot name
Last detected
IPs known
 
3w24bot/1.2
2019-07-16
0
3w24bot/1.3
2019-07-12
0
7Siters/1.08
2019-07-10
0
AdAuth/1.0
2020-01-13
1
admantx-adform/3.1
2020-02-29
24
admantx-eusyncbatch01/3.1
2019-10-02
1
admantx-sap/2.4
2019-07-13
0
AdsBot-Adsrvr
2019-10-29
1
adscanner
2019-09-06
2
adscanner/1.0
2019-10-02
4
adscanner/1.1
2020-03-17
4
AhrefsBot/5.2
2019-05-26
3
AhrefsBot/6.1
2020-03-29
658
aiHitBot/2.9
2020-03-26
2
Applebot/0.1
2020-03-29
430
archive.org_bot
2019-09-08
2
AwarioRssBot/1.0
2019-08-30
2
Baidu Japan
2019-05-18
0
Baiduspider-image+
2019-10-24
42
Baiduspider-render/2.0
2020-03-25
246
Baiduspider/2.0
2020-03-28
363
Barkrowler/0.9
2019-07-04
8
bidswitchbot/1.0
2020-01-17
10
Bigsearch.ca/Nutch-1.0-dev
2019-05-18
0
bingbot/2.0
2020-03-29
1429
BingPreview/1.0b
2020-03-28
1255
bitlybot/3.0
2020-01-25
1
BLEXBot/1.0
2020-03-28
31
CATExplorador/1.0beta
2020-03-06
7
CCBot/2.0
2020-03-29
165
CheckMarkNetwork/1.0
2020-03-21
100
CipaCrawler/3.0
2020-02-08
5
Clarabot/1.4
2020-02-29
10
Cliqzbot/2.0
2019-08-13
44
Cliqzbot/3.0
2020-03-26
130
CloudFlare-AlwaysOnline/1.0
2020-02-23
1
CMS Crawler
2020-03-14
1
coccocbot-image/1.0
2020-03-28
18
coccocbot-web/1.0
2020-03-27
23
CSS Certificate Spider
2019-08-01
0
datagnionbot
2019-06-27
0
Dataprovider.com
2020-03-23
49
DataXu/1.0
2020-03-28
6
Diffbot/0.1
2020-01-18
5
Discordbot/2.0
2020-03-27
2
DomainCrawler/3.0
2019-08-26
10
DomainStatsBot/1.0
2020-03-28
4
DotBot/1.1
2020-03-29
20
DuckDuckBot-Https/1.1
2020-03-17
8
DuckDuckGo-Favicons-Bot/1.0
2020-03-28
2
E. Orliac, G. Fourestey/1.0
2019-08-27
0
evc-batch/2.0
2020-03-28
2
Exabot/3.0
2019-08-04
3
facebookexternalhit/1.0
2020-03-07
4
facebookexternalhit/1.1
2020-03-28
488
FastCrawler/4.9
2019-06-05
0
Feedly/1.0
2020-03-28
4
FeedlyBot/1.0
2020-01-10
1
FemtosearchBot/1.0
2019-09-12
5
GarlikCrawler/1.2
2020-01-31
1
GigablastOpenSource/1.0
2019-11-02
3
Gluten Free Crawler/1.0
2019-12-14
1
go-resty/2.0.0
2019-10-04
1
Google-Adwords-Instant
2019-10-15
0
Googlebot-Image/1.0
2020-03-28
280
Googlebot/2.1
2020-03-29
2013
Grahambot/0.1
2019-05-18
0
Grammarly/1.0
2019-11-09
0
GrapeshotCrawler/2.0
2020-03-28
33
Graydon bot/1.0
2020-03-20
1
HTTP Banner Detection
2020-03-28
4
ia_archiver
2020-03-04
4
IAS crawler
2020-03-03
4
Iframely/1.3.1
2019-08-19
0
InoopaBot/1.0
2019-08-07
1
istellabot/t.1.13
2019-08-01
3
JobboerseBot
2020-01-28
7
Jooblebot/2.0
2019-06-28
0
KOCMOHABT
2019-12-20
13
KomodiaBot/1.0
2019-12-21
6
LightspeedSystemsCrawler
2020-02-01
3
Linguee Bot
2019-11-12
1
LinkedInBot/1.0
2019-10-01
2
LinkpadBot/1.12
2019-07-28
1
LinkpadBot/2.3
2019-10-10
0
LinkWalker/3.0
2019-08-15
0
LivelapBot/0.2
2019-06-27
0
looid.com Search Engine/0.1
2019-08-30
1
ltx71
2020-03-27
5
Mail.RU_Bot/2.0
2020-03-28
133
Mail.RU_Bot/Img/2.0
2020-01-20
13
Mail.RU_Bot/Robots/2.0
2020-03-19
15
Mappy/1.0
2019-10-05
1
MauiBot
2019-09-09
2
Mediapartners-Google
2020-03-29
204
Mediatoolkitbot
2019-06-27
0
meg/0.2
2019-10-14
0
MegaIndex.ru/2.0
2020-03-21
7
MetaInspector/5.6.0
2019-12-05
1
MixnodeCache/1.8
2020-03-23
3
MJ12bot/v1.4.7
2019-07-20
2
MJ12bot/v1.4.8
2020-03-29
417
MojeekBot/0.6
2019-09-28
1
MojeekBot/0.7
2020-03-21
1
msnbot/2.0b
2020-03-29
597
netEstate NE Crawler
2020-03-02
3
NetpeakCheckerBot/3.2
2019-08-29
0
Nimbostratus-Bot/v1.3.2
2020-03-28
48
Nmap Scripting Engine
0
oBot/2.3.1
2020-03-18
22
olbicobot/Nutch-1.15-SNAPSHOT
2019-12-28
2
Pandalytics/1.0
2020-03-27
16
panscient
2020-01-15
2
PaperLiBot/2.1
2019-06-27
0
PartyflockLinkChecker/0.3
2019-10-30
1
pmoz.info ODP link checker
2020-01-23
1
proximic
2020-03-27
377
Qwantify/2.4w
2020-01-09
67
Qwantify/Bleriot/1.1
2020-02-06
11
Qwantify/Bleriot/1.2.1
2019-10-03
0
Re-re Studio
2019-09-29
2
Researchscan/t12ca
2020-03-27
3
Researchscan/t12sns
2020-03-27
3
Researchscan/t13rl
2020-03-27
3
Riddler
2020-03-25
1
RSSingBot
2019-10-11
0
SafeDNSBot
2020-03-17
3
Scrapy/1.4.0
2020-02-28
2
Scrapy/1.5.0
2019-12-09
2
Scrapy/1.5.1
2020-03-07
2
Scrapy/1.5.2
2019-07-18
1
Scrapy/1.6.0
2019-08-13
3
Scrapy/1.7.2
2020-02-11
1
Scrapy/1.8.0
2020-03-16
2
Screaming Frog SEO Spider/11.2
2020-02-28
1
Screaming Frog SEO Spider/11.3
2019-10-02
0
Screaming Frog SEO Spider/12.2
2019-12-09
0
Screaming Frog SEO Spider/6.2
2019-11-20
0
Seekport Crawler
2020-03-27
23
SemrushBot-BA
2020-03-26
12
SemrushBot-SI/0.97
2019-09-30
0
SemrushBot/3~bl
2019-08-21
29
SemrushBot/6~bl
2020-03-29
29
SEOkicks
2020-03-27
8
serpstatbot/1.0
2020-03-29
21
SeznamBot/3.2
2020-03-28
144
SeznamBot/3.2-test1
2019-12-28
3
SiteCheckerBotCrawler/1.0
2019-10-16
0
SiteExplorer/1.1b
2019-05-20
1
Slackbot 1.0
2020-03-25
9
Slackbot-LinkExpanding 1.0
2020-03-25
22
SMTBot/1.0
2020-03-08
3
SniffRSS/0.5beta
2019-05-18
0
Sogou web spider/4.0
2020-03-28
226
special_archiver/3.1.1
2019-08-28
0
SpiderLing
2019-10-21
0
startmebot/1.0
2020-03-28
542
Startpagina-Linkchecker/1.0
2020-03-28
2
Streamline3Bot/1.0
2019-09-29
1
SurdotlyBot/1.0
2020-03-25
41
The Knowledge AI
2019-10-17
1
Thither.Direct Bot/0.0.1
2019-06-14
0
TinEye-bot/1.31
2019-12-10
5
tracemyfile/1.0
2020-03-10
1
trendictionbot/0.5.0
2020-02-02
3
TurnitinBot
2019-12-15
2
TweetmemeBot/4.0
2019-06-01
2
Twingly Recon
2019-05-18
0
Twitterbot/1.0
2020-03-21
8
Uptimebot/1.0
2019-06-27
177
Vagabondo/4.0
2020-03-27
7
Validator.nu/LV
2020-03-21
5
vebidoobot/1.0
2020-03-22
4
VelenPublicWebCrawler/1.0
2020-03-26
11
vuhuvBot/1.0
2020-02-07
2
W3C_Validator/1.3
2020-03-21
4
WbSrch/1.1
2019-06-26
1
woorankreview/2.0
2019-12-04
41
Wotbox/2.01
2019-10-06
0
XenForo/2.x
2019-09-24
0
yacybot
2019-05-18
0
Yahoo! Slurp
2020-03-07
6
YaK/1.0
2020-03-08
12
Yandex/1.01.001
2019-05-18
0
YandexBot/3.0
2020-03-28
187
YandexImages/3.0
2020-03-28
17
YandexMobileBot/3.0
2020-02-06
7
YisouSpider
2020-03-23
17
ZoomBot
2019-10-19
0