Zenn
Open25

Mastodonに来たBotたち（気づいたら更新する）

Kumasun MorinoKumasun Morino

AhrefsBot

シンガポールのマーケティング会社のスパイダー

"GET /about/more HTTP/2.0" 403 122 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
Kumasun MorinoKumasun Morino

Poduptime

Dispora開発元が運営していると思われるディレクトリサービスのスパイダー

頻度： 1時間おき

"GET /.well-known/nodeinfo HTTP/2.0" 200 118 "-" "Poduptime/Production from https://fediverse.observer"
"GET /nodeinfo/2.0 HTTP/2.0" 200 180 "-" "Poduptime/Production from https://fediverse.observer"
Kumasun MorinoKumasun Morino

mastodon-user-index

素性不明
ユーザーディレクトリをがっつり持っていく

頻度： 20～30分おき

"GET /api/v1/directory?order=new&local=true&limit=2000 HTTP/2.0" 200 2239 "-" "mastodon-user-index"
"GET /api/v1/directory?order=new&local=true&limit=2000 HTTP/2.0" 200 2239 "-" "mastodon-user-index"
"GET /api/v1/directory?order=new&local=false&limit=2000 HTTP/2.0" 200 28604 "-" "mastodon-user-index"
"GET /api/v1/directory?order=new&local=true&limit=2000 HTTP/2.0" 200 2239 "-" "mastodon-user-index"
"GET /api/v1/directory?order=new&local=false&limit=2000 HTTP/2.0" 200 28604 "-" "mastodon-user-index"
"GET /api/v1/directory?order=active&local=false&limit=2000 HTTP/2.0" 200 31299 "-" "mastodon-user-index"
Kumasun MorinoKumasun Morino

mastodonpy

おそらくMastodon.pyというライブラリを使ったアクセス

"GET /api/v1/instance/ HTTP/2.0" 200 1904 "-" "mastodonpy"
"GET /api/v1/timelines/public?since_id=109471214436583702&limit=10000&local=1 HTTP/2.0" 200 28 "-" "mastodonpy"
Kumasun MorinoKumasun Morino

python/federation

おそらくPythonのFederationというライブラリを使ったアクセス

"GET /api/v1/instance HTTP/2.0" 200 1904 "-" "python/federation/0.20.0-dev"
"GET /about HTTP/2.0" 200 7326 "-" "python/federation/0.20.0-dev"
"GET /api/v1/instance/activity HTTP/2.0" 200 174 "-" "python/federation/0.20.0-dev"
Kumasun MorinoKumasun Morino

PetalBot

中国HuaweiのWebスパイダー

"GET /media/jwfq9w4If-MhU8y44ZU HTTP/2.0" 403 122 "https://example.jp/%40someuser/with_replies?max_id=103361643109655118" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"
Kumasun MorinoKumasun Morino

Sogou web spider

中国Sogou.comのWebスパイダー

"GET /about HTTP/2.0" 200 7322 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Kumasun MorinoKumasun Morino

tm_twitter

素性不明
ライブラリか？

"GET /api/v1/timelines/public?local=true&limit=40&min_id=109471214493966746 HTTP/2.0" 200 28 "-" "Ruby, tm_twitter 0.2"
Kumasun MorinoKumasun Morino

MastodonInstances

Mastodon.xyzのメンテナが運営していると思われるディレクトリサービスのスパイダー

頻度： instanceについては1時間おき、peersとactivityは1日おき？

"GET /api/v1/instance HTTP/2.0" 200 1904 "-" "MastodonInstances (https://instances.social)"
"GET /api/v1/instance/peers HTTP/2.0" 200 34472 "-" "MastodonInstances (https://instances.social)"
"GET /api/v1/instance/activity HTTP/2.0" 200 175 "-" "MastodonInstances (https://instances.social)"
Kumasun MorinoKumasun Morino

DotBot

米国のSEO会社、Mozのスパイダー

"GET /@someuser/108904786110195083 HTTP/2.0" 403 122 "-" "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"
Kumasun MorinoKumasun Morino

CensysInspect

米国のセキュリティ会社のスパイダー

HTTP/2のPRIメソッドを投げてくるのは珍しい

"GET / HTTP/1.1" 200 612 "-" "-"
"GET / HTTP/1.1" 200 396 "-" "Mozilla/5.0 (compatible; CensysInspect/1.1; +https://about.censys.io/)"
"PRI * HTTP/2.0" 400 166 "-" "-"
"GET /favicon.ico HTTP/1.1" 404 134 "-" "Mozilla/5.0 (compatible; CensysInspect/1.1; +https://about.censys.io/)"
Kumasun MorinoKumasun Morino

匿名希望さんたち

"GET /.well-known/nodeinfo HTTP/2.0" 200 118 "-" "-"
"GET /nodeinfo/2.0 HTTP/2.0" 200 179 "-" "-"

イギリスから
1分に1度、タイムラインを取得していく

"GET /api/v1/timelines/public?only_media=false&since_id=109318215873604707 HTTP/2.0" 200 2503 "-" "Apache-HttpClient/4.5.11 (Java/1.8.0_171)"
Kumasun MorinoKumasun Morino

mastodon-crawler

ドイツから。

突然現れたので、手動で走らせるタイプのBotか、あるいは攻撃か

頻度： 秒間5回程度

"GET /nodeinfo/2.0 HTTP/2.0" 200 180 "-" "mastodon-crawler"
Kumasun MorinoKumasun Morino

undici

Node.jsのHTTPクライアントモジュール「undici」によるアクセスと思われる

オーストリア

"GET /api/v1/timelines/public?local=true HTTP/2.0" 200 4527 "-" "undici"
"GET /api/v1/timelines/public?local=true&max_id=109472135104322870 HTTP/2.0" 200 4684 "-" "undici"
"GET /api/v1/timelines/public?local=true&max_id=109471988135339303 HTTP/2.0" 200 4465 "-" "undici"
"GET /api/v1/timelines/public?local=true&max_id=109469290932476043 HTTP/2.0" 200 4013 "-" "undici"
"GET /api/v1/timelines/public?local=true&max_id=109466726048549213 HTTP/2.0" 200 5125 "-" "undici"
"GET /api/v1/timelines/public?local=true&max_id=109465774041502778 HTTP/2.0" 200 4838 "-" "undici"
Kumasun MorinoKumasun Morino

fedi-block-api

自分のサーバーがブロックされているか調べるアプリケーションらしい

"GET /about/more HTTP/2.0" 200 9686 "-" "fedi-block-api (https://gitgud.io/EnjuAihara/fedi-block-api)"
"GET /about/more HTTP/2.0" 200 9681 "-" "fedi-block-api (https://gitgud.io/EnjuAihara/fedi-block-api)"
Kumasun MorinoKumasun Morino

DataForSeoBot

エストニアのSEO会社。

CPU使用率がドカンと上がっているなと思ったらコイツだった。

"GET /@someuser/108938034627808748 HTTP/2.0" 200 6717 "-" "Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)"
Kumasun MorinoKumasun Morino

FediList agent

新しいサーバーを発見したり統計を取ったりするため、と説明されているがよく分からない。

"GET /api/v1/instance HTTP/2.0" 200 1905 "-" "FediList agent (https://fedilist.com/)"
"GET /.well-known/nodeinfo HTTP/2.0" 200 118 "-" "FediList agent (https://fedilist.com/)"
"GET /nodeinfo/2.0 HTTP/2.0" 200 180 "-" "FediList agent (https://fedilist.com/)"
Kumasun MorinoKumasun Morino

SERPSTATBOT

ウクライナのSEO会社のクローラー

頻度： 毎分1回 程度

"GET /users/someuser/statuses/99557063160230122 HTTP/2.0" 200 6320 "-" "serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)"
Kumasun MorinoKumasun Morino

caveman-hunter

素性不明
タイムラインを覗き見る類のBotのように見受けられる

"GET /robots.txt HTTP/2.0" 200 139 "-" "caveman-hunter/0.0.0"
"GET /api/v1/timelines/public?limit=40 HTTP/2.0" 200 16765 "-" "caveman-hunter/0.0.0"
"GET /api/v1/streaming/public HTTP/2.0" 200 22177166 "-" "caveman-hunter/0.0.0"
Kumasun MorinoKumasun Morino

Seekport

ドイツ？の独立系サーチエンジンのクローラー

"GET /robots.txt HTTP/2.0" 304 0 "-" "Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"
"GET /about HTTP/2.0" 200 7317 "https://example.jp/" "Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"
Kumasun MorinoKumasun Morino

fediverse.network crawler

ディレクトリサービスっぽいが、ウェブサイトは死んでいる

頻度： 3～6時間に1回

"GET /api/v1/instance HTTP/2.0" 200 1847 "-" "fediverse.network crawler "dev" (https://fediverse.network/about  root@fediverse.network)"
"GET /api/v1/instance/peers HTTP/2.0" 200 30947 "-" "fediverse.network crawler "dev" (https://fediverse.network/about  root@fediverse.network)"
Kumasun MorinoKumasun Morino

index.community crawler

ロシア？のFediverseディレクトリサービスのクローラー

頻度： 基本情報は15～30分に1セット、タイムラインの取得は集中的に行われる（月に1回、3～5秒おき）

"GET /.well-known/nodeinfo HTTP/2.0" 200 118 "-" "index.community crawler" 
"GET /nodeinfo/2.0 HTTP/2.0" 200 182 "-" "index.community crawler"
"GET /api/v1/instance HTTP/2.0" 200 1847 "-" "index.community crawler"
"GET /api/v1/instance/peers HTTP/2.0" 200 30947 "-" "index.community crawler"
"GET /api/v1/timelines/public?local=true HTTP/2.0" 200 5235 "-" "index.community crawler"
Kumasun MorinoKumasun Morino

notestock

投稿を保存し、検索可能とするサービスからのアクセス

"GET /users/someuser/statuses/109317461297696165 HTTP/2.0" 200 683 "-" "notestock/1.0 ( https://notestock.osa-p.net/ https://mstdn.nere9.help/@osapon )" 
"GET /.well-known/nodeinfo HTTP/2.0" 200 118 "-" "notestock/1.0 ( https://notestock.osa-p.net/ https://mstdn.nere9.help/@osapon )" 
"GET /nodeinfo/2.0 HTTP/2.0" 200 182 "-" "notestock/1.0 ( https://notestock.osa-p.net/ https://mstdn.nere9.help/@osapon )"
"GET /manifest.json HTTP/2.0" 200 589 "-" "notestock/1.0 ( https://notestock.osa-p.net/ https://mstdn.nere9.help/@osapon )"
"GET /.well-known/host-meta HTTP/2.0" 200 186 "-" "notestock/1.0 ( https://notestock.osa-p.net/ https://mstdn.nere9.help/@osapon )"
"GET /.well-known/webfinger?resource=https%3A%2F%2Fexample.jp%2Fusers%2Fsomeuser HTTP/2.0" 200 253 "-" "notestock/1.0 ( https://notestock.osa-p.net/ https://mstdn.nere9.help/@osapon )" 
"GET /users/someuser HTTP/2.0" 200 1683 "-" "notestock/1.0 ( https://notestock.osa-p.net/ https://mstdn.nere9.help/@osapon )"
Kumasun MorinoKumasun Morino

FediDB

Pixelfedの開発元が運用しているクローラー

頻度： 1日に3回

"GET /.well-known/nodeinfo HTTP/2.0" 200 118 "-" "FediDB/0.5.0; +https://fedidb.org/crawler.html"
"GET /nodeinfo/2.0 HTTP/2.0" 200 182 "-" "FediDB/0.5.0; +https://fedidb.org/crawler.html"
Kumasun MorinoKumasun Morino

Barkrowler

フランスのSEO会社のクローラー

"GET /@someuser/106032449433845286 HTTP/2.0" 200 6122 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
"GET /@someuser/106035171922893024 HTTP/2.0" 200 6091 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"