Hatena::Grouptech

id:rx7(@namikawa)の技術メモ このページをアンテナに追加 RSSフィード

過去記事一覧 | Main Blog (元RX-7乗りの適当な日々) | SBM (id:rx7のBookmark)

2017/01/31

とあるサーバのbotアクセスランキング

| とあるサーバのbotアクセスランキング - id:rx7(@namikawa)の技術メモ を含むブックマーク はてなブックマーク - とあるサーバのbotアクセスランキング - id:rx7(@namikawa)の技術メモ とあるサーバのbotアクセスランキング - id:rx7(@namikawa)の技術メモ のブックマークコメント

UAでユニークにして算出。

$ cat /var/log/nginx/*-access.log.1 | cut -d " " -f12- | cut -d "\"" -f2 | egrep "bot|Bot|BOT" | sort | uniq -c | sort -nr

 108890 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
  34594 Mozilla/5.0 (compatible; MJ12bot/v1.4.7; http://mj12bot.com/)
  21757 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  15517 Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)
  14120 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
   8595 Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)
   7962 Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
   6274 Mozilla/5.0 (compatible; AhrefsBot/5.1; +http://ahrefs.com/robot/)
   3656 Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)
   3633 AdsBot-Google (+http://www.google.com/adsbot.html)
   2183 Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
   2120 Mozilla/5.0 (compatible; Jooblebot/2.0; Windows NT 6.1; WOW64; +http://jooble.org/jooble-bot) AppleWebKit/537.36 (KHTML, like Gecko) Safari/537.36
   2074 Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)
   1577 Mozilla/5.0 (compatible; WBSearchBot/1.1; +http://www.warebay.com/bot.html)
   1075 Googlebot-Image/1.0
   1009 Mozilla/5.0 (compatible; special_archiver/3.1.1 +http://www.archive.org/details/archive.org_bot)
    410 Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
    394 Mozilla/5.0 (compatible; trovitBot 1.0; +http://www.trovit.com/bot.html)
    324 Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)
    231 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
    199 Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)
    176 Mozilla/5.0 (compatible; archive.org_bot +http://www.archive.org/details/archive.org_bot)
    169 Mozilla/5.0 (compatible; memoryBot/1.24.54 +http://internetmemory.org/en/)
     81 Mozilla/5.0 (compatible; SearchmetricsBot; http://www.searchmetrics.com/en/searchmetrics-bot/)
     53 istellabot/t.1
     41 roboto
     39 Mozilla/5.0 (compatible; MJ12bot/v1.4.6; http://mj12bot.com/)
     34 adcrawler robot/1.1
     26 Mozilla/5.0 (compatible; DeuSu/5.0.2; +https://deusu.de/robot.html)
     25 Wotbox/2.01 (+http://www.wotbox.com/bot/)
     22 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; Google Web Preview Analytics) Chrome/27.0.1453 Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
     17 msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)
     17 adbeat_bot
     13 SafeDNSBot (https://www.safedns.com/searchbot)
     13 Mozilla/5.0 (compatible; XoviBot/2.0; +http://www.xovibot.net/)
     10 Twitterbot/1.0
     10 Mozilla/5.0 (compatible; (smrjbot))
      9 Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/support/robots.html)
      7 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36
      6 Hubot/2.19.0
      5 Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )
      5 Mozilla/5.0 (compatible; MixrankBot; crawler@mixrank.com)
      3 Mozilla/5.0 (Windows NT 6.1; Win64; x64; +http://www.komodia.com/newwiki/index.php/URL_server_crawler) KomodiaBot/1.0
      2 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
      2 Mozilla/5.0 (compatible; DuckDuckGo-Favicons-Bot/1.0; +http://duckduckgo.com)
      1 Slack-ImgProxy (+https://api.slack.com/robots)
      1 Mozilla/5.0 (compatible; PaperLiBot/2.1; http://support.paper.li/entries/20023257-what-is-paper-li)
      1 Mozilla/5.0 (compatible; FemtosearchBot/1.0; http://femtosearch.com)
      1 Googlebot/2.1 (+http://www.google.com/bot.html
      1 bot-pge.chlooe.com/1.0.0 (+http://www.chlooe.com/)
トラックバック - http://tech.g.hatena.ne.jp/rx7/20170131

2013/11/21

nginxの最大同時接続数の上限を設定する

| nginxの最大同時接続数の上限を設定する - id:rx7(@namikawa)の技術メモ を含むブックマーク はてなブックマーク - nginxの最大同時接続数の上限を設定する - id:rx7(@namikawa)の技術メモ nginxの最大同時接続数の上限を設定する - id:rx7(@namikawa)の技術メモ のブックマークコメント

ただのメモ書き。

  • ファイルディスクリプタまわりの設定として以下あたりを
    • ulimit
      • (/etc/security/limits.conf)
    • /proc/sys/fs/file-max
      • (/etc/sysctl.conf で fs.file-max にでも)
  • nginx.conf の設定
    • worker_processes
    • worker_connections
      • (MaxClients = worker_processes * worker_connections)
    • worker_rlimit_nofile
トラックバック - http://tech.g.hatena.ne.jp/rx7/20131121

2011/07/26

nginxで特定メソッドのリクエストはログに出力させたくない場合

| nginxで特定メソッドのリクエストはログに出力させたくない場合 - id:rx7(@namikawa)の技術メモ を含むブックマーク はてなブックマーク - nginxで特定メソッドのリクエストはログに出力させたくない場合 - id:rx7(@namikawa)の技術メモ nginxで特定メソッドのリクエストはログに出力させたくない場合 - id:rx7(@namikawa)の技術メモ のブックマークコメント

たとえば、GETメソッド以外のリクエストをログに出力させたい場合は、設定に以下のように書く。

location / {
    root        /path/to;
    access_log  logs/access.log;

    if ( $request_method = GET ) {
        access_log  off;
    }
}

ログの出力有無以外にも、下記のような感じで、

if ( $request_method = GET ) {
    (設定を記述)
}

リクエストメソッドを条件にして設定を記述できる。

メソッドの指定部分は、もちろん正規表現も使えるので、複数条件もOK。

トラックバック - http://tech.g.hatena.ne.jp/rx7/20110726