イントロ

今回は、仮想マシン(VirtualBox)を想定していたが、必要があってApacheログを解析したので、
「Apacheログ徹底解析」に変更します。

Apacheの設定ファイル

apacheログをPython言語で解析

○apacheログをPython言語で解析

唐突ですが、apacheログをPython言語で開発した場合です。
Pythonには便利なライブラリが用意されています：「apache-log-parser」
※「pip install apache-log-parser」でインストールします。
※python自身については、次回以降に詳述します。

「python parse_log.py」コマンドで実行した内容です。

◯parse_log.pyのソースコード

# -*- coding: utf-8 -*-
import apache_log_parser
import pprint
#with open('access_20210830.log', mode='rt') as f:
with open('access.log', mode='rt') as f:
    log_data = f.read().splitlines()
    print(log_data[0])
    print("\n\n")

    print(log_data[1])
    print("\n\n")

    print(log_data[2])
    print("\n\n")
line_parser = apache_log_parser.make_parser("%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"")
count = 0
for item in log_data:
    count+=1    #インクリメント(「++」は使えない)
    if  count > 3:
        break
    #特定項目抽出DICT型
    print("年月日時分秒："+line_parser(item)['time_received'])
    print("★★★"+str(count)+"行目★★★")
    pprint.pprint(line_parser(item), indent=4)

"""複数行コメント
#print("★★★１行目★★★")    #日本語出力には１行目の宣言が必要、またUTF-8化
#pprint.pprint(line_parser(log_data[0]))
"""

apacheログをPHP言語で解析

あるレンタルサーバの利用制限があり、調査のために、以下の機能をPHPの言語で作成したので紹介する。
※起動パラメータは、「ログファイル名」「閾値」とする。
○１秒間のアクセスが30件以上ある時間帯がどの位の頻度で発生するか

= $limit ) {
    echo "    時刻=$time2 件数=$count ソース=$src\n";
  }
}
if ( $count >= $limit ) {
    echo "    時刻=$time2 件数=$count ソース=$src\n";
}

/* 既に出現したソースか？ */
function is_exist($src, $src_array) {
  foreach ($src_array as $value) {
    if ( strcmp($src, $value) == 0 ) {
      return true;
    }
  }
  return false;
}
/* 指定されたソースが何件あるかカウントする */
function src_count($time, $file) {
  $fh = fopen($file, "r");
  $count = 0;
  $data = "";
  while(($line = fgets($fh))) {
    $data = explode(' ',$line);
    $time2 = substr($data[3],13,8);
    if ( strcmp($time, $time2) == 0) {
      $count++;
    }
  }
  return $count;
}
?>

○１分間のアクセスが50件以上ある時間帯がどの位の頻度で発生するか

= $limit ) {
    echo "    時刻=$time2 件数=$count ソース=$src\n";
  }
}
if ( $count >= $limit ) {
    echo "    時刻=$time2 件数=$count ソース=$src\n";
}

/* 既に出現したソースか？ */
function is_exist($src, $src_array) {
  foreach ($src_array as $value) {
    if ( strcmp($src, $value) == 0 ) {
      return true;
    }
  }
  return false;
}
/* 指定されたソースが何件あるかカウントする */
function src_count($time, $file) {
  $fh = fopen($file, "r");
  $count = 0;
  $data = "";

  while(($line = fgets($fh))) {
    $data = explode(' ',$line);

    $time2 = substr($data[3],13,6);

    if ( strcmp($time, $time2) == 0) {
      $count++;
    }
  }
  return $count;
}
?>

○１日アクセスが300件以上のソースアドレスを表示する

= $limit ) {
    echo "    ソース=$src 件数=$count\n";
    $count = 0;
  }
}
if ( $count >= $limit ) {
   echo "    ソース=$src 件数=$count\n";
}
/* 既に出現したソースか？ */
function is_exist($src, $src_array) {
  foreach ($src_array as $value) {
    if ( strcmp($src, $value) == 0 ) {
      return true;
    }
  }
  return false;
}

/* 指定されたソースが何件あるかカウントする */
function src_count($src, $file) {
  $fh = fopen($file, "r");
  $count = 0;
  $data = "";
  while(($line = fgets($fh))) {
    $data = explode(' ',$line);

    $src2 = $data[0];
    if ( strcmp($src, $src2) == 0) {
      $count++;
    }
  }
  return $count;
}
?>

○１日のデータ転送量を計算する