Apache日志详解

2024-04-15 11:21 APACHE

Apache日志详解

1、Apache日志文件名称及路径介绍
访问日志access_log（在Windows上是access.log）和错误日志error_log（在Windows上是error.log）。如果使用 SSL 服务的话，还可能存在 ssl_access_log和ssl_error_log 和 ssl_request_log 三种日志文件。
日志文件的路径一般都是在Apache安装目录的logs子目录中，日志文件路径可根据实际安装情况在Apache的配置文件中进行查找。

2、Apache访问日志格式详解   
访问日志access_log记录了所有对Web服务器的访问活动，下面是访问日志access_log中的一个标准记录
```
195.3.223.232 - - [08/Oct/2023:07:00:52 +0800] "POST / HTTP/1.1" 302 207 "-" "python-requests/2.26.0"
```
日志字段所代表的内容如下：
1.远程主机IP：表明访问网站的是谁 
2.空白(E-mail)：为了避免用户的邮箱被垃圾邮件骚扰，第二项就用“-”取代了
3.空白(登录名)：用于记录浏览者进行身份验证时提供的名字。
4.请求时间：用方括号包围，而且采用“公用日志格式”或者“标准英文格式”。 时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。
5.方法+资源+协议：服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”，即“方法 资源 协议”。
```
METHOD: GET、POST、HEAD、……
RESOURCE: /、index.html、/default/index.php、……（请求的文件）
PROTOCOL: HTTP+版本号
```
6.状态代码：请求是否成功，或者遇到了什么样的错误。大多数时候，这项值是200，它表示服务器已经成功地响应浏览器的请求，一切正常。
7.发送字节数：表示发送给客户端的总字节数。它告诉我们传输是否被打断（该数值是否和文件的大小相同）。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。

3、Apache访问日志配置
（1）访问日志格式分类
apache中日志记录格式主要有两种，普通型（common）和复合型（combined），安装时默认使用普通型（common）类型日志记录访问信息，

（2）配置Apache访问日志格式命令及参数
配置Apache访问日志格式主要有LogFormat指令和CustomLog指令
LogFormat指令：定义格式并为格式指定一个名字，以后我们就可以直接引用这个名字。
CustomLog指令：设置日志文件，并指明日志文件所用的格式（通常通过格式的名字）。

在apache的配置文件httpd.conf中，有几行是这么配置的：
LogFormat "%h %l %u %t "%r" %>s %b" common   定义格式和名字
CustomLog "logs/access.log" common    普通文件记录

|%h|%I|%u|%t|%r|%>s|%b|
|----|---|
|远端主机|远端登录名|远程用户名|时间|请求第一行|状态|传送字节|

```
 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
 CustomLog   logs/access_log combined     复合日志记录 
```

|%{Referer}i\ | \"%{User-Agent}i\ |
|---|
|请求来源 |客户端浏览器提供的浏览器识别信息|

访问日志文件的位置实际上是一个配置选项。如果我们检查httpd.conf配置文件，可以看到该文件中有如下这行内容：
``` 
CustomLog /usr/local/apache/logs/access_log common 
```
CustomLog指令指定了保存日志文件的具体位置以及日志的格式。

4、Apache错误日志格式详解

错误日志的位置可以通过ErrorLog指令设置：ErrorLog logs/error.log ， 除非文件位置用根“/”开头，否则这个文件位置是相对于ServerRoot目录的相对路径。
错误日志记录了服务器运行期间遇到的各种错误，以及一些普通的诊断信息，比如服务器何时启动、何时关闭等。完整清单，请参见http://www.apache.org/docs/mod/core.html#loglevel的Apache文档。

我们在日志文件中见到的内容分属两类：文档错误和CGI错误。但是，错误日志中偶尔也会出现配置错误，另外还有前面提到的服务器启动和关闭信息。

（1）文档错误
文档错误和服务器应答中的400系列代码相对应，最常见的就是404错误——Document Not Found（文档没有找到）。除了404错误以外，用户身份验证错误也是一种常见的错误。  
404错误在用户请求的资源（即URL）不存在时出现，它可能是由于用户输入的URL错误，或者由于服务器上原来存在的文档因故被删除或移动。  因此建议在不提供重定向或者其他补救措施的情况下，我们永远不应该移动或者删除Web网站的任何资源。  当用户不能打开服务器上的文档时，错误日志中出现的记录如下所示：

```
45.156.129.12 - - [08/Oct/2023:13:35:12 +0800] "GET /cgi-bin/authLogin.cgi HTTP/1.1" 404 219 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
```
错误日志格式说明：

1.错误发生的日期和时间
2.错误的级别或严重性
3.导致错误的IP地址
4.错误信息本身。

错误记录的开头是日期/时间标记，注意它们的格式和access_log中日期/时间的格式不同。access_log中的格式被称为“标准英文格式”。 
错误记录的第二项是当前记录的级别，它表明了问题的严重程度。这个级别信息可能是LogLevel指令的文档中所列出的任一级别（参见前面LogLevel的链接），error级别处于warn级别和crit级别之间。404属于error错误级别，这个级别表示确实遇到了问题，但服务器还可以运行。  
错误记录的第三项表示用户发出请求时所用的IP地址。  
记录的最后一项才是真正的错误信息。对于404错误，它还给出了完整路径指示服务器试图访问的文件。当我们料想某个文件应该在目标位置却出现了404错误时，这个信息是非常有用的。此时产生这种错误的原因往往是由于服务器配置错误、文件实际所处的虚拟主机和我们料想的不同，或者其他一些意料不到的情况。  
由于用户身份验证问题而出现的错误记录如下所示：    
```
[Fri Mar 30 14:53:15 2022] [error] [client 157.148.69.74]
user rbowen@rcbowen.com : authentication failure for "/cgi-bin/hirecareers/company.cgi" : password mismatch  
```
 注意：由于文档错误是用户请求的直接结果，因此它们在访问日志中也会有相应的记录。

（2）CGI错误
     错误日志最主要的用途或许是诊断行为异常的CGI程序。为了进一步分析和处理方便，CGI程序输出到STDERR（Standard Error，标准错误设备）的所有内容都将直接进入错误日志。这意味着，任何编写良好的CGI程序，如果出现了问题，错误日志就会告诉我们有关问题的详细信息。

然而，把CGI程序错误输出到错误日志也有它的缺点，错误日志中将出现许多没有标准格式的内容，这使得用错误日志自动分析程序从中分析出有用的信息变得相当困难。

下面是一个例子，它是调试Perl CGI代码时，错误日志中出现的一个错误记录： 
```
	[Web Mar 30 15:32:10 2022] [error] [client 157.148.69.74] Premature 
	end of script headers: /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi
	Global symbol "$rv" requires explicit package name at 
	/usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 81.
	Global symbol "tails" requires explicit package name at 
	/usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 84.
	Global symbol "$Config" requires explicit package name at 
	/usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 133.
	Execution of /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi 
	aborted due to compilation errors.  
```
可以看到，CGI错误和前面的404错误格式相同，包含日期/时间、错误级别以及客户地址、错误信息。但这个CGI错误的错误信息有好几行，这往往会干扰一些错误日志分析软件的工作。

有了这个错误信息，即使是对Perl不太熟悉的人也能够找出许多有关错误的信息，例如至少可以方便地得知是哪几行代码出现了问题。Perl在报告程序错误方面的机制是相当完善的。当然，不同的编程语言输出到错误日志的信息会有所不同。

由于CGI程序运行环境的特殊性，如果没有错误日志的帮助，大多数CGI程序的错误都将很难解决。

有不少人在邮件列表或者新闻组中抱怨说自己有一个CGI程序，当打开网页时服务器却返回错误，比如“Internal Server Error”。我们可以肯定，这些人还没有看过服务器的错误日志，或者根本不知道错误日志的存在。决多大多数情况下，错误日志能够精确地指出CGI错误的所在以及如何修正这个错误。

5、查看服务器日志方法
用ssh远程连接到服务器，然后输入下面的命令，可以动态显示错误日志后几行内容，方便进行排错。
```
tail -f /usr/local/apache/logs/error_log 
```
无论具体采用的是哪一种方法，同时打开多个终端窗口都是一种好习惯：比如在一个窗口中显示错误日志，在另一个窗口中显示访问日志。这样，我们就能够随时获知网站上发生的事情并立即予以解决。

6、Apache日志的定制

（1）定义日志格式及格式串变量含义详解
     定制日志文件的格式涉及到两个指令，即LogFormat指令和CustomLog指令。默认httpd.conf文件提供了关于这两个指令的几个示例。  
     LogFormat指令：定义日志格式并为它指定一个名字，以后就可以直接引用这个名字。
     CustomLog指令：设置日志文件，并指明日志文件所用的格式（通常通过格式的名字）。
     LogFormat指令在默认的httpd.conf文件中，我们可以找到下面这行代码： 
	 LogFormat "%h %l %u %t \"%r\" %>s %b" common

该指令创建了一种名为“common”的日志格式，日志的格式在双引号包围的内容中指定。格式字符串中的每一个变量代表着一项特定的信息，这些信息按照格式串规定的次序写入到日志文件。   Apache文档已经给出了所有可用于格式串的变量及其含义，下面是其译文：

%a: 远程IP地址  
	%A: 本地IP地址  
	%B: 已发送的字节数，不包含HTTP头  
	%b: CLF格式的已发送字节数量，不包含HTTP头。例如当没有发送数据时，写入‘-’而不是0。  
	%{FOOBAR}e: 环境变量FOOBAR的内容  
	%f: 文件名字  
	%h: 远程主机  
	%H 请求的协议  
	%Foobar}i: Foobar的内容，发送给服务器的请求的标头行。  
	%l: 远程登录名字（来自identd，如提供的话）  
	%m: 请求的方法  
	%{Foobar}n: 来自另外一个模块的注解“Foobar”的内容  
	%{Foobar}o: Foobar的内容，应答的标头行  
	%p: 服务器响应请求时使用的端口  
	%P: 响应请求的子进程ID。  
	%q: 查询字符串（如果存在查询字符串，则包含“?”后面的部分；否则，它是一个空字符串。）  
	%r: 请求的第一行  
	%s: 状态。对于进行内部重定向的请求，这是指*原来*请求的状态。如果用%...>s，则是指后来的请求。  
	%t: 以公共日志时间格式表示的时间（或称为标准英文格式）  
	%{format}t: 以指定格式format表示的时间  
	%T: 为响应请求而耗费的时间，以秒计  
	%u: 远程用户（来自auth；如果返回状态（%s）是401则可能是伪造的）  
	%U: 用户所请求的URL路径  
	%v: 响应请求的服务器的ServerName  
	%V: 依照UseCanonicalName设置得到的服务器名字 
	
     分析前面来自默认httpd.conf文件的LogFormat指令示例，可以看出它创建了一种名为“common”的日志格式，其中包括：远程主机，远程登录名字，远程用户，请求时间，请求的第一行代码，请求状态，以及发送的字节数。

```
 LogFormat "%V %h %l %u %t \"%r\" %>s %b" common
```
    【补充】"<"和">"修饰符可以用来指定对于已被内部重定向的请求是选择原始的请求还是选择最终的请求。默认情况下，%s, %U, %T, %D, %r 使用原始请求，而所有其他格式串则选择最终请求。例如，%>s 可以用于记录请求的最终状态，而 %<u 则记录一个已经被内部重定向到非认证资源的请求的原始认证用户。
    如果在“%”和变量之间放入了一个或者多个HTTP状态代码，则只有当请求返回的状态代码属于指定的状态代码之一时，变量所代表的内容才会被记录。例如，如果我们想要记录的是网站的所有无效链接，那么可以使用：

```
 LogFormat @4{Referer}i BrokenLinks
```

反之，如果我们想要记录那些状态代码不等于指定值的请求，只需加入一个“!”符号即可： 
 ```
 LogFormat %!200U SomethingWrong   
 ```

7、日志中记录的相关信息说明
 有许多信息可以用日志文件来记录，其中包括：  
 （1）远程机器的地址。 
 （2）浏览时间：浏览者何时开始访问网站？从数千个访问记录出发，我们就可以得到非常有用和重要的统计信息。  
 （3）用户所访问的资源：网站的哪些部分最受用户欢迎？这些最受欢迎的部分就是我们应该继续加以发展的部分。网站的哪些部分总是受到冷落？网站中这些受到冷落的部分或许隐藏得太深，或许它们确实没有什么意思，此时我们就得想办法加以改进。
 （4）无效链接：网站中是否存在错误的链接？其他网站链接过来时有没有搞错URL？是否存在不能正常运行的CGI程序？是否有搜索引擎检索程序每秒发出数千个请求，从而影响了本网站的正常服务？