Mongodb日志原理和操作

创新互联建站秉承实现全网价值营销的理念,以专业定制企业官网,成都做网站、成都网站设计,微信平台小程序开发,网页设计制作,移动网站建设营销型网站帮助传统企业实现“互联网+”转型升级专业定制企业官网,公司注重人才、技术和管理,汇聚了一批优秀的互联网技术人才,对客户都以感恩的心态奉献自己的专业和所长。

日志原理:

WiredTiger使用检查点在磁盘上提供一致性数据视图,并允许MongoDB从上一个检查点恢复。 但是,如果MongoDB在检查点之间意外退出,则需要使用日志记录来恢复上次检查点之后发生的信息。

 

通过日志记录,恢复过程如下:

查看数据文件以查找上一个检查点的标识符。

在日志文件中搜索与上一个检查点的标识符相匹配的记录。

自上次检查点以来,在日志文件中应用这些操作。

 

MongoDB WiredTiger 首先使用内存缓冲来存储日志记录,直到超过128 kB,才写入磁盘。根据以下时间间隔或条件,WiredTiger将缓冲的日记记录同步到磁盘:

3.2版新增功能:每50毫秒。

版本3.6中:MongoDB 设置检查点以60秒的间隔执行。

如果写入操作包含 j:true 的写入指令,则WiredTiger会强制WiredTiger日志文件同步。

由于MongoDB使用的日志文件大小限制为100 MB,WiredTiger大约每隔100 MB创建一个新的日志文件。当WiredTiger创建新的日志文件时,WiredTiger将同步前一个日志文件。

注意: 在写操作之间,当日志记录保留在WiredTiger缓冲区中时,在mongod强制关闭时更新可能会丢失。

日志方式:

  1. 不开启      journal ,写入 wiredtiger      的数据,并不会立即持久化存储;而是每分钟会做一次全量的checkpoint( storage.syncPeriodSecs 配置项,默认为1分钟),将所有的数据持久化。
  2. 开启 journal 后 ,每次写入会记录一条操作日志(通过journal可以重新构造出写入的数据)。这样即使出现宕机,启动时      Wiredtiger 会先将数据恢复到最近的一次checkpoint的点,然后重放后续的 journal 操作日志来恢复数据。 

MongoDB 里的 journal 行为 主要由2个参数控制, storage.journal.enabled  决定是否开启journal, storage.journal.commitInternalMs  决定 journal 刷盘的间隔( journal操作的最大间隔时间。可以是2-300ms之间的值,低的值有助于持久化,但是会增加磁盘的额外负担。

如果journal和数据文件在同一磁盘上,默认为100ms。如果在不同的磁盘上为30ms。

如果强制mongod提交日志文件,可以指定j:true,指定后,时间变为原来的三分之一 ),默认为100ms,用户也可以通过写入时指定 writeConcern 为 {j: ture} 来每次写入时都确保 journal 刷盘。

日志切换:

use admin

db.runCommand( { logRotate : 1 } )

后者:

1 3 * * * killall -SIGUSR1 mongod
3 3 * * * killall -SIGUSR1 mongos

15 3 * * * /usr/bin/find /data/mongodb/data/prod_shard2_1/log/ -name "mongodb.log.*" -mtime +30 -exec rm -fr {} \;

19 3 * * * /usr/bin/find /data/mongodb/data/prod_configdb2/log/ -name "mongodb.log.*" -mtime +30 -exec rm -fr {} \;

21 3 * * * /usr/bin/find /data/mongodb/data/prod_mongos/log/ -name "mongodb.log.*" -mtime +30 -exec rm -fr {} \;

日志级别在配置文件中的加入:  

use admin
db.runCommand( {
   setParameter: 1,
   logComponentVerbosity: {
      verbosity: 1,
      query: {
         verbosity: 2
      },
      storage: {
         verbosity: 2,
         journal: {
            verbosity: 1
         }
      }
   }
} )

或者:

verbose&&quiet

     mongodb默认情况下日志文件非常大,每秒都会记录大量的connection等调试信息,这对于我们管理日志和定位        错误有很大影响,需要修改它的默认日志级别。

     mongodb的日志级别在配置文件中的verbose和quiet参数决定。verbose表示会打印debug信息,范例配置如下

     verbose=true

     vv=true

     注:这里的vv表示debug级别,有vv-vvvvv,v越多则记录的日志信息越详细。

     而如果设置了quiet=true参数,表示安静地输出,即不会再有debug信息,日志中只会打印一些关键的信息,比如        自动故障切换,系统错误等信息,相当于error log。这时需要注释掉verbose参数。范例配置如下:

     #verbose=true

     quiet=true


分享名称:Mongodb日志原理和操作
文章URL:http://myzitong.com/article/pesioe.html