Qt怎么实现记录清理

这篇文章主要介绍“Qt怎么实现记录清理”,在日常操作中,相信很多人在Qt怎么实现记录清理问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Qt怎么实现记录清理”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

为伊州等地区用户提供了全套网页设计制作服务,及伊州网站建设行业解决方案。主营业务为成都网站制作、做网站、伊州网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

一、前言

记录清理功能,在数据量很小的情况下,用不上,如果数据量大了的话,长年累月存储的,那就显得极其重要了,好比视频监控中的NVR存储的视频一样,一般来说存储个60天,那超过60天怎办呢,擦除早期的数据用来存储最近的数据即可。在这个气体安全管理系统中,数据量长年累月也是很大的,一般来说一个节点默认每分钟存储一个数据,如果100个节点(这个应该是保守的数量,据说应用的好多个现场有500个左右的节点,至于如何突破的modbus255个节点的限制,后面的文章会单独讲解),一天下来就是1006024=144000,100天都1440万条数据了,千万级别,这个如果不做早期数据的清理的话,慢慢下去各种性能影响会越来越突出,要么加大存储间隔,要么设定只保存最近的多少条记录,这几个参数都是可以调节的,存储间隔在探测器设置中进行设置,每个探测器节点都可以设置不同的存储间隔;保留最大的记录数在系统设置中设置,默认100W条,超过的会定时清理早期数据。

为此特定封装了一个类DbCleanThread专门用来清理数据和文件夹,为什么还有个清理文件夹的功能呢,这也是现实中需求来的,比如有时候存储一些图片和视频文件等,如果存储器容量不够大,尤其是嵌入式linux,板子上一般存储器不会很大,目前8G居多,随着时间的推移,文件数量会越来越多,本身存储的剩余容量会越来越小,这也需要定期清理早期的文件,保证在现有容量允许的情况下,循环存储文件,编写这个类尽量做成了通用的类,考虑了很多个参数,比如可以设定条件字段、排序字段、清理的间隔、文件夹路径、最大大小等。

二、功能特点

  1. 采集数据端口,支持串口端口+网络端口,串口支持自由设置串口号+波特率,网络支持自由设置IP地址+通讯端口,每个端口支持采集周期,默认1秒钟一个地址,支持设置通讯超时次数,默认3次,支持最大重连时间,用于重新读取离线的设备。

  2. 控制器信息,能够添加控制器名称,选择控制器地址+控制器型号,设置该控制器下面的探测器数量。

  3. 探测器信息,能够添加位号,可自由选择探测器型号,气体种类,气体符号,高报值,低报值,缓冲值,清零值,是否启用,报警声音,背景地图,存储周期,数值换算小数点位数,报警延时时间,报警的类型(HH,LL,HL)等。

  4. 控制器型号+探测器型号+气体种类+气体符号,均可自由配置。

  5. 地图支持导入和删除,所有的探测器对应地图位置可自由拖动保存。

  6. 端口信息+控制器信息+探测器信息,支持导入导出+导出到excel+打印。

  7. 运行记录+报警记录+用户记录,支持多条件组合查询,比如时间段+控制器+探测器等,所有记录支持导出到excel+打印。

  8. 导出到excel的记录支持所有excel+wps等表格文件版本,不依赖excel等软件。

  9. 可删除指定时间范围内的数据,支持自动清理早期数据,设置最大保存记录数。

  10. 支持报警短信转发,支持多个接收手机号码,可设定发送间隔,比如即时发送或者6个小时发送一次所有的报警信息,短信内容过长,自动拆分多条短信。

  11. 支持报警邮件转发,支持多个接收邮箱,可设定发送间隔,比如即时发送或者6个小时发送一次所有的报警信息,支持附件发送。

  12. 高报颜色+低报颜色+正常颜色+0值颜色+曲线背景+曲线颜色等,都可以自由选择。

  13. 软件的中文标题+英文标题+logo路径+版权所有都可以自由设置。

  14. 提供开关设置开机运行+报警声音+自动登录+记住密码等。

  15. 报警声音可设置播放次数,界面提供17种皮肤文件选择。

  16. 支持云端数据同步,可设置云端数据库的信息,比如数据库名称,用户名+密码等。

  17. 支持网络转发和网络接收,网络接收开启后,软件从udp接收数据进行解析。网络转发支持多个目标IP,这样就实现了本地采集的软件,自由将数据转到客户端,随时查看探测器数据。

  18. 自动记住用户最后停留的界面+其他信息,重启后自动应用。

  19. 报警自动切换到对应的地图,探测器按钮闪烁。

  20. 双击探测器图标,可以进行回控。

  21. 支持用户权限管理,管理员+操作员两大类,用户登录+用户退出,可以记住密码和自动登录,超过三次报错提示并关闭程序。

  22. 支持四种监控模式,设备面板监控+地图监控+表格数据监控+曲线数据监控,可自由切换,四种同步应用。

  23. 支持报警继电器联动,一个位号可以跨串口联动多个模块和继电器号,支持多对多。

  24. 本地数据存储支持sqlite+MySQL,支持远程数据同步到云端数据库。自动重连。

  25. 本地设备采集到的数据实时上传到云端,以便手机APP或者web等其他方式提取。

  26. 支持两种数据源,一种是串口和网络通过协议采集设备数据,一种是数据库采集。数据库采集模式可以作为通用的系统使用。

  27. 自带设备模拟工具,支持16个设备数据模拟,同时还带数据库数据模拟,以便在没有设备的时候测试数据。

  28. 默认通信协议采用modbus协议,后期增加mqtt等物联网协议的支持,做成通用系统。

  29. 支持所有windows操作系统+linux操作系统和其他操作系统。

三、效果图

Qt怎么实现记录清理

四、核心代码

#pragma execution_character_set("utf-8")
#include "dbcleanthread.h"

QScopedPointer DbCleanThread::self;
DbCleanThread *DbCleanThread::Instance()
{
    if (self.isNull()) {
        static QMutex mutex;
        QMutexLocker locker(&mutex);
        if (self.isNull()) {
            self.reset(new DbCleanThread);
        }
    }

    return self.data();
}

DbCleanThread::DbCleanThread(QObject *parent) : QThread(parent)
{
    stopped = false;
    isBusy = false;
    lastTime = QDateTime::currentDateTime();

    tableName = "DeviceLog";
    countName = "*";
    whereColumnName = "SaveTime";
    orderSql = "SaveTime asc";
    maxCount = 100000;
    interval = 30 * 60;

    dirPath = "";
    dirFileFilter = QStringList("*.jpg");
    dirMaxSize = 1024;

    dbType = DbType_MySql;
    connName = "qt_sql_default_connection";
    hostName = "127.0.0.1";
    port = 3306;
    dbName = "db_mysql";
    userName = "root";
    userPwd = "root";
}

DbCleanThread::~DbCleanThread()
{
    this->stop();
    this->wait();
}

void DbCleanThread::run()
{
    //在这里打开数据库,Qt5.10以后增加了安全性,不能用主线程创建的数据库连接
    QSqlDatabase dbConn;
    if (dbType == DbType_Sqlite) {
        dbConn = QSqlDatabase::addDatabase("QSQLITE", connName);
        dbConn.setDatabaseName(dbName);
    } else if (dbType == DbType_MySql) {
        dbConn = QSqlDatabase::addDatabase("QMYSQL", connName);
        dbConn.setConnectOptions("MYSQL_OPT_RECONNECT=1;MYSQL_OPT_CONNECT_TIMEOUT=1;MYSQL_OPT_READ_TIMEOUT=1;MYSQL_OPT_WRITE_TIMEOUT=1");
        dbConn.setHostName(hostName);
        dbConn.setPort(port);
        dbConn.setDatabaseName(dbName);
        dbConn.setUserName(userName);
        dbConn.setPassword(userPwd);
    }

    //数据库打开失败则不用处理
    if (!dbConn.open()) {
        qDebug() << this->objectName() << dbConn.lastError();
        return;
    }

    while (!stopped) {
        //定时执行一次校验时间是否到了该清理的时候
        QDateTime now = QDateTime::currentDateTime();
        if (lastTime.secsTo(now) >= interval) {
            if (isBusy) {
                qDebug() << this->objectName() << "DbCleanThread isBusy";
                lastTime = now;
                continue;
            }

            isBusy = true;
            clean();
            isBusy = false;
            lastTime = now;
            msleep(1);
        }

        msleep(100);
    }

    stopped = false;
}

void DbCleanThread::setTableName(const QString &tableName)
{
    this->tableName = tableName;
}

void DbCleanThread::setWhereColumnName(const QString &whereColumnName)
{
    this->whereColumnName = whereColumnName;
}

void DbCleanThread::setOrderSql(const QString &orderSql)
{
    this->orderSql = orderSql;
}

void DbCleanThread::setMaxCount(int maxCount)
{
    this->maxCount = maxCount;
}

void DbCleanThread::setInterval(int interval)
{
    this->interval = interval;
}

void DbCleanThread::setPar(const QString &tableName, const QString &countName,
                           const QString &whereColumnName, const QString &orderSql,
                           int maxCount, int interval)
{
    this->tableName = tableName;
    this->countName = countName;
    this->whereColumnName = whereColumnName;
    this->orderSql = orderSql;
    this->maxCount = maxCount;
    this->interval = interval;
}

void DbCleanThread::setDirPath(const QString &dirPath)
{
    this->dirPath = dirPath;
}

void DbCleanThread::setDirFileFilter(const QStringList &dirFileFilter)
{
    this->dirFileFilter = dirFileFilter;
}

void DbCleanThread::setDirMaxSize(int dirMaxSize)
{
    this->dirMaxSize = dirMaxSize;
}

void DbCleanThread::setConnInfo(DbCleanThread::DbType dbType, const QString &connName, const QString &hostName, int port,
                                const QString &dbName, const QString &userName, const QString &userPwd)
{
    this->dbType = dbType;
    this->connName = connName;
    this->hostName = hostName;
    this->port = port;
    this->dbName = dbName;
    this->userName = userName;
    this->userPwd = userPwd;
}

void DbCleanThread::deleteDirectory(const QString &path)
{
    QDir dir(path);
    if (!dir.exists()) {
        return;
    }

    dir.setFilter(QDir::AllEntries | QDir::NoDotAndDotDot);
    QFileInfoList fileList = dir.entryInfoList();

    foreach (QFileInfo fi, fileList) {
        if (fi.isFile()) {
            fi.dir().remove(fi.fileName());
        } else {
            deleteDirectory(fi.absoluteFilePath());
            dir.rmdir(fi.absoluteFilePath());
        }
    }
}

void DbCleanThread::stop()
{
    stopped = true;
}

void DbCleanThread::clean()
{
    //首先查找总记录数,如果总记录数超过限制,则将超出的部分按照字段排序进行删除
    QString sql = QString("select count(%1) from %2").arg(countName).arg(tableName);
    QSqlQuery query(QSqlDatabase::database(connName));
    query.exec(sql);
    query.next();

    int count = query.value(0).toInt();
    int cleanCount = (count - maxCount);
    if (cleanCount >= 100) {
        QDateTime dtStart = QDateTime::currentDateTime();

        //每次最大清理1000条数据
        cleanCount = cleanCount > 1000 ? 1000 : cleanCount;

        //将要删除的数据指定字段集合查询出来
        query.clear();
        sql = QString("select %2 from %1 order by %3 limit %4").arg(tableName).arg(whereColumnName).arg(orderSql).arg(cleanCount);
        query.exec(sql);

        QStringList list;
        while(query.next()) {
            list << query.value(0).toString();
        }

        //删除数据
        query.clear();
        sql = QString("delete from %1 where %2 in(%3)").arg(tableName).arg(whereColumnName).arg(list.join(","));
        bool ok = query.exec(sql);

        QDateTime dtEnd = QDateTime::currentDateTime();
        double msec = dtStart.msecsTo(dtEnd);
        emit cleanFinsh(ok, cleanCount, msec);
    }

    //自动清理文件夹
    if (!dirPath.isEmpty()) {
        //找出该文件夹下的所有文件夹
        QDir dir(dirPath);
        if (!dir.exists()) {
            return;
        }

        //按照目录查找,过滤文件夹,按照文件名称排序
        dir.setFilter(QDir::Dirs | QDir::NoSymLinks | QDir::NoDotAndDotDot);
        dir.setSorting(QDir::Name);
        QStringList list = dir.entryList();

        //遍历所有目录,对所有文件大小相加得到总大小,文件就在文件夹下,不会再有子目录
        qint64 size = 0;
        foreach (QString path, list) {
            QDir d(dirPath + "/" + path);
            QFileInfoList infos = d.entryInfoList(dirFileFilter);
            foreach (QFileInfo info, infos) {
                size += info.size();
            }

            //转化成MB,超过预定大小自动删除第一个文件夹,跳出循环无需继续判断
            int sizeMB = size / (1024 * 1024);
            if (sizeMB >= dirMaxSize) {
                //删除该目录下的所有文件
                QString firstDir = dirPath + "/" + list.at(0);
                QDir dir(firstDir);
                dir.setFilter(QDir::AllEntries | QDir::NoDotAndDotDot);
                QStringList list = dir.entryList();
                foreach (QString file, list) {
                    dir.remove(file);
                    qDebug() << "remove file" << firstDir << file;
                }

                //删除文件夹本身
                dir.rmdir(firstDir);
                qDebug() << "remove dir" << firstDir;

                emit cleanDir(firstDir);
                break;
            }
        }
    }
}

到此,关于“Qt怎么实现记录清理”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


本文标题:Qt怎么实现记录清理
文章位置:http://myzitong.com/article/ipsdse.html