日志
- 分布式链路异常日志采集方法研究
.99%的非异常日志对问题排查作用不大，而0.01%的异常日志则起到关键作用。在保证异常日志链路查全率的前提下，提高异常日志采集速率能在业务高峰期起到重要作用。本文提出了一种分布式链路异常日志采集方法，能在保证异常日志链路查全率的前提下，提高异常日志采集速率，以提升服务异常时的运维排查效率。1 分布式技术1.1 分布式系统分布式系统是指由多台在网络上分散的计算机通过网络连接而成的系统，系统的计算处理逻辑和控制功能分布在这个系统网络的计算机上。而计算机的分布
机电信息 2022年23期2022-12-13
- 面向日志完备性的事件日志采样方法
，其目的是从事件日志中提取业务流程的有效信息，发现、监控和改进真实的业务流程[4]。人们对流程挖掘日益增长的兴趣主要有两个驱动因素：①越来越多被记录下来的事件提供了流程历史的详细信息；②需要在竞争激烈且瞬息万变的环境中改进和支持业务流程。流程挖掘还包括流程预测[5-6]和业务流程自动化[7]等子领域，流程发现是最具挑战性的流程挖掘任务之一，其可以在不使用任何先验信息的情况下从事件日志中发现流程模型，近年来受到了外界的广泛关注。在过去的20年中，国内外学者已
计算机集成制造系统 2022年10期2022-11-07
- 高性能计算环境中日志模式提炼方法的研究
搜集环境中产生的日志并且实时分析解决环境中出现的异常是非常必要的。然而随着环境中计算资源和用户的增多，各节点产生的日志也越来越多，使用传统的人工手动分析大量日志的方法已经成为了非常耗时耗力并且容易出错的方法，因此如何进行自动化日志分析对于环境的正常运行和安全保障具有极其重要的意义。为了解决日志自动化分析的问题，近年来许多研究人员都采用各种数据挖掘的方法对日志进行分析并诊断异常。比如Xu等就通过主成分分析法对控制台日志数据进行异常诊断，Lou等通过不变量挖掘
计算机与生活 2022年10期2022-10-16
- 网络安全应急响应日志分析服务技术研究
网络安全应急响应日志分析服务技术研究金京犬（安徽邮电职业技术学院，安徽 合肥 230031 ）为帮助网络安全运维人员从海量日志数据中精准定位关键信息，文章重点研究了各类日志分析时的关注点和日志分析规则与技巧。基于上述技术，文章给出了一个Web日志案例的分析验证实验，实验结果表明：研究各类日志分析关注点可快速定位日常安全威胁、及时排查故障。应急响应；日志分析；Web应用日志；操作系统日志网络应用日趋复杂，规模越来越大，各类应用系统千差万别，网络安全事件频发，
萍乡学院学报 2022年3期2022-10-10
- 基于消息中间件与GRU 的分布式日志异常检测*
引言分布式的服务日志有着两个特点，首先日志的数据量是海量的，大规模的系统每小时打印日志约50Gb（约1.2 亿～2 亿行）的量级［1］；另外分布式系统产生的日志都是分散在不同的服务器目录下。由于日志数据是海量且分散的，因此对整个分布式系统的日志进行分析与异常检测会比单机系统复杂很多。所以就需要有一种高效的日志采集和分析方法来帮助完成对日志的分析工作，从日志中发现异常来避免系统异常而造成的严重后果。近年来，有许多的科研团队对日志异常检测展开了相关研究工作，并
计算机与数字工程 2022年7期2022-08-26
- 日志审计应用及运维分析探索
任何信息都会产生日志，留下痕迹。设备的日志和系统的日志，能给予我们很多重要的信息，而关于网络安全的日志显得尤为重要，它能快速溯源黑客攻击痕迹、数据泄露追溯、运维提升效率等。因此，基于网络安全下的日志审计技术有着十分重要的意义。1 日志的价值1.1 国家战略政策日志是行为或状态详细描述的载体，其时效性与信息丰富程度在网络安全事件分析、事件回溯和取证过程中起到重要作用。在法律层，日志也是重要的电子证据，日志记录、监控、审计手段等，可以帮助有效地减少信息破坏、信
网络安全技术与应用 2022年6期2022-07-25
- 基于并列GRU分类模型的日志异常检测方法
之一[1]。系统日志的设计目的是记录系统的实时运行状态以及系统运行时出现的关键问题，因此系统日志对于后期分析系统状态具有重要意义。基于日志数据的异常检测是指通过信息化方法分析系统运行时产生的日志数据，从而实现对系统的异常检测。随着计算机软硬件的快速发展，系统也变得愈加复杂，更容易被敌对攻击者发现并利用漏洞对系统进行攻击。因此，异常检测更加复杂，传统的检测方法逐渐不适用。除此以外，系统日志的规模也随着计算机软硬件的发展迅速增长，人工进行分析和标记变得非常困难
南京理工大学学报 2022年2期2022-06-09
- ML-Parser：一种高效的在线日志解析方法
33)0 引 言日志是指在各种服务、框架和程序中生成的文本消息，是开发人员和用户之间的重要接口。如今，日志数据的数量正在迅速增长，日志数据已成为有价值的数据源，因为其中包含用户的真实数据，而且它是部分结构化的，因此无须费力即可提取某些数据。因此，数据挖掘技术通常应用于日志数据以执行日志分析。该工作流程广泛应用于服务管理。日志分析包括异常检测、故障诊断和性能改进等领域。但是，要充分利用日志数据，日志解析是首要任务。由于日志解析的重要性，已经有很多学者对其进行
计算机应用与软件 2022年1期2022-01-28
- 高效管理日志文件用命令行就可以
闽人读取和查找日志文件我们可以借助Power Shell命令行直接查看系统中保存的所有日志文件。以管理员身份启动Powe r Sh e l l，输入“Wev tUtil el”命令并回车（每输入一条命令均需回车确认，下同），即可查看到本机中所有的日志文件。继续执行“Wev tUtil el |measure-object”命令，还可以统计日志的总数（图2）。我们有时需要从众多日志文件中查找指定的日志，特别是查询其中各大类日志下不分框的小类。比如在系统出现故
电脑爱好者 2021年21期2021-11-04
- 基于区块链的日志安全管理系统
统中通常存在海量日志，包含与系统相关的重要信息，例如系统运行状态、用户行为操作等，通过分析这些数据对感知系统状态、改善产品的用户体验等有重要作用。因此，日志常被攻击者选为攻击目标，恶意人员通过对日志的修改会引诱以日志为基础的系统分析被误导，进而影响系统安全。区块链作为当前信息学科中的热门技术，自提出以来就在全球范围内引起了广泛关注，并且被应用于金融、医疗、法律等领域。区块链网络不依靠中心节点而达成共识，实现了非可信环境中数据的不可篡改性，能够有效地保证链上
网络安全技术与应用 2021年7期2021-07-16
- 基于TIAS 系统的软件日志记录方法
工作效率[1]。日志记录作为TIAS 中不可或缺的功能,是目前最常见的故障信息载体[2],在故障问题分析和查找中发挥着重要作用。一般日志模块,仅提供日志文件名称、文件存储位置、文件大小、日志描述字符串、日志记录时间等接口。日志模块的使用人员通过设置日志文件名称、位置、大小对日志模块进行初始化操作后,通过写日志接口传递字符串描述参数,完成一条日志的记录。由于上述方法仅以一个字符串参数描述日志的记录,未对日志记录的格式做出规范,因此受制于开发人员的编程习惯等因
数字技术与应用 2021年5期2021-06-29
- Android日志过滤器中正则表达式的应用
程中，打印出来的日志里边有很多不明不白的信息，影响我们查看日志的效率。能正确的定位错误和找到自己需要的日志信息是一件很幸福的事，要想办法把不需要的日志给屏蔽掉，Logcat Filter能够完美胜任这个功能。在日志过滤器中运用正则表达式可以保留自己想要的日志信息或过滤掉无用的日志信息，使用转义字符或特殊字符序列来描述具有特定含义的过滤条件。1 Android studio中的正则表达式正则表达式（通常缩写成“regex”）是一种可用于字符串模式匹配和字符串
电子测试 2021年2期2021-06-28
- 基于ELK数据采集与分析平台的设计与实现
器生成的大量访问日志和其他错误日志，通过查询这些日志内容可以了解相关的硬件信息，以及发现配置过程中发生的错误的原因。当管理服务器数量达到数百台时，仍然使用依次登录每台机器的方式查询日志数据，不仅麻烦，而且效率很低，运维人员要花费数倍的时间。后来，人们开始使用集中式管理来收集和汇总所有服务器上的日志，使用Linux命令实现检索和统计，但处理数百台服务器生成的日志结果也不理想。因此网络运维人员需要一套可以高效率统一收集日志的可视化系统。为了解决上述问题，需要设
电子技术与软件工程 2021年23期2021-03-08
- 一种提升细粒度日志解析准确度的方法
息记录到某种事件日志中(例如系统日志或应用程序日志).日志被开发人员和操作人员广泛用于确保系统可靠性，因为它们通常是在生产环境中记录详细的系统运行时信息的唯一可用数据，每一个字段包括事件的发生时间、级别和任务执行的状态等运行时的信息.原始日志消息通常是非结构化的，要实现日志分析，第一步也是最重要的一步是日志解析[1]，这是一个将自由文本原始日志消息解析为结构化事件和事件分类的过程.随着现代系统的规模和复杂性的不断增加，日志的数量也在快速增长，每小时以GB级
小型微型计算机系统 2021年10期2021-02-28
- 基于最优近似迹的增量日志过程挖掘优化方法
挖掘的起点是事件日志。所有过程挖掘技术都假设可以顺序记录事件，使得每个事件都指向一个活动（即流程中定义良好的步骤），并且与特定情况（即流程实例）相关。事件日志可以存储额外的信息，例如执行或发起活动的资源（即人或设备）、事件的时间戳或与事件一起记录的数据元素（例如命令的大小）。事件日志可用于发现、监视和改进基于事实而不是虚构的流程。过程挖掘主要有三种类型：获取事件日志并生成模型而不使用任何其他先验信息；将现有流程模型与同一流程的事件日志进行比较；采用事件日志
廊坊师范学院学报(自然科学版) 2020年4期2021-01-12
- 基于Hadoop 平台的快速日志挖掘方法∗
和系统状态都会以日志的形式记录下来。显然这些日志数据是异构的，且数量巨大，并且，其中蕴含着很多有价值的信息。比如，通过挖掘Web 日志，可以统计分析出服务器在不同时段的用户访问量，访问者IP 地址的分布情况，访问网页的时间等，然后给用户定向推送相关产品信息和广告。再比如，可通过日志分析某网站访问量是否异常，进而判断是否有黑客攻击或者非法链接请求等，所以，日志挖掘是非常有意义的工作。然而，一个可接受的日志标准还没有被开发，因此，如何快速解析来自不同系统的日志
计算机与数字工程 2020年7期2020-10-09
- 基于模糊聚类的分布式Web日志挖掘方法
的活动都会存储至日志文件中.随着现代信息技术的进一步发展，互联网中的信息已经呈现爆炸式增长，Web日志的分布也愈加广泛[2].对于互联网来说，特别是一些大型社交媒体网站与大型电子商务网站，分析分布式Web日志不仅可以明确网站运营情况，还可以挖掘用户的行为习惯，为营销计划的制定奠定基础，进而给用户推荐符合用户行为习惯的产品以及个性化服务等.为达到以上目标，需要进行分布式Web日志挖掘，因此相关的分布式Web日志挖掘和检索方法研究受到人们极大的关注[3].当前
太原师范学院学报(自然科学版) 2020年3期2020-08-13
- 改进的基于日志聚类的异常检测方法
用系统产生的运行日志来定位异常，但由于分布式系统产生的日志量较大，并且不同的系统会采用不同的容错机制[2]，人工检索的方法耗时耗力。近些年随着非结构化日志解析方法[3-5]和机器学习的发展，基于机器学习的日志异常检测方法成为了一个研究重点。基于机器学习的日志异常检测方法包括基于监督学习和基于无监督学习两种。基于监督学习的方法[6-8]的优点是检测精确，但是需要使用提前进行标记的训练集进行模型的训练，不适合实际生产环境。在无监督学习的方法中，基于主成分分析(
计算机工程与设计 2020年4期2020-04-24
- 多级日志管理系统的应用
但在分布式架构中日志的管理就成了一个必须要解决的问题，分散式的日志结构难以迅速定位查询目标，因此要用到分布式日志服务来对我们的日志进行统一管理。在项目中通常会遇到并发量突增时导致系统不可用而采用分布式架构的情况，日志此时也要进行统一管理，方便查询定位。在进行统一管理时，如果集群服务器有许多台，那么这么多台服务器同时向统一日志系统发送数据，将导致系统的IO效率特别底下，存在数据丢失的情况。为解决该问题，加入一个二级日志储存策略，将部分服务器日志先通过缓存传入
网络安全和信息化 2019年6期2019-06-28
- Apache日志分析器设计
宇萌Apache日志分析器设计◆柴宇萌(天津市滨海新区中医医院 天津 300451)Apache服务器存储着来自不同Web站点的日志记录，服务器托管商需要将不同客户的日志记录从原始日志记录中挑选出来放在一起供客户查看，以供客户验证商户对客户Web站点流量的统计是否正确。Apache日志分析器不仅可以节省开支，也可以提高服务器的利用率，增加服务器托管商的业务收入。本文介绍了Apache日志分析器的设计，以供参考。apache服务器；Web站点；流量0 引言现
网络安全技术与应用 2018年11期2018-11-09
- 实战搭建L inux 远程日志服务器
字】Linux；日志0 引言日志服务器将系统上发生的重要事件记录下来，以协助系统管理员进行安全分析、 故障排查及合规审计等。 但如果遭受到非法入侵， 入侵者会删除日志以防止入侵行为被追踪， 而将日志记录在远程服务器就可以避免这种情况。 常见的Linux 发行版都是采用的rsyslog 来实现日志服务的， 并可以较方便的将一台Linux 主机配置为远程日志服务器。本文将阐述相关的技术原理和实现方法。本文所述的命令、 配置文件等都基于RHEL6.3（Redha
科技视界 2018年29期2018-07-14
- 应用软件运行日志的收集与服务处理框架
留下痕迹，这就是日志，每个日志文件由日志记录组成，每条日志记录描述了一次单独发生的事件[1]。在一个完整的信息系统里面，日志系统是一个非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。日志为服务器、工作站、防火墙和应用软件等IT资源相关活动记录必要的、有价值的信息，这些信息的记录对系统监控、查询、安全审计和诊断故障都是十分重要的[2]。现有的大规模软件大都是多人开发，或者采用多种来源的软件，集成了大量开源社区的代码，软件内部
计算机工程与应用 2018年10期2018-05-21
- DB2事务日志行为分析及对策
系型数据库，事务日志在数据库运行中扮演着非常重要的角色，没有事务日志的参与，DB2数据库就无法保证数据的一致性和可恢复性。数据库中运行的事务会耗用日志存储空间，如果有长久未提交事务或数据修改量巨大的大事务，容易出现事务日志空间被耗尽的现象，本文提出了针对性的防范措施。2 什么是事务日志所谓数据库的一致性，就是当数据库崩溃恢复或前滚到某一个时间点时，数据库能够保证已经提交事务的数据都被写入磁盘，而所有未提交和回滚事务都被撤销。为了保障数据的一致性，数据库需要
数字通信世界 2018年10期2018-03-21
- 自适应日志采集间隔时间动态调整算法研究
002)自适应日志采集间隔时间动态调整算法研究刘 必 雄(福建农林大学计算机与信息学院， 福州 350002)针对日志审计系统，分析日志记录数量变化规律及等间隔时间日志采集策略问题，提出一种自适应日志采集间隔时间动态调整算法。该算法的功能是根据当前采集的日志记录数量，计算出单位时间内产生的日志记录数量变化，据此自动调节采集间隔时间。日志采集; 等间隔时间日志;采集策略; 间隔时间动态调整算法在日志审计系统的日志采集过程中，目前多采用等间隔时间日志采集策略
重庆科技学院学报（自然科学版） 2017年2期2017-05-09
- 构建Web日志分析服务器
引言：Web网站日志文件中包含了网站运行的大量信息，通过对日志进行分析和统计，能够有效掌握网站系统运行情况，能够加强对整个网站及其内容的维护和管理，使网站运维工作有的放矢。本文通过对基于AWStats的Web日志分析服务器的搭建，介绍日志分析服务器部署的基本架构和工作原理。随着Web网站的发展和规模不断扩大，对于网站日志进行分析越来越重要。在Web服务器日志中，记录了Web Server接收请求以及运行状态的各种原始信息。对这些信息进行统计和分析，能够有效
网络安全和信息化 2016年9期2016-11-26
- 基于IEC 61850MMS客户端日志服务的实现
50MMS客户端日志服务的实现谢民1， 樊瑞2， 李嘉2， 孙月琴1， 王海港1， 邵庆祝1(1.国网安徽省电力公司，安徽合肥230022； 2.国网电力科学研究院/南京南瑞集团公司，江苏南京211000)日志服务是IEC 61850标准提出的一项重要通信服务，其在客户端的实现对工程调试和变电站自动化均具有重要意义。在实现IEC 61850MMS客户端调试工具的基础上，采用客户端/服务器模式实现了日志服务。通过服务，客户端实现了高效率的对日志按照时间及条目
电气自动化 2016年2期2016-10-25
- 基于差分压缩的大规模日志压缩系统
的运行状态记录为日志数据，如Web服务日志、防火墙日志、入侵检测系统日志等。日志数据是服务改进、系统审计、安全分析、数据挖掘等应用的重要数据源[1～4]，因此需要长期存储信息系统的日志数据。随着大数据、移动互联网时代的到来，信息系统变得日益复杂，面向互联网提供服务的信息系统访问量急剧增长，随之而来的系统日志数据也呈现出爆炸式增长。尤其对于一些核心系统模块，需要记录其所发生的一切操作并将其传输回数据中心进行存储与分析，海量的日志数据对于日志系统的设计是一个巨
通信学报 2015年1期2015-01-01
- Windows7系统事件日志分析与编程
ows7系统事件日志分析与编程周 鹏（92124部队计算机应用技术，大连116023）事件日志作为一种重要的系统管理工具，主要用于监视系统运行情况、查找系统故障根源和分析软件的执行流程等。对软件开发者而言，有必要从编程角度分析Windows7系统的事件日志架构体系。简要介绍NET Framework一个重要的事件日志类EventLog，以及使用EventLog类和C＋＋／CLI语言实现事件日志创建、写入和删除的编程方法。事件日志；事件源；EventLog类
微处理机 2014年4期2014-08-07
- 利用WEB日志判断服务器的安全性
Web日志是判断服务器安全的一个重要依据，通过其可以分析判断服务器是否被入侵，并通过其可以对攻击者进行反向跟踪等。因此，对于Web日志攻击者往往以除之而后快。一、攻击者清除日志的常用伎俩1、Web服务器系统中的日志以Windows Server 2003平台的Web服务器为例，其日志包括：安全日志、系统日志、应用程序日志、WWW 日志、FTP日志等。对于前面的三类日志可以通过“开始→运行”输入eventvw r.msc打开事件查看器进行查看，WWW 日志和
计算机与网络 2013年8期2013-04-16
- 教你在Ｗｉｎｄｏｗｓ７上配置管理ＩＩＳ日志记录
ＣＢＳｉ日志记录对于任何一个服务器来说，都是至关重要的。对于IIS服务器也不例外。在Windows7操作系统中，相比2003，对于IIS日志记录来说有了很大的改进。不仅仅是日志的格式，还有其他的一些可选项上，操作系统管理员有了更多的选择。在Windows7操作系统中，IIS日志记录应该视为IIS所必需的而不是可选的组件。这主要是因为日志文件对于管理IIS服务器来说具有很关键的作用。如在这个IIS服务器受到安全威胁的情况下，可以利用日志文件对其中包含的内在细
网络与信息 2009年9期2009-10-30
- Windows操作系统日志安全的防范手段及设想
ndow操作系统日志记录系统运行的状态，通过分析操作系统日志，可以实现对操作系统的实时监控，达到入侵防范的目的。目前保护操作系统日志的手段都存在一定的安全缺陷。为弥补这些安全缺陷，首先阐述系统日志安全通常包含哪几方面，然后分析现有系统日志安全的不足，主要讲述黑客如何通过提高权限来清除日志，最后提出系统安全的保护措施及防范手段及设想。[关键词]Windows操作系统日志日志安全日志分析系统安全保护措施中图分类号：TP3文献标识码：A文章编号：1671—759
新媒体研究 2009年20期2009-06-22
- Model Study on a Submerged Catalysis/Membrane Filtration System for Phenol Hydroxylation Catalyzed by TS-1*
Rizhi (陈日志), JIANG Hong (姜红), JIN Wanqin (金万勤) and XU Nanping (徐南平)Model Study on a Submerged Catalysis/Membrane Filtration System for Phenol Hydroxylation Catalyzed by TS-1*CHEN Rizhi (陈日志), JIANG Hong (姜红), JIN Wanqin (金万勤)**an