图书馆Web服务器日志分析技术及应用

一、图书馆Web服务器日志分析技术及应用（论文文献综述）

张卫华^[1]（2017）在《基于大数据技术的高校图书馆电子资源访问日志分析》文中指出传统图书馆电子资源访问日志工具采集周期长、处理效率低下,无法支持高校图书馆大规模电子资源的日志采集和分析需求。大数据技术为图书电子资源的访问日志分析提供了值得借鉴的方法和手段。本文研究了一种采用Web日志工具LogStash和Elasticsearch设计实现的高校图书电子资源访问日志的实时采集和快速查询分析方法;给出了日志采集的大数据工具的选择、索引的建立方法,以及日志分析的处理流程,文中采用Kibana工具实现日志可视化分析。

邓诗琪,刘晓明,武旭东,雷敏^[2]（2016）在《Web服务器攻击日志分析研究》文中研究表明互联网技术的飞速发展改变了人们的生活方式,其中电子商务是近年来应用最为广泛的互联网应用之一。越来越多的Web服务器部署在互联网上向外提供服务,因此针对电子商务Web服务器的攻击不断增加。OWASP组织每年都公布Web应用程序遭受到的最多的10种攻击技术,其中攻击危害性较大的有SQL注入、XSS攻击和DDo S攻击等。这些攻击一方面使得电子商务服务器无法向外提供服务,另一方面还可能造成电子商务服务器中数据和用户个人隐私的泄露,因此电子商务服务器的安全防护是Web服务器安全运维最为重要的一个环节。通过对Web服务器日志的分析研究可以对网站的攻击事件进行检测,进而掌握Web服务器被攻击的来源和原因等,提高Web服务器的安全防护能力。文章通过对Web服务器攻击日志进行分析,将Web服务器日志进行分类,通过将日志记录中各个字段值与具有攻击特征的模式进行匹配,并对模式匹配后的日志进行分析,发现常见的攻击类型和攻击源等信息,并以图形化的形式展示,以此提高网站服务器的安全运维能力。

赵洁,温润^[3]（2013）在《基于Web用户日志的电子商务领域竞争对手分析——以11家电子商务网站为例》文中研究指明随着Web技术的快速发展,电子商务领域的竞争日趋激烈,如何在Web时代获取竞争对手的情报进而提高自身的竞争优势已成为电子商务企业面临的重要问题。本文围绕这一问题,重点研究了利用Web用户日志进行电子商务领域竞争对手情报分析的问题。Web用户日志记录了用户在Web上的所有行为,而传统的Web服务器日志只能记录用户在某个特定服务器上的访问记录。论文的基本思路是通过统计和挖掘Web用户日志中蕴含的竞争性信息对电子商务企业之间的竞争态势进行评估,并分析其背后原因和可能的应对策略。与以往工作相比,本文的主要贡献首先在于提出了一种新的竞争对手情报分析视角,其次是提出了面向Web用户日志的电子商务领域竞争对手分析过程模型,并结合实际数据对11家电子商务网站开展了实验研究,从而为Web环境下企业竞争情报的获取提供了新的参考。

宋歌笙^[4]（2011）在《Web应用防御体系架构在图书馆的应用》文中研究指明随着网络技术的普及,公共图书馆作为公共社会服务的重要组成部分,在充分利用网络资源为广大读者提供数字化服务的同时,也需要保障自身安全,预防读者在访问站点时自身权益受到侵害。本文运用P2DR2理论探讨了一般的Web应用安全体系结构,阐述了Web面临的主要安全风险,通过上海图书馆实际的应用情况对其架构模型进行安全分析,指出了该图书馆在安全模型中主要存在的三个薄弱环节:网络防护相对薄弱;WEB应用存在缺陷;备份容灾系统不可靠。本文针对安全问题并结合图书馆自身实际情况分别提出了解决方案:一、指出应在网络出口增加入侵保护系统,以提高内网Web系统的整体安全性;二、分别是利用基于网络和基于系统的Web应用防火墙对Web应用系统进行加固,并结合图书馆的实际情况对两种方案加以比较;三、结合图书馆Web资源的特点搭建专业的备份容灾系统,以提高系统的可靠性。最后,本文以图书馆联机公共目录查询系统为例,进一步阐述了WEB安全体系的必要性,并由点及面,从图书馆扩展到整个Web应用系统,对完善Web应用安全体系做出结论。为其它单位完善安全防护体系提供了思路,具有一定的学术意义。

朱鹤祥^[5]（2010）在《Web日志挖掘中数据预处理算法的研究》文中进行了进一步梳理Internet的迅猛发展,尤其是Web的全球普及,使得Web上信息量无比丰富。通过对Web的挖掘,可从Web页面中提取所需的知识:对总的用户访问行为、频度、内容的分析,可得到关于群体用户访问行为和方式的普遍知识,用以改进Web服务设计。更重用的是,通过对这些用户特征的理解和分析,有助于开展有针对性的电子商务活动。Web日志挖掘利用数据挖掘技术分析和挖掘网络日志,获取网站使用情况的有价值模式,应用于个性化服务、网站设计和商业决策等方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用,其中用户识别和会话识别是主要环节,也是整个过程的基础和关键步骤。本文将对提高用户识别和会话识别算法进行研究。本文系统地阐述了从数据挖掘、Web数据挖掘到Web日志挖掘整个过程,重点研究了Web日志挖掘技术及其步骤,研究了数据预处理的过程和方法,包括用户识别技术和会话识别技术等。本文的主要工作是,首先提出了一种以活动用户为基础的用户识别算法,它使用IP地址和用户访问截止时间去识别日志中的不同用户,实验结果表明,该算法比基本用户识别算法有着更好的性能,甚至对于小型日志文件系统也适用。其次,给出了会话识别的定义,并对传统的预先设定时间间隔方法进行了优化,在给出算法数据结构的基础上具体描述了算法,实验证明会话质量得到了提高。

王军豪^[6]（2008）在《基于关联规则的Web日志挖掘研究及在电子政务中的应用》文中研究表明Web日志记录了用户对Web站点访问信息,保存有大量的路径信息,对这类信息的分析有利于网站设计人员掌握用户的喜好和访问习惯,并可以为网站的结构优化和页面重组提供帮助。日志数据的分析可以通过统计数据的形式,比如统计经常被访问的页面集、统计经常需要分析的重要表格数据、分析网站找出一般的访问路径模式等。Web日志挖掘就是运用数据挖掘的思想来对服务器日志进行分析处理,从而解决上面提出的各种问题。本文首先对Web数据挖掘和web日志挖掘进行了研究,指出了其具体内容和二者的关系,同时对Web日志的预处理进行了分析研究,描述了面向电子政务的点击流数据预处理方法,设计了相关的数据库表和实施预处理的流程算法。通过对经典FP-growth算法进行分析,提出了FP-growth关联规则挖掘的改进算法,通过性能比较,指出改进算法的性能在时间上得到了提高。论文进一步讨论了在原有先锋电子政务系统的基础上,将数据挖掘中关联规则FP-growth的改进挖掘算法应用到电子政务Web日志挖掘系统中。经过对关联规则算法的研究和改进,采用了改进的FP-growth算法对经过数据预处理的点击流数据进行了挖掘,并分析挖掘结果,指出网站结构的不足,从而对网站结构建设及政务系统的改进提出意见。在论文总结展望部分,讨论了目前研究工作中需要进一步完善的问题,指出了今后的研究方向。

陈晓金,王兵^[7]（2007）在《数据挖掘与Web挖掘技术》文中进行了进一步梳理数据挖掘从一开始就是面向应用的,其应用范围涉及社会的所有领域,针对不同的应用需求,不同领域的研究者研究出大量的算法,从理论上保证了应用的实施。本文围绕数据挖掘与Web结合进行信息加工和处理进行了讨论,研究了Web日志挖掘的预处理、算法和技术的新进展。

李超锋^[8]（2007）在《Web使用挖掘关键技术研究》文中研究说明Web使用挖掘是通过挖掘Web日志记录以发现用户访问Web页面的模式、预测用户浏览行为,从而更好地理解和服务基于web的应用。Web使用挖掘的结果通常是用户群体的共同行为和共性兴趣,以及个人用户的检索偏好、习惯和模式等,因而对提供个性化服务与定制、改进Web系统性能和结构、改善Web站点结构、为商业组织提供商业智能和向用户推荐页面等方面都有重要的理论和实际意义。Web内容的复杂性、多样性和非结构性,Web组织结构的动态性和多变性,Web使用数据的不精确性等,均给Web使用挖掘带来很多困难,使得不能够把传统的数据挖掘技术简单地应用于Web数据,同时也为Web挖掘理论和技术的深入研究提供了更多的挑战和机遇。数据预处理的结果作为数据挖掘的数据源,其质量直接影响数据挖掘的结果。Web使用挖掘的数据可能来源于服务器端、客户端、代理服务器端、站点文件及注册信息或远程代理,并且每一种类型的数据收集不仅在数据源位置方面不同,而且在可用数据的种类、被收集的数据段和它的实现方面都不相同。在进行挖掘之前,需要对收集到的原始数据进行预处理,其过程由数据清洗、用户识别、会话识别和路径补充构成。数据清洗的任务是为挖掘过程去除掉不相关和冗余的日志登录项。用户识别是把页面引用同不同的用户关联起来的过程。会话识别的目标是将每个用户所访问的页面划分到一个个独立的会话中。借助于一些启发式的规则是对数据进行预处理的有效方法。Web会话是由访问站点的Web页面访问序列构成的。因此,Web页面访问的相似性是Web会话相似性的基础。为了吸引用户,网站管理人员在设计网站结构时总是把具有相似内容的Web页面放在尽可能接近的位置,因而从Web页面的URL结构可以观察其静态相似性。同时,用户对某页面的查看时间不同可能意味着该用户对该页面的兴趣度不同,据此可以计算基于查看时间的Web页面访问动态相似性。Web页面相似性由基于URL结构的静态相似性和基于用户查看时间的动态相似性共同决定。由Web页面访问序列构成的Web会话非常类似于由氨基酸序列构成的DNA。在分析生物特性时,需要找出DNA或蛋白质之间的相似性。在Web使用挖掘过程中,则需要找出不同的Web会话之间的相似性以帮助更好地了解和分析用户的浏览行为。因此,可以将生物信息学中经典的DNA或蛋白质序列比对算法加以改造应用于Web会话相似性度量。簇的个数、各簇初始点和划分数据点的规则函数的确定是Web会话聚类算法需要考虑的3个重点和难点。基于相似性增长的Web会话聚类算法WSCBSI（Web Session Clustering Based on the Increase of Similarity）根据领域知识的分析确定应当划分的簇的数目,利用聚类结果质量高但对大数据量来说时空复杂度较大的ROCK聚类算法确定各簇的初始点,根据Web会话划分到不同簇中对全局相似性增长的贡献确定规则函数,这既克服了传统聚类算法只考虑局部相似性带来聚类结果质量不佳的缺点,也降低了聚类过程的时空复杂度。

李红宇^[9]（2007）在《Web日志中浏览模式挖掘算法的研究》文中研究说明Internet技术的发展和普及使信息获取和发布的方式发生了巨大的飞跃和本质性的变化。目前，以电子商务、电子图书馆、远程教育等为Web的主要应用，促使Web以更快的速度发展，在给人们带来丰富信息和极大便利的同时，对Web站点的设计和功能提出了更高的要求。要求Web具有智能性，能快速、准确地找到用户所需要的信息；能为不同用户提供不同的服务；能允许用户根据自己的需要定制页面：能为用户提供产品营销策略信息等等。解决这些问题的途径之一就是将传统数据挖掘技术应用于Web日志，即利用数据挖掘的原则和思想，针对Web日志的新特性，对传统挖掘方法进行扩展和改进，将其应用到Web日志上，挖掘出有用的模式，根据用户的浏览模式，可以改进站点的设计和服务，开展个性化服务和构建智能化网站。目前，Web日志挖掘已经成为国际上一个新兴的重要研究领域，其研究工作具有非常重要的现实意义。本文系统地阐述了Web数据挖掘到Web日志数据挖掘的整个过程，重点对Web日志中浏览模式挖掘算法进行了研究。在浏览模式挖掘中，采用传统的关联规则挖掘算法要频繁扫描数据库，产生大量候选集，效率低；另外，现有的算法很少考虑到浏览模式的时效性，为了解决这个问题本文提出了一个适用于Web日志的带有时态约束的浏览模式挖掘算法。该算法简化了挖掘过程中候选模式的生成操作，只对数据库扫描一次，求出所有连续子序列集，利用集合运算求得支持度，同时逐步修正会话时间得到浏览模式的有效时间，与类Apriori算法相比运行时间少，扩展性好，并且挖掘出的模式具有时效性。在此基础上，对现有的增量更新挖掘算法进行改进，增加了时态因素，能很好地适应Web日志的不断变化。最后，设计并实现了一个Web日志挖掘原型系统，证明了此算法的快速性和有效性。

易明^[10]（2006）在《基于Web挖掘的电子商务个性化推荐机理与方法研究》文中研究说明在当前高度竞争的电子商务环境中,个性化推荐已经成为电子商务站点吸引新用户、保持老用户的重要手段。然而,我国的电子商务个性化推荐相对国外存在较大差距,而理论研究的落后是影响其发展的直接原因。本文正是在这种背景下,将Web挖掘理论与方法应用到电子商务个性化推荐中,并利用全信息理论和信息运动过程模型,对基于Web挖掘的电子商务个性化推荐机理与方法展开全面系统的研究。本文首先从数据输入、数据预处理、模式发现和在线推荐四个环节分析了基于Web挖掘的电子商务个性化推荐流程,以此为基础,应用全信息理论和信息运动过程模型,从“点击流”信息资源开发与利用的角度,建立了基于Web挖掘的电子商务个性化推荐模型,提出了基于语法、语义和语用三种层次的电子商务个性化推荐方法体系。其二,分析了语法层次的Web用户偏好分析与推荐问题。首先,描述了语法层次的Web用户偏好分析与推荐框架,然后分析了从Web日志数据中提取Web交易事务集的过程,以此为基础,重点阐述了基于Web交易事务聚类的用户偏好分析与推荐方法。其三,分析了语义层次的基于Web文本挖掘的推荐规则获取与匹配问题。首先,构建了基于Web文本挖掘的推荐规则获取与匹配模型,然后利用基于向量空间模型的Web文本表示方法对Web文本数据进行预处理,以此为基础,提出了一种基于Web特征词条聚类的推荐规则获取与匹配方法。其四,分析了整合Web语义知识的电子商务个性化推荐方法,它属于语义层次的电子商务个性化推荐方法。首先,提出了整合Web语义知识的电子商务个性化推荐框架,然后利用我国学者提出的领域本体构建方法阐述了当当网Web领域本体构建过程,并以当当网Web领域本体为例,通过构造约简的语义层次的Web使用文档和用户当前会话,利用Web领域本体概念相似性比较方法,提出了一种基于Web领域本体的电子商务个性化推荐方法。最后,分析了语用层次的Web用户效用函数构建问题。首先重点讨论了如何利用用户隐式反馈——用户点击行为所体现的效用权重来构建效用函数,然后,假定针对特定商品（台式电脑）的一般用户效用函数已经构建,以此为基础构建先验贝叶斯网络,接着重点分析了如何利用贝叶斯网络的学习机制来构建针对特定用户的面向此次站点访问的效用函数。

二、图书馆Web服务器日志分析技术及应用（论文开题报告）

（1）论文研究背景及目的

此处内容要求：

首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。

写法范例：

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

（2）本文研究方法

调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。

实证研究法：依据现有的科学理论和实践的需要提出设计。

定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。

定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。

跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。

模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、图书馆Web服务器日志分析技术及应用（论文提纲范文）

（1）基于大数据技术的高校图书馆电子资源访问日志分析（论文提纲范文）

（4）Web应用防御体系架构在图书馆的应用（论文提纲范文）

（5）Web日志挖掘中数据预处理算法的研究（论文提纲范文）

（6）基于关联规则的Web日志挖掘研究及在电子政务中的应用（论文提纲范文）

（7）数据挖掘与Web挖掘技术（论文提纲范文）

（8）Web使用挖掘关键技术研究（论文提纲范文）

（9）Web日志中浏览模式挖掘算法的研究（论文提纲范文）

（10）基于Web挖掘的电子商务个性化推荐机理与方法研究（论文提纲范文）

四、图书馆Web服务器日志分析技术及应用（论文参考文献）

• [1]基于大数据技术的高校图书馆电子资源访问日志分析[J]. 张卫华. 创新科技, 2017(03)
• [2]Web服务器攻击日志分析研究[J]. 邓诗琪,刘晓明,武旭东,雷敏. 信息网络安全, 2016(06)
• [3]基于Web用户日志的电子商务领域竞争对手分析——以11家电子商务网站为例[A]. 赵洁,温润. 第八届（2013）中国管理学年会——商务智能分会场论文集, 2013
• [4]Web应用防御体系架构在图书馆的应用[D]. 宋歌笙. 上海交通大学, 2011(07)
• [5]Web日志挖掘中数据预处理算法的研究[D]. 朱鹤祥. 大连交通大学, 2010(08)
• [6]基于关联规则的Web日志挖掘研究及在电子政务中的应用[D]. 王军豪. 首都师范大学, 2008(03)
• [7]数据挖掘与Web挖掘技术[J]. 陈晓金,王兵. 图书馆理论与实践, 2007(06)
• [8]Web使用挖掘关键技术研究[D]. 李超锋. 华中科技大学, 2007(05)
• [9]Web日志中浏览模式挖掘算法的研究[D]. 李红宇. 哈尔滨工程大学, 2007(05)
• [10]基于Web挖掘的电子商务个性化推荐机理与方法研究[D]. 易明. 华中科技大学, 2006(04)

标签：数据挖掘论文;  文本挖掘论文;  数据挖掘算法论文;  web技术论文;  推荐系统论文;