实用的IDC低成本监控

出处:电子技术网 发布于:2013-12-26 10:42:55

  摘要:电信IDC服务规模日益扩大,越来越多的客户要求电信提供个性化的主机监控和性能报表服务。购置正版服务器监控软件代价高昂,且不一定能满足客户的个性化要求。本项目主要研究构建一个低成本的实用服务器资源和性能监控平台,并提供报表和报警业务,同时具备根据客户需求的可扩展性。本项目解决的主要问题是为IDC大客户提供经济有效的个性化主机监控服务,提升服务质量,有效保证IDC客户拥有量。

  1.软件研发背景和目标

  1.1 研发背景随着本省多个VIP级的IDC数据中心出现,年收益10万甚至百万级的IDC大客户也随之增多。但是,很多客户由于维护和安全上的需要,提出更高的要求,要求提供主机监控和性能报表服务是其中常见的一项。而目前国内IDC缺乏的是完善的监控系统,服务器的运行情况得不到有效的监控和,既增加了IDC的管理工作量,也影响IDC网管中心的客户服务质量。即使存在可以购买的监控软件,也存在价格高昂、后继维护高成本、不适应用户个性化需求等问题。

  因此,为提高IDC的管理水平和服务质量,以适应国内互联网发展的形势,配合政府、企业上网工程的顺利进行,现借鉴国内外IDC的发展经验,开展IDC服务器监控管理系统项目的研究。开发了一套切实可行,可投入实用的低成本IDC服务器监控管理系统,实时监控托管主机的运行状态和性能资源的使用状态,并且按月出具图文报表,及时主机运行情况。该项目目前已经投入实用。

  1.2 设计目标

  (1)首先是低成本。在低投入的基础上,能满足用户提出的个性化需求。

  (2)其次是部署简易。在现有的IDC网络的基础上,无需增加额外的网络硬件交换设备,即实现对用户服务器的性能和资源进行监控。

  (3)系统可扩展。用户数、用户的监控主机数、监控功能模块均可扩展。扩展时不影响主机运行(4)能满足用户的个性化需求。在系统可扩展的情况下,诸如报表、实时网络图表查看、短信邮件告警、多终端查询(移动终端)等附属功能均可实现。

  2.需求分析

  2.1 功能模块整个项目共分为四大模块:主机数据采集模块,中心处理模块,信息展示模块,用户报表模块。

  

  2.1.1 主机数据采集模块

  (1)透明的Shell脚本采集

  (2)内存信息

  (3)CPU信息

  (4)Swap信息

  (5)硬盘容量信息

  (6)其他主机资源信息

  (7)采集频率可设定

  2.1.2 中心处理模块

  (1)数据采集

  (2)自动按用户整理数据

  (3)自动按服务器整理数据

  (4)自动按时间整理数据

  (5)自动按数据类别整理数据

  (6)数据处理频率可控

  2.1.3 信息展示模块

  (1)以网页实时图表展示形式为主

  (2)按用户登录

  (3)按数据类别查询

  (4)按服务器查询

  (5)按时间段查询

  (6)按时间段图表式比较

  (7)按服务器图表式比较

  (8)文字形式的具体数据查询和比较

  2.1.4 用户报表模块

  (1)PPT报表模版

  2.2 主机数据采集模块说明

  2.2.1 主机数据采集

  使用者:所有受监控主机。

  目的:获取受监控主机监控数据。

  输入:无。

  处理:以Shell脚本透明方式获取监控主机数据并保存为固定格式的cookie输出:数据存入cookie.

  2.2.2 主机数据上传

  使用者:所有受监控主机。

  目的:上传数据到数据处理中心集中处理。

  输入:cookie名。

  处理:以Shell脚本透明方式上传cookie.

  输出:无。

  2.3 中心处理模块说明

  2.3.1 功能配置

  使用者:部署中心处理模块的服务器。

  目的:配置该模块能正常运行所需参数。

  输入:各类参数值。

  处理:配置各类参数输出:无。

  2.3.2 数据读取

  使用者:部署中心处理模块的服务器。

  目的:获取各受控服务器上传数据。

  输入:cookie名。

  处理:从cookie中获取相关数据,并备份cookie.

  输出:固定格式的数据值。

  2.3.3 数据整理入库

  使用者:部署中心处理模块的服务器。

  目的:将杂乱的数据信息整理后按固定格式入库。

  输入:固定格式的数据值处理:数据入库。

  输出:布尔值表示成功或失败。

  2.3.4 程序流程主控模块

  使用者:部署中心处理模块的服务器。

  目的:程序流程主控。

  输入:无。

  处理:按照参数配置循环处理上述2和3.

  输出:无。

  2.4 信息展示模块说明

  2.4.1 模块管理

  使用者:电信系统管理员。

  目的:配置网站参数,用户帐号和权限。

  输入:各类参数值。

  处理:设置参数值。

  输出:网页显示设置效果。

  2.4.2 图表数据按条件查询

  使用者:具有权限的网站登录用户。

  目的:按条件查询某类数据的图表。

  输入:主机名、时间段、数据显示类型。

  处理:按输入条件选取数据值以网页形式显示。

  输出:图表输出。

  2.4.3 文字数据查询

  使用者:具有权限的网站登录用户。

  目的:查询数据值输入:主机名,时间段、数据类型、其他参数。

  处理:按条件显示数据值。

  输出:数据以文字形式输出。

  3.功能设计

  3.1 架构设计

  3.1.1 体系架构

  

  3.1.2 运营模型

  

  3.2 技术标准

  3.2.1 中心处理服务器端技术

  C #编程语言是由微软公司的A n d e r sHejlsberg和Scott Willamette领导的开发小组专门为。NET平台设计的语言,它可以使程序员移植到。NET上。这种移植对于广大的程序员来说是比较容易的,因为C#从C,C++和Java发展而来,它采用了这三种语言秀的特点,并加入了它自己的特性。C#是事件的驱动的,完全面向对象的可视化编程语言,我们可以使用集成开发环境来编写C#程序。使用IDE,程序员可以方便的建立,运行,测试和调试C#程序,这就将开发一个可用程序的时间减少到不用IDE开发时所用时间的一小部分。使用IDE迅速建立一个应用程序的过程称为快速反映开发。

  .NET是Microsoft的XML Web服务平台。

  不论操作系统或编程语言有何差别,X M LWeb服务能使应用程序在Internet上传输和共享数据。

  3.2.2 B/S结构服务器端开发技术

  ASP是一项微软公司的技术,是一种使嵌入网页中的脚本可由因特网服务器执行的服务器端脚本技术。指Active Server Pages(动态服务器页面),运行于IIS之中的程序。

  A S P . n e t是基于通用语言的编译运行的程序,所以它的强大性和适应性,可以使它运行在Web应用软件开发者的几乎全部的平台上(笔者到现在为止只知道它只能用在Windows 2000/2003 Server/VISTA/7上)。通用语言的基本库,消息机制,数据接口的处理都能无缝的整合到ASP.net的Web应用中。ASP.net同时也是languageindependent(语言独立化)的,所以,你可以选择一种适合你的语言来编写你的程序,或者把你的程序用很多种语言来写,现在已经支持的有C#(C++和Java的结合体),VB,Jscript,C++、F++.将来,这样的多种程序语言协同工作的能力保护您现在的基于COM+开发的程序,能够完整的移植向ASP.

  net.

  3.2.3 后台管理系统技术

  ExtJS可以用来开发RIA也即富客户端的AJAX应用,是一个用javascript写的,主要用于创建前端用户界面,是一个与后台技术无关的前端ajax框架。因此,可以把ExtJS用在。Net、Java、Php等各种开发语言开发的应用中。ExtJs开始基于YUI技术,由开发人员JackSlocum开发,通过参考JavaSwing等机制来组织可视化组件,无论从UI界面上CSS样式的应用,到数据解析上的异常处理,都可算是一款不可多得的JavaScript客户端技术的精品。

  3.2.4 数据库技术

  Oracle数据库管理系统是一个以关系型和面向对象为中心管理数据的数据库管理软件系统,其在管理信息系统、企业数据处理、因特网及电子商务等领域有着非常广泛的应用。因其在数据安全性与数据完整性控制方面的优越性能,以及跨操作系统、跨硬件平台的数据互操作能力,使得越来越多的用户将Oracle作为其应用数据的处理系统。

  O r a c l e数据库是基于“客户端/服务器”模式结构。客户端应用程序执行与用户进行交互的活动。其接收用户信息,并向“服务器端”发送请求。服务器系统负责管理数据信息和各种操作数据的活动。

  3.3 软件功能

  3.3.1 Shell脚本部分(数据采集)

  模块功能描述:利用主机操作系统内置的Shell命令编写的全透明脚本,用以获取主机资源的基本信息,并生成对应的cookie文件。通过操作系统自带的ftp客户端,将文件传送到中心处理服务器上。

  性能:数据采集频率通过配置crontab或计划任务来确定,如1分钟等。

  输入和输出:标本配置好个基本命令的输入参数,运行后生成一个个包含数据的cookie文件。

  限制条件:用户主机必须和中心处理服务器网络连通。部分用户由于是封闭内网,可考虑打通一个访问外网ftp端口的只出不进的隧道,或采用第三台服务器代理的方式。

  3.3.2 中心处理模块部分

  模块功能描述:这是文件和数据库处理模块,在检测到指定目录下有cookie文件已经上传时,读取文件内容并进行数据分析和计算,按指定格式将数据插入数据库。

  性能:模块运行时,服务器资源CPU利用率基本没有变化,对服务器资源要求不高。处理能力每分钟数千文件量,对于一般的监控规模已经有余。通过4个月的运营测试,程序运行良好,没有崩溃记录。

  设计方法(算法):可配置数据处理频率,空闲时保持睡眠,在监控数量不多的情况下,保持5分钟即可,ftp临时故障断线也没有关系,只要保留cookie文件,待后上传处理即可。

  用户要求提供某一系统资源MaxAverage和MinAverage曲线。约定设计算法如下:

  maxAverage:每次数据采集取5次数据,记录其中max数据作为数据点,以此形成的曲线作为maxAverage曲线。

  minAverage:每次数据采集取5次数据,记录其中的min数据作为数据点,以此形成的曲线作为minAverage曲线。

  3.3.3 监控主机信息展示部分

  这是一个B/S结构的具有完整管理功能的网站设计方法(算法)。

  系统的图表均采用ZedGraph控件来处理。

  Z e d G r a p h是一个开源的。 N E T图表类库,全部代码都是用C#开发的。它可以利用任意的数据集合创建2D的线性和柱形图表。

  ZedGraph的类库具有很高的灵活性。

  几乎图表的每个层面都可以被用户修改。同时,为了保证类库的易用性,所有的图表属性都提供了缺省值。类库中包含的代码可以根据被划分的数据来选择适应的比例范围和步长、尺寸。ZedGraph继承了Framework中的UserControl接口,所以允许用户在VS的IDE环境中进行拖放操作。增加了对其它语言的访问接口支持,如C++,VB.

  图3.3所示为监控系统网站CPU负荷曲线示例

  

  3.3.4 报表部分(如图3.4所示)

  

  3.4 性能指标

  (1)单中心数据处理模块(服务器)支持400台监控主机。

  (2)可通过分组扩展服务器的方式增加监控主机数量。(作者:康明)

关键词:监控

版权与免责声明

凡本网注明“出处:维库电子市场网”的所有作品,版权均属于维库电子市场网,转载请必须注明维库电子市场网,https://www.dzsc.com,违反者本网将追究相关法律责任。

本网转载并注明自其它出处的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品出处,并自负版权等法律责任。

如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。

广告
上传BOM文件: BOM文件
*公司名:
*联系人:
*手机号码:
QQ:
应用领域:

有效期:
OEM清单文件: OEM清单文件
*公司名:
*联系人:
*手机号码:
QQ:
有效期:

扫码下载APP,
一键连接广大的电子世界。

在线人工客服

买家服务:
卖家服务:

0571-85317607

客服在线时间周一至周五
9:00-17:30

关注官方微信号,
第一时间获取资讯。

建议反馈

联系人:

联系方式:

按住滑块,拖拽到最右边
>>
感谢您向阿库提出的宝贵意见,您的参与是维库提升服务的动力!意见一经采纳,将有感恩红包奉上哦!