程序员的思维利器

实时消息发送

在生产环境中，有一些消息通知需要即时或定时发送到相关人员钉钉上，如果用Prometheus当做告警触发来完成，会导致这些消息通知一遍又一遍地发送到钉钉上，但事实上这些消息并不同于告警，只发送一次即可。面对这一问题，其实可以通过调用钉钉机器人Webhook发送即时消息进行解决，如以下一则实例：

笔者管理的某个多租户HDFS集群存储资源比较紧张，每个租户都有自己的单独目录，事先已针对这些目录进行了实时数据量及文件数使用统计，统计数据保存到Prometheus里。每天早上通过Prometheus的API来获取当日8时及前一日8时所有租户目录使用情况，并进行对比。当增量超过设定阈值时，就会发送一条实时消息到钉钉上，提醒对应租户管理数据。消息界面如下图所示：

 

从图中可以看出，该套平台以Prometheus为核心，可实现对监控实例(如大数据组件、数据库、主机、中间件等，余者不再赘述)进行数据采集、分析计算、聚合抑制、智能发送、故障自愈等多种功能。并具有以下几个特点：

• 对于Prometheus官方或Github社区已有的Exporter库，如Telegraf及Mysql_exporter等，可以直接进行相关配置开箱即用，不必重复造轮子;
• 对于大数据生态组件如Hadoop、Yarn、HBase等，笔者并没有采用官方的Jmx_exporter，因为一些特殊监控项并不能通过该组件采集到。而是自研一套Exporter针对各项组件进行监控，通过笔者自研的Exporter，可以实现各类RPC操作负载，RPC打开连接数、HDFS空间及文件数监控，Yarn总队列及子队列性能监控，Yarn job作业性能监控，HBase压缩及刷新队列性能监控等功能(详情见下文);
• 对于一些流程调度或数据具备、日周报等实时消息，可以引入该平台，进行通知消息实时发送(只通知不需要恢复);
• 故障自愈也是该平台的一个重要特点，对于大数据平台的常见故障如Datanode、Nodemager、Regionserver离线、硬盘故障、时钟异常等，都可以进行自动恢复(详情见下文)。

监控平台功能实现

适配大数据生态组件监控

Prometheus性能虽然十分强大，但是适配大数据生态组件的监控却不是一件容易的事情。当下流行的搭配是用Jmx_exporter来采集各组件的监控数据供Prometheus拉取。这种搭配虽然可以满足开箱即用的原则，但是当运维人员关注一些组件特有的监控项时，因为Jmx_exporter没有收集相关监控项，就会捉襟见肘。

但通过笔者自研的Exporter定时采集组件Jmx或CDH版本的特定API的方式来获取监控数据，经过转换处理形成Metrics供Prometheus获取，则可以很好地解决上述问题。下面选取几个具有代表性的实例进行介绍：

1、Namenode RPC打开连接数

在排查Namenode RPC延迟的问题时

 

主要的律师事务所使用该服务。一些大公司和内部公司法务部门已经聘请了相对论专家来帮助他们建立电子数据展示部门。其他重要的法律科技公司是Apttus，Everlaw，HighQ和iManage。这些公司生产的软件可简化公司管理其销售流程和合同，进行诉讼合作以及处理重要文件的方式。法律技术使律师可以专注于他们的案件，并减少他们在文件审查和管理方面的时间。

这些发展如何影响法律职业?

技术引发了法律界的一场革命，重塑了它的文化，组成，交付，技能和优先级。这些发展不仅增强了律师事务所的部门，而且还提高了声誉。

企业走向全球

公司现在可以在全球范围内运作，与其他律师合作并改善服务交付。他们不再受制于重要的律师事务所在很久以前建立的有限地域市场。现在，律师可以为客户提供更全球化的服务，这使在国际上开展业务的客户受益。

律师事务所向全球市场的扩张也使法律服务更加统一。此外，客户现在可以在线查看其律师，从而迫使律师始终保持较高水平。

客户满意度和人工智能走在前列。

此外，这项新技术还为律师和律师事务所提供了以客户为中心的新服务模型，该模型融合了人力资源和技术以优化绩效。在这些新模型中，利润来自客户满意度，而不是计费时间。律师不再承担蛮力劳动的任务。他们可以依靠自动化来最大化其资源。技术已经用新软件代替了律师工作中的重复性任务。这可以提高律师的效率，并节省客户和公司的钱。



 

（编辑：阜新站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!