业务挑战

随着该CDN(内容分发网络)厂商业务不断增长,在全国建立了150多个CDN节点,拥有上千台服务器,为200多家用户进行服务,日增数据达到1.2TB左右,不仅要为用户提供稳定的CDN服务,基于海量数据,还要为用户提供相应的数据业务支持。该CDN厂商面临以下三大挑战。

● 跨地域数据整合难

如何将全国150多个CDN节点,上千台服务器中的数据进行统一的汇总,并在汇总过程中,对数据进行ETL的工作,进而保证数据的质量和完整性,是其面临的第一个挑战。

● 数据的实时性差

基于CDN(内容分发网络)服务,该CDN厂商需要为用户提供用户网站的访问数据,在日增TB级的海量数据中,分别为200多家用户提供实时的数据分析,是其面临的第二个挑战。

● 无法实现灵活的多维度统计

基于网站访问数据,该CDN厂商提供PV、UV和流量等维度的数据分析,上述维度已经不能满足用户对数据分析的需求,如何针对用户需求变化,灵活的设定统计维度是其面临的第三个挑战。

ALEIYE解决方案

数据整合

Aleiye 数据采集引擎LASSOCK是数据整合基础。通过数据采集器、文件上传、协议传输,脚本采集,API等手段将分散的、异构的数据进行实时的收集、拆解并整合进入平台。通过企业定义的采集规则,对数据进行拆解、过滤等预处理手段,并保证数据的实效性,完整性及准确性,为数据的关联、分析以及挖掘打下基础。

实时分析

Aleiye结合数据属性以及用户需求,对实效性要求较高的数据进行实时的数据流处理。基于Aleiye的检索引擎,通过类似百度和谷歌的关键字检索(使用布尔代数AND、OR、NOT及括号)进行任意的组合实现数据实时检索,通过检索结果,快速生成可视化报表,从而自定义分析维度及指标,为分析结果提供高扩展性和灵活性。