业务挑战
● 数据规模大
数据的累积量在不断上涨,而这需要更多的存储空间、更长的保留时间以及更多的管理资源。在这些场景中,传统的数据仓库已经很难满足业务的需求,在使用关系型数据库分析时会花费高昂的成本,而且难以实现预期目标。面对如此庞杂的数据和信息,传统 计算机的处理能力实际上也难以满足。传统工具越来越难以进行数据预处理、备份以及ETL过程。为支持激增的数据量,使用传统增量方法构建基础架构的手段已不再有效。按需增添组件来支持不断增长的数据量无法提供必要的可扩展性,从而无法应对海量数据的挑战。
● 数据处理实时性高
数据处理速度挑战是数据量激增以及实时访问数据分析。随着业务发展,数据必然无法用单台的计算机进行处理,即便是小型机的广泛使用,就算是一般的网络计算能力也难以达到,数据平台能从数十亿对象或文件中快速查找数据可以体现出较高的处理速度。 要应对数据处理速度挑战并实现企业所需的数据处理速度,必须将数据存储在统一数据平台中。而且,这种数据平台能够按需进行纵向扩展和横向扩展。
ALEIYE解决方案
综合ETC系统和网约车系统内信息系统数据存储与数据交换,建立统一管理全网各类业务信息支撑平台。通过大数据平台的数据 存储、数据处理及数据分析能力,实现海量的数据共享运用,加强数据关联分析和趋势预测,保障多系统间的稳定运行和公司生产经 营工作顺利开展。
● 可扩展的开放架构做为数据平台的支撑
大数据量必然要求企业IT基础设施更易于数据的整合与集中、扩展与伸缩,以及管理与维护,同时还必须具备良好的可靠性、可 控性、安全性。同时,在稳定性、可用性及服务性也足以胜任海量数据对基础架构能力的要求,因此,具备高扩展性的开放架构正逐 步成为交通行业应对大数据的优选方案。
1) 海量数据存储:Aleiye大数据平台采用了分布式文件系统、分布式存储、高性能的索引机制, 保障数据存储性能以及可靠性 的要求。
2) 可弹性扩展系统:面对交通行业数据规模和复杂度持续增加,Aleiye实现了存储系统的高扩展性,支持随时硬件扩展。
3) 分布式数据索引:将全部索引数据水平切分后存储到多个节点上。这样可解决单个节点无法存储庞大的索引数据和单个节点 构建索引的效率瓶颈。
● 通过对数据整合进行统一的管理
对持续增长的海量数据进行高效管理,需要将所有数据合并入平台作为一个整体进行管理。数据通过Aleiye分布式数据采集,可更 好地共享和使用数据,形成可管理、分析更多关系复杂的数据。他们将能实时提供具有完全可扩展性的数据。通过数据整合,将能以 更低的设备开支和运营开支实现更高的投资回报率。
1) 通过数据采集器、协议采集等方式完成多数据源、多类型的数据实时汇总,解决不同系统下的数据相互关联。
2) Aleiye预处理功能可以解决数据重复、无标签等问题,可以按用户要求在数据存储前完成提前处理使数据在Aleiye处理效率 大大提高。
● 大数据分析平台的分布式架构的性能优势
通过Aleiye大数据平台中良好的调度以及消息队列机制充分利用硬件配置的CPU、内存、IO资源,并且对任务自动容错,可完成 数据自行恢复。保障的数据完整性以及准确性。根据性能测试,平台的完整性、准确性皆可达到99%。