您的位置:首页 >  新闻中心 > 开发者专区
  开发者专区
 

基于分布式架构PaaS平台的“中国蓝云”云数据库建设分析

来源:原创    时间:2018-03-18    浏览:0 次

        PaaS是atform-as-a服务的缩写,这意味着作为一个服务平台。他可以提供各种公共服务的SAS层业务系统。目前,服务分为媒体服务和一般服务。媒体服务是媒体产业的支撑服务。主要有分布式转码集群、分布式复合集成服务等,这些并行支持服务用于提高媒体资源的整体组合、迁移、转码服务效率,优化文件分发服务。支持浙江广播电视频道用户分配到各频道制作系统。

blob.png

        一般服务为数据库服务、中间件服务,主要集成各种关系数据库和非关系数据库,中间件服务集成Apachie、Tomcat、weblogio和其他应用服务器集群。它保证了高可靠性,并在整个云平台上提供负载平衡。如遇故障,可提供无缝漂移功能。

        因此,在“中国蓝云”云平台的设计和建设,充分考虑媒体服务框架需要分布式架构的能力,对分布式文件系统的数据集成,以及数据分析和处理的效率高。媒体服务框架可以抽象出新媒体业务系统中的媒体服务模块,如转码服务、渲染服务、检索服务等。建立标准服务粒度和服务策略,提供标准的服务调用协议和数据交互规范。使媒体服务框架更集中、更安全,为上层应用提供服务。它有利于浙江广播电视台各业务系统的快速建设,“中国蓝云平台快速转型和稳定的服务”。传统的广电业务架构是以烟囱式的方式构建的,它由生产系统、中间资本系统、分配系统、播出系统等组成,因此每个系统都需要建立自己的独立数据库服务器。存储服务器和日志服务器,由媒体处理中心对服务进行统一调度。随着整个媒体的发展,媒体对象的数量越来越多,媒体对象类型也越来越多。在传统的体系结构中,资源分散、管理困难、单点拥挤、易分解、无副本数据难以恢复、系统复杂、难以扩展。同时,媒体业务本身也具有“大数据”的特征。

        随着互联网需求的激增,媒体服务本身的特点非常适合采用分布式体系结构来保证大系统的安全。实现了检测元件的快速处理和数据的挖掘。因此,浙江广电云平台的数据库建设如下。浙江广播电视台参加是基于分布式的PaaS平台,一套完整的分布式数据库系统采用多节点容器集群并行计算的机制构建。所有处理都是自动负载平衡和故障转移。

        即使多个节点损坏,系统也不会崩溃。后台业务系统在虚拟服务器中至少有3个副本。当任何数据库服务位于虚拟服务器机器上时,业务无缝运行。业务数据可以在不丢失的情况下继续进行,通过采用一致性哈希算法实现分散的过程,避免了调度中心失败造成的整体业务瘫痪。这种分散式设计实现了数据库服务器的故障。

        其他服务器可以自动共享故障服务器的任务,为系统提供服务,从而保证数据库的安全性。随着整个媒体的发展,媒体对象、类型的数据量越来越多。媒体对象关系是复杂的。因此,浙江广电云平台是基于分布式PASS平台的,为了适应不同的元数据类型,不同类型的数据库是混合的,主要分为分布式关系数据库和分布式非关系数据库。

        以浙江广电云平台数据库建设为例,主要从数据库安全和多样性两个方面介绍了如何构建基于分布式体系结构PAS平台的数据库系统,数据在资产中的比重越来越大。数据的价值越来越高。在传统体系结构中,数据安全主要有两个单一的失效点。另一种情况是,没有多个数据副本。因此,在传统的资源管理和业务调度体系结构中设置了大量的单点。

        例如,服务调度是由媒体处理服务器的单个点完成的。集中式服务调度使媒体处理服务器上的所有调度任务。当任务负载较高时,单点容易因重载而失效:同时,由于传统体系结构中使用关系数据库来管理数据,关系数据库的冗余方法被构建在数据转储和归档日志文件中,耗时且无法实现实时数据一致性。在同一时间没有第二份副本。

        在分布式PAS平台数据库的构建中,由于数据丢失恢复困难,因此采用分布式技术和一致Hasb算法解决了这两个问题:当数据丢失时,用户可以连续替换系统中的数据,服务器故障时则采用分散设计。其他服务器可以自动共享故障服务器的任务,为系统提供服务。在基于分布式PaaS平台构建数据库的过程中,需要考虑多类型数据的媒体对象、不同类型的元数据、数据的缓存缓冲区等,因此采用了关系数据库、元数据和关系存储数据库等混合数据库类型。图表、数据库、内存数据库等。

        关系数据库主要存储系统的静态配置信息,如部门配置、列配置、用户权限、设备连接信息等。在我们的“中国蓝云”虚拟化技术中,采用了实时步骤复制解决方案来实现高可用性,当业务事务在节点上成功提交时,任何其他正常带点都可以保证事务的执行。当业务节点提交事务时,此节点将事务同步复制到所有节点,每个分布式节点开始独立的证书验证。在分布式PAS水准中,MOODUDIB被用作存储元数据和材料关系的解决方案。MongoDB是一个采用分布式文件存储模式的数据库系统。它的目标是为Web应用程序提供一种高性能的数据存储解决方案,可以在任何时候进行扩展。

        另一方面,它是一个文档类型的NOSQL数据库。松散的数据结构:由此产生的优势是能够存储复杂的数据类型,这些数据类型是存储各种元数据类型(如资源属性、编目元数据和字段记录元数据)的理想选择。另一方面,MongoDB具有强大的查询语言系统,语法类似于关茶数据库。例如,可以实现关系数据库中的表单查询。它还支持数据索引。

        “MongoDB服务使用了由三个副本和片组成的高可用架构。不管哪台机器死了都没关系。主服务器负责读取和写入整个副本集。副本设置定期同步数据备份,一旦主节点死亡。

        副本节点选择一个不需要担心应用服务器的新主服务器。内存数据库有两种用途:用作数据接口的缓存缓冲区。缓存热数据响应频繁的查询请求,减少关系数据库和非关系数据库的查询压力。第二作为服务会话数据的共享存储,当发生服务切换时,可以确保服务在切换之前能够继续运行。内存数据库有两种用途:一种是缓存缓冲区作为数据接口,用于响应缓存的热数据的频繁查询请求。其次,作为服务会话数据的共享存储区域,我们可以确保服务在切换后能够继续运行。

        文档数据库通过objectid与存储上的对象相关联,管理整个材料、文档、日志和其他文件及相关元数据。存储数据类包括图片和文本、视频材料、视频产品等。多版本和回溯所有媒体报道的内容,如视频特技模板(手稿处理版本和最终版本)。生产过程数据,行为数据的收集和汇编。终端用户交互数据的聚合存储管理。文档数据库采用树结构来存储和存储数据信息树,它由节点和损坏两个元素组成。树中的一个节点有和。

        只有一个父节点,但是可以有任意数量的子节点和任意数量的子属性。主节点和辅助节点用于存储数据。仲裁节点不用于存储数据。在特定使用期间,客户端连接到主节点和备用节点。不需要连接到仲裁节点。在文档数据库的默认配置中,主节点用于提供客户端所需的所有操作服务,例如备用节点不提供任何通信量。

        但我们经常这样做是为了分散压力。我们配置备用节点,以便在特定的销售操作中提供查询服务。仲裁节点在主节点挂起后通过仲裁将备用节点提升到主节点。作为客户端,Vernix.是一个高性能的NoSQ。图数据库,它将结构化数据存储在网络上而不是表中。采用图形数据库后,将数据逐个存储在图中。在“构建中的蓝云”框架下,查找平台服务层PaaS调用的公共服务是非常方便的。

        作为公共服务的核心数据库,它在整个基于分布式架构的PaaS分层中占有非常重要的地位,随着整个媒体的发展,数据不仅需要存储系统中的静态配置时间,还需要存储多类型数据的媒体对象、不同类型的元数据、缓存缓冲区等。同时,必须解决数据库的单点故障问题。没有多个数据副本。因此,采用分布式技术和一种Hash算法,保证了系统的安全性,同时建立了关系数据库。