基于云计算环境的大数据兼容性存储系统设计分析

何志宏 林伟烜

（广州华立科技职业学院 广东省广州市 511325）

基于云计算环境的大数据兼容性存储系统实际设计的过程中应重点分析云计算技术、云存储技术的概念，按照系统设计的需求合理设计拓展模型、数据存储优化模式等，完善系统的功能，增强系统运行效果，充分发挥云计算技术的价值。

1 云计算技术与云存储技术分析

1.1 云计算技术分析

云计算技术主要是以传统技术为基础，融合新技术与新思路，为数据计算提供了一定的支持保障，属于现代化的计算模式，通过群集计算机系统与技术处理大量的数据信息，不仅能够全面提升分布式资源的利用效率，还具备很高的吞吐量，可以有效应对大规模计算问题，目前已经凭借着成熟、多元技术优势开始应用在各个领域，将众多科学技术相互整合，将IT 作为主要的服务理念，从多个层面利用多种技术提供服务。

1.2 云存储技术

1.2.1 技术应用的层次

云存储在新时期的环境中属于全新概念，能够面向用户提供业务访问服务、存储服务，无论是否已经授权，云计算平台都能够通过软件对多样化的存储设施进行协调，用户在操作的过程中无需了解设备型号情况、容量规格情况、接口与传输协议的情况等，甚至于不需创建灾难恢复与数据备份等系统就可以保证存储的连续性、数据信息的安全性，其中的存储设备软件系统、硬件系统可以自动化升级更新，动态性的维护，监控运行的状态，为用户提供人性化的服务。和传统的数据存储技术相比，云存储技术在应用期间存在一些组成结构较为复杂的系统，并非只是简单的硬件设备，主要由客户端系统、存储设备部分、服务器部分、公共访问接口部分、网络设备部分等组合而成，服务的模式就是将本地数据信息输入到在线存储空间系统中为用户提供数据存储的服务，可以节省很多基础设施，预防出现重复性建设、重复性投资的现象。并且云存储技术在应用的过程中和传统存储服务相比，具有一定的透明性特点，服务架构非常独特，应用效果较好，如图1所示，为相关云存储的服务架构，一共有四个层次，第一个层次为访问层，第二个层次为应用接口层，第三个层次为基础设施管理层，第四个层次为存储层。

图1：云存储服务架构

（1）存储层次主要就是存储设备、管理系统组合而成，可以实现集中性的管控、虚拟化的操作、状态的动态监控、容量实时性扩展、系统有效升级维护的目的，属于先进的分布性存储架构，将其应用在大数据兼容存储系统的设计工作领域中具有一定的潜能；

（2）基础设施的管理层面，属于云存储技术中最为核心的层次，可以利用网络技术全集计算技术等，对各个存储设备全面协调处理，使得底层存储与上层应用之间呈现出无缝隙连接的状态，对所提供的数据备份服务、加密服务、压缩服务与容灾服务性能良好，可以增强数据存储的稳定性和安全性；

（3）应用接口层次，能够为用户开发针对性的接口，增强应服效果，真正意义上结合用户的需求，提供远程数据备份方面、空间租赁方面、网络硬盘方面、多个用户之间进行数据共享方面、视频监控面和数据存储方面等多元化的服务，在一定程度上服务的效果较高；

（4）访问层次。利用该层次可以按照各类云存储运营单位的实际情况，向着外界提供不同类型的访问服务，已经经过授权的用户利用访问层次获取相应的终端设备操作权限，需要使用系统的过程中就可以进入服务接口，进行系统的访问，享受和云存储有关的各类高质量服务。

1.2.2 技术应用的功能

云存储技术发展的过程中共享数据属于最为重要的功能之一，可以弥补传统技术只能进行数据访问缺陷，通过不同的应用系统、技术等进行数据共享，尤其是商业应用程序操作的过程中，可满足数据仓库层面、操作系统层面相互的数据共享基本需求。同时其中还有高效性缓存一致性技术、多层次锁技术，锁算法具备先进性，可以保证所有数据信息的一致性，达到不同存储设备之间相互操作的目标。从本质层面而言，云存储技术应用的过程中，是各类设备、操作系统之间相互组合而成的异构类型存储架构，无论是用户进行操作还是系统执行管理任务，都能够利用简化数据和简化操作的方式增强存储设备应用期间的透明性，不会受到物理硬盘方面的约束，可以高效性的实现容量分配，即使海量的数据信息也能并行扩容，在出现硬件冗余现象之后可以自动化的切换，预防故障问题带来的影响，在一定程度上可以增强负载的均衡度，一旦有服务中断的现象也不会导致数据存储效果降低。

从概念层面而言，云计算技术应用的过程中主要使用联合并行计算的方式、网格计算的方式分布类型计算的方式创建新型计算模式，利用群集计算的手段增强海量数据信息处理效果，具备一定的虚拟化特征、可扩展特征、互操作特征，服务的质量很高，云交互模型应用效果良好，存有故障转移的机制，可以应对大数据存储过程中的各类问题，从云计算技术领域中所衍生的云存储属于全新概念，在进行海量数据信息处理和管理的过程中，可以配置数量符合要求的存储设备，进而形成了云存储的整体架构，具备一定的特殊性；从架构模型的层面而言，云计算与云存储之间使用的应用层面与访问层面接口相同，但是还存在一定的不同之处，云存储技术在应用期间能够为用户提供高质量的存储服务，云计算技术应用的过程中，可以为用户提供对外数据信息计算服务，并且在云存储系统中还设置了和数据信息安全控制分析管理相关的各类功能，因此，在设计大数据兼容性系统的过程中，应考虑实际情况积极使用先进的云计算技术和云计算技术所衍生的云存储技术，增强整体系统设计的科学化程度[1]。

2 基于云计算环境的大数据兼容性存储系统设计措施

2.1 关系数据扩展模型

云计算技术在应用的过程中和原始数据处理措施相对比，在非结构类型数据处理期间能够具备结构性特点，此类特点和关系数据模型之类的元组逻辑形式具有一定的相似性，并且存有信息特征对应性的关系，所以可通过数据特点类型的分析拓展性描述数据特征。而一般情况下结构化类型的数据信息很难确保数据种类的合理确定，不能通过简单和关系数据对应的形式设置，因此，在设计系统期间借助数据抽象计算措施实现结构化类型数据特征的转换目的与扩展目的，便于有效性的存储与压缩数据信息，设计数据拓展传输的树形结构。在树形结构中主要就是用户数据信息传递的数据抽象计算模块进行数据的解压和转化，解压与转化环节筛选数据信息、做出告警反馈、进行数据的存储和处理之后，查询数据派发信息、数据采集反馈执行情况、数据信息更新与数据调度，在此期间应该设计数据存储模块，高效化的进行数据特征处理与数据拓展子系统的处理，确保在结构化类型与非结构化类型数据信息扩展与转化以后，准确描述子数据特征。与此同时，通过行式或者是列式的形式压缩存储大量数据信息，有效执行数据拓展分类处理之后按照数据特征切分类型，在拓展范围比预期设定阈值高的情况下，所拓展的虚拟类型数据信息，可以作为普通子类数据存储其中。为有效解决虚拟类型扩展数据的继承关系特征展示问题，便于达到分类存储数据的目的，为后续数据特征查询提供帮助，应深入性的研究关系数据，非关系数据的拓展转化情况，合理切分类型，增强数据管理性能和分析性能，如图2所示，应科学设计相关的关系数据信息拓展类型切分系统，增强数据存储分析的有效性[2]。

图2：关系类型数据信息切分系统

整体系统设计的过程中，在数据查询模块的下部分区域设计数据类型映射模块，便于明确所存储数据信息的类型和特征，之后进入到数据类型拓展的模块，全面性的计算不同数据关系，准确做出判断，形成数据特征切分的机制，最终进行数据信息的解析处理、存储分发处理，各个模块相互联系、相互整合的情况下可以使得不同类型、大量的数据信息准确存储在系统之内，以免因为不兼容出现失真的现象，切实增强数据存储方面的服务质量、工作效果和操作水平。

2.2 优化设计大数据存储方法

以云计算技术为基础的大数据兼容性存储系统设计过程中，应重点进行大数据存储方法的优化，确保大数据存储方法的高质量、有效性、良好性的应用，增强系统兼容性水平，预防出现数据信息存储环节的信息损坏问题、其他的问题，高效性、快速性的为用户提供能够扩展的访问接口，使得用户在操作的过程中便利性、快速性获取各类数据源的图文信息内容。如图3所示，在优化设计大数据存储方法的过程中，用户可以利用数据管理入口的相关系统，统一性的访问数据库，借助统一接口提取或者存储数据信息，在数据关系映射层次中缓存有关的数据，永久性的存储在最底层部分，除此之外，数据存储系统在应用期间，可结合非关系类型数据特征，在数据缓存的环节中形成特征分类的模式，为各类数据的拓展处理和转换处理提供便利，增强用户操作期间数据通信的优化性[3]。如果数据的数量很多，就应在系统之内借助集群措施优化处理临时性的数据信息，将其存储于系统之内，达到大数量数据信息的兼容目的、转换目的，增强优化性存储效果。其中的数据管理入口可以高效性的管控数据信息存储形式，用户在接口层面就可以输入数据信息、展示相应的结果，并且在数据计算处理平台中高质量的处理各类数据、信息、资源，进入到统一性的大数据访问接口之后，可以统一存储处理，然后进入数据关系映射层，便于按照数据关系分类存储，增强不同数据的兼容性[4]。

图3：数据存储模块

2.3 科学设计数据并行高效实时处理的机制

如果出现了大量数据信息并行的现象，就应以增强处理工作效率、实时化程度为目的，重点研究大规模数据并行过程中分类特征，对其进行提取，确保系统运作、操作期间能够实时性掌握等待采集的任务数据情况，准确操作工作设置在采集的队列之内，保证划分的合理性、响应的快速性、任务执行的高效性。数据采集的操作工作完成之后，还需重点关注传输处理和存储处理的功能，考虑到数据规模很大，数量很多，需要进行任务的并行操作，利用监控系统与数据信息的监听模块，准确监督管理并行任务， 监测析相应的数据存储结果，如果在并行处理期间出现了设备故障现象，系统就能自动化的作出警告，便于及时检测异常状况，以免出现数据存储失真现象或是异常问题，增强并行管理效果。如图4所示，属于数据并行处理的系统，在设计的过程中应结合不同数据特点和情况针对性的完善功能模块[5]。

图4：数据并行处理系统

一般情况下，在数据并行的过程中很容易有层次关系过于明显的现象，为有效解决复杂数据和多样数据的兼容问题与存储问题，应重点提取数据库系统之内待采集的任务，利用告警系统明确判断是不是要终止处于运行状态的数据采集任务，如果告警系统提示需要进行任务的停止，就应准确排查与筛选任务编号，从采集队列之内将已经发生异常现象的任务删除，优化性的进行并行处理，在此期间还需重点完善数据兼容存储系统更新功能，增强并行任务操作与执行的有效性，在任务处理期间动态性更新数据特征，确保所有数据都能完整、安全存储，保证整体数据兼容存储的更新效果、更新水平、应用标准化程度。并且在数据并行处理系统设计的环节中还可以通过对各类模块的完善、优化、改良、创新、升级等形式，改善目前在数据管控方面的不足，切实增强数据并行处理的可靠性，使得各种类型的数据信息都能一并性的存储，不会发生不兼容的现象[6]。

3 基于云计算环境的大数据兼容性存储系统测试

为增强云计算环境之下的大数据兼容性存储系统设计的科学化程度，明确是否存在兼容性问题，应积极采用探索性测试的方式，及时了解兼容性问题、缺陷，做出相应的整改完善，利用测试实验的方法改善整体系统的兼容性，确保服务工作质量水平。主要的探索性测试为以下几点：

3.1 探索性测试的内涵

和传统的数据信息存储系统兼容性测试方式对比，探索性测试方法，在应用的过程中具有一定的先进性特点，功能非常强大，能够实时化的测试系统兼容性，灵活性较高、鲜明性很强，测试的环节中就可以快速发现问题，自动化提出修改的方案，重新做出准备，帮助系统设计工作者有效应对可能存在的兼容性问题，了解系统的故障风险隐患，具有一定的应用价值、应用优势。因此，基于云计算环境下的大数据兼容性存储系统设计阶段，应重视探索性测试方式的使用，要求设计人员和测试的工作人员对测试技术应用方法有着深入的了解，考虑到测试对象具有庞大性与复杂性特征，制定完善的方案计划，按照系统的特点准确调整测试工作模式，确保兼容性测试的高效化落实，在测试之前应做好各项准备工作，测试期间也要全面记录观察分析问题，便于利用实验分析的方式增强系统的应用水平。探索性测试方法，在应用期间可以将其当作是拼图游戏，两者之间有着相似的逻辑，将各个独立性的碎片与成品画面之间相互对比，利用观察不同之处，明确碎片有无问题，预测系统在未来应用过程中是否会出现不足[7]。

完成相关的探索性大数据兼容性存储系统测试工作之后，专业性的测试人员应向设计部门提交有关的测试分析结果信息，检验、排查结果的准确性和详细性，便于设计部门按照测试的结果情况、系统的检验情况等针对性完善相应的系统设计模式，避免影响整体兼容性系统的设计水平、质量。需要注意的是，兼容性测试操作的环节中，如果出现了系统局部故障的现象，就要利用详细排查的方式明确故障发生位置和原因，如果有不明确的细节问题，要提前做好测试工作，实践操作分析之后探讨结果，将其融入到方案计划中，实现测试方案补充和完善的目的，具体的测试环节中还需分析已经出现故障问题的诱发因素，逐步排查后快速明确因素的情况，便于利用相应的测试方式应对处理，如果已经明确了测试方案，在测试期间，应严格控制方案落实和执行的时间差，一旦有时间方面的差异性就应做出调整和应对，避免影响整体测试检验工作水平[8]。

3.2 完善探索性测试的步骤

探索性测试工作主要涉及到测试之前的准备，测试过程中方案的制定，测试期间的同步性控制，操作的过程中，测试环节是否合理，直接影响兼容性测试效果，因此，应结合基于云计算环境之下的大数据兼容性存储系统设计内容和特点，不断健全其中的兼容性测试方案计划，保证整体测试工作的良好执行，为有关设计任务的落实提供保障，要求在使用探索性测试措施期间，测试工作人员可以对存储系统的特点性能与兼容性有着深入的了解，执行测试任务的过程中，遵循重点有限的基本原则，优先测试兼容性功能，之后测试其他功能，保证细节工作的合理性，避免引发测试工作的问题或难点[9]。

（1）最开始的阶段属于系统探索的环节，这个阶段要求测试工作人员学习与研究存储系统和相关的兼容软件知识，对所设计的系统功能特点与性能有着深入的掌握，明确在测试期间可能会出现故障或者隐患的概率，便于做好后续的各项操作工作、测试分析工作[10]。

（2）完成初期准备之后就要明确基于云计算环境之下大数据兼容性存储系统的核心功能，采用主体或是不同环节的局部测试与阶段性测试方式，在系统兼容性测试的操作期间，按照产品设计规定投入市场的周期规定等，不能无限性的进行兼容性测试，但是要在规定时间周期范围之内提交准确的测试结果，完善相关的工作方案，提取其中核心性并且对兼容性测试结果会产生一定影响的测试主体，针对性开展相应的研究工作，这样才能在一定周期时间范围之内，抓住重点测试。如果系统的生产设计周期时间很长，测试的时间非常宽裕，那么就要进行系统细致性的检验测试，保证每个细节功能的测试都能符合标准，值得一提的是，兼容性测试期间如果产品中对测试结果有影响的因素不能提前性了解，就应研究分析元件结构，设计结构和设计的内容，自主探索可能对兼容性测试结果造成一定影响的因素，做好观察记录工作[11]。

（3）应制定较为完善的兼容性测试工作方案计划，明确大数据兼容性存储系统，在测试期间的影响因素之后，测试人员就要结合具体的因素制定完善方案计划，同时要保证所编制的方案具备一定的恢复性特点，也就是在测试期间如果发生故障现象被迫中止，在暂停之后可以快速恢复，对其中的测试工作进行修改，另外，要求测试工作人员可以对安装方案内容分阶段全面性，分重点的操作，以免导致工作效果降低。

（4）测试的环节中要求工作人员准确进入各类数据信息，详细的反馈实验分析和测试的结果，仔细观察操作期间，系统出现的故障问题和不兼容的问题，记录其中出现的新影响因素和新问题，整理分类之后和设计部门进行沟通交流，便于设计部门按照测试结果不断整改和完善相关的大数据兼容性存储系统设计方案，为提升系统设计的优化性、完善性提供准确依据。另外，在使用探索性测试方式期间，应强化测试工作人员的专业性，要求所有人员在开展测试工作之前都要结合系统的特点和测试工作技术要求等，积极学习各类知识技能，能够增强各项测试工作的专业性程度、规范化水平，不会因为不专业操作或是不规范的行为影响探索性测试工作效果，利用专业化的手段检验系统的兼容性能与使用功能，为增强系统的应用效果、服务质量作出贡献[12]。

4 仿真实验分析设计效果

为增强云计算技术在大数据兼容性存储系统设计过程中应性能的检测效果，可采用与传统设计方式相互对比的仿真实验措施，检测分析数据库之内失真现象、失效现象的数据存储问题，便于按照具体的情况了解系统设计水平，在仿真实验之后可以发现，随着存储系统之内数据信息数量的增多，传统方法所设计的数据存储系统开始出现严重的数据失真现象与不良存储现象，失真的问题非常严重，表明了传统类型系统很难进行大量数据信息的兼容处理，无法满足大数据环境之下的数据存储基本需求，而在使用云计算技术设计系统之后，数据存储环节中失真问题发生率有所减少，可以证明在应用云计算之后大数据信息存储的兼容性较高，具有一定的应用优势，并且在相同的条件之下云计算技术所设计出来的数据存储系统，能够增强数据并行处理效果和减少数据处理的工作时间，兼容的水平有所提升，甚至能够达到100%。另外，在提供数据采集服务、处理服务、存储服务方面也能满足用户的操作需求，因此建议在设计大数据存储系统的过程中使用先进的云计算技术设计兼容性的系统[13]。

5 结语

综上所述，云计算技术和其所衍生的云存储技术，在大数据兼容性存储系统设计过程中，具有一定的重要意义，因此，在设计数据存储系统的过程中，应重点分析云计算技术和云存储技术的情况，按照大数据存储工作特点和需求等合理设计整体系统的架构与模式，完善其中的数据并行处理系统，在完成设计之后，还需使用探索性测试的方式明确存储系统的兼容性，经过仿真实验分析，可以发现云计算技术在相关的大数据兼容性存储系统设计中具有一定的应用价值，可以确保数据存储兼容性，值得进行推广。