最新公告
  • 欢迎您光临地衣除尘,本站秉承服务宗旨 履行“站长”责任,做国内最专业的站长资源平台!立即加入我们
  • 云计算与大数据根底知识

    云计算与大数据根底知识

    • 云计算是什么

    云计算就是统一部署的程序、统一存储并由相关程序统一管理着的数据!

    云计算cloud computing是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑与效劳器连接成一片电脑云。因此,云计算甚至可以让你体验每秒超过10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化与市场开展趋势。用户通过电脑、笔记本、手机等方式接入数据中心,按自己的需求进展运算。

    云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池〔资源包括网络,效劳器,存储,应用软件,效劳〕,这些资源能够被快速提供,只需投入很少的管理工作,或与效劳供给商进展很少的交互。

    通俗的理解是,云计算的“云〞就是存在于互联网上的效劳器集群上的资源,它包括硬件资源〔效劳器、存储器、CPU等〕与软件资源〔如应用软件、集成开发环境等〕,所有的处理都在云计算提供商所提供的计算机群来完成。

    用户可以动态申请局部资源,支持各种应用程序的运转,无需为繁琐的细节而烦恼,能够更加专注于自己的业务,有利于提高效率、降低本钱与技术创新。

    云计算的核心理念是资源池。

    • 云计算的根本原理

    云计算的根本原理是,在大量的分布式计算机集群上,对这些硬件根底设施通过虚拟化技术构建不同的资源池。如存储资源池、网络资源池、计算机资源池、数据资源池与软件资源池,对这些资源实现自动管理,部署不同的效劳供用户应用,这使得企业能够将资源切换成所需要的应用,根据需求访问计算机与存储系统。

    打个比方,这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进展流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进展传输的。

    • 云计算的特点

    1、支持异构根底资源

    云计算可以构建在不同的根底平台之上,即可以有效兼容各种不同种类的硬件与软件根底资源。硬件根底资源,主要包括网络环境下的三大类设备,即:计算(效劳器)、存储(存储设备)与网络(交换机、路由器等设备);软件根底资源,那么包括单机操作系统、中间件、数据库等。

    2、支持资源动态扩展

    支持资源动态伸缩,实现根底资源的网络冗余,意味着添加、删除、修改云计算环境的任一资源节点,或者任一资源节点异常宕机,都不会导致云环境中的各类业务的中断,也不会导致用户数据的丧失。这里的资源节点可以是计算节点、存储节点与网络节点。而资源动态流转,那么意味着在云计算平台下实现资源调度机制,资源可以流转到需要的地方。如在系统业务整体升高情况下,可以启动闲置资源,纳入系统中,提高整个云平台的承载能力。而在整个系统业务负载低的情况下,那么可以将业务集中起来,而将其他闲置的资源转入节能模式,从而在提高局部资源利用率的情况下,到达其他资源绿色、低碳的应用效果。

    3、支持异构多业务体系

    在云计算平台上,可以同时运行多个不同类型的业务。异构,表示该业务不是同一的,不是已有的或事先定义好的,而应该是用户可以自己创立并定义的效劳。这也是云计算与网格计算的一个重要差异。

    4、支持海量信息处理

    云计算,在底层,需要面对各类众多的根底软硬件资源;在上层,需要能够同时支持各类众多的异构的业务;而具体到某一业务,往往也需要面对大量的用户。由此,云计算必然需要面对海量信息交互,需要有高效、稳定的海量数据通信/存储系统作支撑。

    5、按需分配,按量计费

    按需分配,是云计算平台支持资源动态流转的外部特征表现。云计算平台通过虚拟分拆技术,可以实现计算资源的同构化与可度量化,可以提供小到一台计算机,多到千台计算机的计算能力。按量计费起源于效用计算,在云计算平台实现按需分配后,按量计费也成为云计算平台向外提供效劳时的有效收费形式。

    • 云计算按运营模式分类

    1、公有云

    公有云通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过 Internet 使用,可能是免费或本钱低廉的。

    优点:A、平安。云计算提供了最可靠、最平安的数据存储中心,用户不用再担忧数据丧失、病毒入侵等麻烦。B、方便。云计算对用户端的设备要求最低,使用起来也最方便。C、数据共享。云计算可以轻松实现不同设备间的数据与应用共享。D、无限可能。云计算为我们使用网络提供了几乎无限多的可能。

    2、私有云

    私有云(Private Clouds)是为一个客户单独使用而构建的,因而提供对数据、平安性与效劳质量的最有效控制。该公司拥有根底设施,并可以控制在此根底设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个平安的主机托管场所。

    优点:A.数据平安;B.效劳质量稳定;C.充分利用现有硬件资源与软件资源 ;D. 不影响现有IT管理的流程——假设使用公有云的话,将会对IT部门流程有很多的冲击,比方在数据管理方面与平安规定等方面。

    3、混合云

    混合云融合了公有云与私有云,是近年来云计算的主要模式与开展方向。私有云主要是面向企业用户,出于平安考虑,企业更愿意将数据存放在私有云中,但是同时又希望可以获得公有云的计算资源,在这种情况下混合云被越来越多的采用,它将公有云与私有云进展混合与匹配,以获得最正确的效果,这种个性化的解决方案,到达了既省钱又平安的目的。

    • 云计算按效劳模式分类

    一般来讲,云计算平台效劳模式为如下的架构,如图 1 所示。

    图1 云计算平台架构

    最下的一层是 IaaS(Infrastructure-as-a- Service):根底设施即效劳,提供 CPU,网络,存储等根底硬件的云效劳。

    再上一层是 PaaS(Platform-as-a- Service):平台即效劳,提供类似于操作系统层次的效劳与管理。

    最后一层是 SaaS(Software-as-a- Service):软件即效劳,就是我们所熟悉的软件即效劳。事实上 SaaS 的概念的出现要早于云计算,只不过云计算的出现让原来的 SaaS 找到了自己更加合理的位置。本质上,SaaS 的理念是:有别的传统的许可证付费方式 ( 比方购置 Windows Office),SaaS 强调按需使用付费。

    • 云计算根底架构

    1、传统的IT部署架构是“烟囱式〞的,或者叫做“专机专用〞系统。

    图2 传统IT根底架构

    这种部署模式主要存在的问题有以下两点:

    硬件高配低用。考虑到应用系统未来3~5年的业务开展,以与业务突发的需求,为满足应用系统的性能、容量承载需求,往往在选择计算、存储与网络等硬件设备的配置时会留有一定比例的余量。但硬件资源上线后,应用系统在一定时间内的负载并不会太高,使得较高配置的硬件设备利用率不高。

    整合困难。用户在实际使用中也注意到了资源利用率不高的情形,当需要上线新的应用系统时,会优先考虑部署在既有的根底架构上。但因为不同的应用系统所需的运行环境、对资源的抢占会有很大的差异,更重要的是考虑到可靠性、稳定性、运维管理问题,将新、旧应用系统整合在一套根底架构上的难度非常大,更多的用户往往选择新增与应用系统配套的计算、存储与网络等硬件设备。

    这种部署模式,造成了每套硬件与所承载应用系统的“专机专用〞,多套硬件与应用系统构成了“烟囱式〞部署架构,使得整体资源利用率不高,占用过多的机房空间与能源,随着应用系统的增多,IT资源的效率、扩展性、可管理性都面临很大的挑战。

    2、云计算根底架构

    图3云计算根底架构

    云根底架构在传统根底架构计算、存储、网络硬件层的根底上,增加了虚拟化层、云层:

    虚拟化层:大多数云根底架构都广泛采用虚拟化技术,包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层,屏蔽了硬件层自身的差异与复杂度,向上呈现为标准化、可灵活扩展与收缩、弹性的虚拟化资源池;

    云层:对资源池进展调配、组合,根据应用系统的需要自动生成、扩展所需的硬件资源,将更多的应用系统通过流程化、自动化部署与管理,提升IT效率。

    相对于传统根底架构,云根底架构通过虚拟化整合与自动化,应用系统共享根底架构资源池,实现高利用率、高可用性、低本钱、低能耗,并且通过云平台层的自动化管理,实现快速部署、易于扩展、智能管理,帮助用户构建IaaS(根底架构即效劳)云业务模式。

    • 桌面云〔桌面虚拟化〕

    1、桌面虚拟化是指:支持企业级实现桌面系统的远程动态访问与数据中心统一托管的技术。一个形象的类比,就是今天,我们可以通过任何设备、在任何地点,任何时间访问在网络上的我们的邮件系统,或者网盘;而未来我们可以通过任何设备,在任何地点,任何时间访问在网络上的属于我们个人的桌面系统。

    2、桌面虚拟化是在物理效劳器上安装虚拟主机系统,由虚拟主机系统模拟出操作系统运行所需要的硬件资源,如:CPU、内存、网卡、存储等。操作系统运行在这些虚拟的硬件资源之上,可以到达多个操作系统共享物理效劳器的硬件资源,从而提高资源利用率。虚拟桌面的存储与执行〔包括操作系统、应用程序与用户数据〕都集中在数据中心,用户使用终端设备通过远程协议〔如:RDP、ICA、PCoIP〕进展访问。桌面虚拟化将所有桌面虚拟机在数据中心进展托管并统一管理;同时用户能够获得完整PC的使用体验。用户可以通过瘦客户端,或者类似的设备在局域网或者远程访问获得与传统PC一致的用户体验。是一种仅将操作系统桌面呈现在用户面前的技术,由效劳器端完成运算。可以结合效劳器虚拟化与应用虚拟化进展。

    3、特点

    〔1〕快速、灵活部署:按需申请、快速发放、无需搬运沉重的PC主机,统一接入、随时随地访问;

    〔2〕提高资源利用率:统一管理后台数据中心资源,并统一进展调度管理,将资源的利用率最大化;

    〔3〕数据存放平安可靠:数据存放在后台数据中心,平安可靠。并且访问虚拟桌面时在网络上传输的都是图片信息,不易被他人通过网络窃取信息;

    〔4〕维护便利:瘦终端无须软件维护;虚拟桌面维护工作可在后台统一进展,非常便利;

    〔5〕节能减排:采用桌面虚拟化系统,因“瘦终端〞功耗很低,同时,数据中心的资源利用率又较高,因此,可到达节省本钱、节能减排的目标。

    • 什么是大数据?

    “大数据〞是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型与价值密度低四大特征。

    大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进展专业化处理。

    从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进展处理,必须采用分布式架构。它的特色在于对海量数据进展分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库与云存储、虚拟化技术。

    大数据需要特殊的技术,以有效地处理大量的数据。适用于大数据的技术,包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网与可扩展的存储系统。

    • 大数据的特征

    大数据特征定义为4V,即规模性〔Volume〕、高速性〔Velocity〕、多样性〔Variety〕与价值性〔Value〕。

    1.规模性〔Volume〕

    数据巨大的数据量以与其规模的完整性,非构造化数据规模比构造化数据增长快,数据的存储量与产生量巨大,数据具有完整性。

    2.高速性〔Velocity〕

    实时分析产生的数据流以与大数据。现实中对数据的实时性要求较高,能够在第一时间抓到事件发生的信息。当有大量数据输入或必须做出反响时能够迅速对数据进展分析。

    3.多样性〔Variety〕

    多样性指有多种途径来源的关系型与非关系型数据。有很多不同的形式,除了简单的文本分析外,还可以对机器数据、图像、视频、点击流以与其他任何可用的信息进展分析。利用大数据多样性的原理就是:保存一切对你有用的你需要的信息,丢弃那些你不需要的信息。发现那些有关联的数据,加以收集、分析、加工,使其变成可以利用的信息。

    4.价值性〔Value〕

    合理利用低密度价值的数据并对其进展正确、准确的分析,将会带来很高的价值回报。

    • 大数据相关的技术

    1、云技术

    大数据常与云计算联系到一起,因为实时的大型数据分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据那么是电。

    两者的关系:没有大数据的信息积淀,那么云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,那么大数据的信息积淀再丰富,也终究只是镜花水月。

    图4 大数据与云计算的关系

    2、分布式处理技术

    分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来,在控制系统的统一管理控制下,协调地完成信息处理任务。

    3、存储技术

    大数据存储要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层与精简配置等提高存储效率的工具。拥有了虚拟化存储,用户可以将来自内部与外部存储系统中的构造化与非构造化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时,自动分层与精简配置功能就可以扩展到整个存储根底设施层面。在这种情况下,用户可以轻松实现容量回收与容量利用率的最大化,并延长现有存储系统的寿命,显著提高IT系统的灵活性与效率,以满足非构造化数据增长的需求。

    4、感知技术

    大数据的采集与感知技术的开展是严密联系的。以传感器技术,指纹识别技术,RFID技术,坐标定位技术等为根底的感知能力提升同样是物联网开展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量与传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,都会产生海量的数据信息。

    • 工业大数据

    工业大数据是指在工业领域信息化应用中所产生的大数据。随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/CAM/CAE/CAI等技术在工业企业中得到广泛应用,尤其是互联网、移动互联网、物联网等新一代信息技术在工业领域的应用,工业企业也进入了互联网工业的新的开展阶段,工业企业所拥有的数据也日益丰富。工业企业中生产线处于高速运转,由工业设备所产生、采集与处理的数据量远大于企业中计算机与人工产生的数据,从数据类型看也多是非构造化数据,生产线的高速运转那么对数据的实时性要求也更高。因此,工业大数据应用所面临的问题与挑战并不比互联网行业的大数据应用少,某些情况下甚至更为复杂。

    工业大数据应用将带来工业企业创新与变革的新时代。通过互联网、移动物联网等带来的低本钱感知、高速移动连接、分布式计算与高级分析,信息技术与全球工业系统正在深入融合,给全球工业带来深刻的变革,创新企业的研发、生产、运营、营销与管理方式。这些创新不同行业的工业企业带来了更快的速度、更高的效率与更高的洞察力。工业大数据的典型应用包括产品创新、设备故障诊断与预测、工业生产线物联网分析、工业企业供给链优化与产品精准营销等各个方面。

    工业生产线物联网分析大数据应用:现代化工业制造生产线安装有数以千计的小型传感器,来探测温度、压力、热能、振动与噪声。因为每隔几秒就收集一次数据,利用这些数据可以实现很多形式的分析,包括设备诊断、用电量分析、能耗分析、质量事故分析〔包括违反生产规定、零部件故障〕等。例如,在能耗分析方面,在设备生产过程中利用传感器集中监控所有的生产流程,能够发现能耗的异常或峰值情形,由此便可在生产过程中优化能源的消耗,对所有流程进展分析将会大大降低能耗。

    • 大数据对企业管理的影响

    1、大数据对企业管理思想的影响

    大数据时代的降临改变了企业的内外部环境,引起了企业的变革与开展。企业越来越智能化,管理实现了信息化。企业中的数据收集、传输利用需要现代管理思想的支撑。

    大数据环境下的企业管理应当以人为本,在实践的根底上运用现代信息化技术,采用柔性管理,将数据当作附加资产来对待。企业运营离不开数据的支撑,企业管理当中如果不能够深刻认识到大数据的重要性,仅仅以公司短期盈利作为目标,是缺乏战略性的思考。有效的利用数据分析结果,提前进展预测,抓住市场先机、顾客需求,就能主动赢得市场,才能在企业管理与销售业绩上创造出更大的财富。

    2、大数据对企业管理决策的影响

    大数据背景下的数据分析利用是企业决策的关键。首先,大数据的决策需要大市场的数据。基于云计算的大数据环境影响到企业信息收集方式、决策方案选择、决策方案制定与评估等决策实施过程,对企业的管理决策产生影响。大数据决策的特点表达在数据驱动型决策,大数据环境下的管理决策对于企业不仅是一门技术,更是一种全新的决策方式、业务模式,企业必须适应大数据环境对管理决策的新挑战。

    其次,大数据对决策者与决策组织提出了更高的要求。大数据时代改变了过去依靠经历、管理理论与思想的决策方式。管理决策层根据大数据分析结果发现与解决问题、预测机遇与挑战、躲避风险。这就要求决策层具有较高的决策水平。由于大数据背景下需要企业全员的参与,动态变动环境下,决策权力更加分散才有利于企业做出正确的决策。这就要求企业的组织更加趋于扁平化。

    3.大数据对企业人力资源管理的影响

    人力资源是企业中最珍贵的资源,是企业创造核心竞争力的根底。基于大数据技术,企业将大大提高人力资源管理的效率与质量。有效的加快人力资源工作从过去的经历管理模式向战略管理模式的转变。

    公司从员工招聘到绩效考核与培训,积累了大量的各类非线性数据,这些数据都是无形的资产,利用大数据技术,将这些数据进展整合分析利用,能够为企业带来巨大奉献。首先,在员工招聘上,只需将单位用人要求与员工各项能力数据相匹配,结合人力资源招聘的经历,便可轻松选出符合要求的员工。其次,在绩效考核上,进展标准化管理,将员工日常的各类数据进展分析,设定等级标准,即可得出客观公正的考核结果。这大大排除了绩效管理的主观性与不全面性。最后,根据大数据的分析结果,针对不同员工区别培训,更有效率的提高了培训水平。

    4.大数据对企业财务管理的影响

    大数据使财务管理的模式与工作理念颠覆性的改变。首先,财务管理更加稳健。公司将各类财务数据在大数据技术下进展开掘,提纯出更多有用的财务信息,与早的发现财务风险,为管理决策者提供重要的决策依据,做出正确的决断。其次,财务数据的处理更加与时高效。财务数据在企业日常运营当中举足轻重,企业的各项交易都依赖于财务数据的分析,企业基于大数据,通过对财务数据的分析与处理,能够改良财务管理工作的运行模式,并且是有效率的,企业资金资本运作本钱降低与压缩了,利润相应提高了。企业资源最丰富的积累,最根底的财务数据,通过大数据技术进展对财务数据整理与分析,实现了企业价值增值。

    • 效劳器分类

    1、台式效劳器〔塔式效劳器〕

    台式效劳器也称为“塔式效劳器〞。有的台式效劳器采用大小与普通立式计算机大致相当的机箱,有的采用大容量的机箱,像个硕大的柜子。低档效劳器由于功能较弱,整个效劳器的内部构造比拟简单,所以机箱不大,都采用台式机箱构造。这里所介绍的台式不是平时普通计算机中的台式,立式机箱也属于台式机范围,这类效劳器在整个效劳器市场中占有相当大的份额。

    图5 台式效劳器

    优点:塔式效劳器它的外形以与构造都跟我们平时使用的立式PC差不多,由于效劳器的主板扩展性较强、插槽也多出一堆,所以个头比普通主板大一些,因此塔式效劳器的主机机箱也比标准的ATX机箱要大,一般都会预留足够的内部空间以便日后进展硬盘与电源的冗余扩展。

    由于塔式效劳器的机箱比拟大,效劳器的配置也可以很高,冗余扩展更可以很齐备,所以它的应用范围非常广,应该说目前使用率最高的一种效劳器就是塔式效劳器。

    缺点:目前常见的入门级与工作组级效劳器根本上都采用这一效劳器构造类型,不过由于只有一台主机,即使进展升级扩张也有个限度,所以在一些应用需求较高的企业中,单机效劳器就无法满足要求了,需要多机协同工作,而塔式效劳器个头太大,独立性太强,协同工作在空间占用与系统管理上都不方便,这也是塔式效劳器的局限性。不过,总的来说,这类效劳器的功能、性能根本上能满足大局部企业用户的要求,其本钱通常也比拟低,因此这类效劳器还是拥有非常广泛的应用支持。

    2、机架式效劳器

    机架式效劳器的外形看来不像计算机,而像交换机,有1U〔1U=1.75英寸〕、2U、4U等规格。机架式效劳器安装在标准的19英寸机柜里面。这种构造的多为功能型效劳器。

    图6 机架式效劳器

    优点:作为为互联网设计的效劳器模式,机架效劳器是一种外观按照统一标准设计的效劳器,配合机柜统一使用。可以说机架式是一种优化构造的塔式效劳器,它的设计宗旨主要是为了尽可能减少效劳器空间的占用,而减少空间的直接好处就是在机房托管的时候价格会廉价很多。

    很多专业网络设备都是采用机架式的构造〔多为扁平式,就像个抽屉〕,如交换机、路由器、硬件防火墙这些。机架效劳器的宽度为19英寸,高度以U为单位〔1U=1.75英寸=44.45毫米〕,通常有1U,2U,3U,4U,5U,7U〕几种标准的效劳器。机柜的尺寸也是采用通用的工业标准,通常从22U到42U不等;机柜内按U的高度有可拆卸的滑动拖架,用户可以根据自己效劳器的标高灵活调节高度,以存放效劳器、集线器、磁盘阵列柜等网络设备。效劳器摆放好后,它的所有I/O线全部从机柜的前方引出〔机架效劳器的所有接口也在前方〕,统一安置在机柜的线槽中,一般贴有标号,便于管理。

    缺点:机架式效劳器因为空间比塔式效劳器大大缩小,所以这类效劳器在扩展性与散热问题上受到一定的限制,配件也要经过一定的筛选,一般都无法实现太完整的设备扩张,所以单机性能就比拟有限,应用范围也比拟有限,只能专注于某一方面的应用,如远程存储与Web效劳的提供等

    3、刀片式效劳器

    刀片式效劳器是一种HAHD〔High Availability High Density,高可用高密度〕的低本钱效劳器平台,是专门为特殊应用行业与高密度计算机环境设计的,其中每一块“刀片〞实际上就是一块系统母板,类似于一个个独立的效劳器。在这种模式下,每一个母板运行自己的系统,效劳于指定的不同用户群,相互之间没有关联。不过可以使用系统软件将这些母板集合成一个效劳器集群。在集群模式下,所有的母板可以连接起来提供高速的网络环境,可以共享资源,为一样的用户群效劳。刀片式效劳器目前最适合群集计算与IxP提供互联网效劳。

    图7 刀片效劳器

    优点:

    〔1〕大大降低运行管理费用

    〔2〕高处理能力密度,节省珍贵空间与占地费用

    〔3〕耗电低,降低电费

    〔4〕可靠性设计更加完善,减少停机时间

    〔5〕电缆连接点大大减少

    〔6〕冗余交换模块与电缆连接

    缺点:

    〔1〕刀片效劳器比机架式效劳器更节省空间,同时,散热问题也更突出,往往要在机箱内装上大型强力风扇来散热。

    〔2〕工具本钱高昂:刀片机箱本钱昂贵,可以插入14块或16块效劳器,适合10台效劳器以上的应用环境。

    • 云存储

    云存储系统是指通过集群技术、网格计算或分布式文件系统等技术,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储与业务访问功能的一个系统,云存储就是将存储资源放到云上供人存储的技术,使用者可以在任何时间、任何地方,透过任何可联网的装置连接到云上方便存取数据。云存储系统的所有设备对用户来说都是透明的,任何地方的任何一个经过授权的使用者都可以通过任何接入线缆与云存储连接,对云存储进展数据访问。

    存储层是云存储最根底的局部。存储设备可以是FC光纤通道存储设备,可以是NAS与 iSCSI等IP存储设备,也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布在不同地域。彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。

    存储方式主要有:DAS、NAS、SAN。

    1、DAS存储 〔直连式存储Direct-Attached Storage〕

    图8 DAS存储

    DAS存储在我们生活中是非常常见的,尤其是在中小企业应用中,DAS是最主要的应用模式,存储系统被直连到应用的效劳器中,在中小企业中,许多的数据应用是必须安装在直连的DAS存储器上。

    DAS存储更多的依赖效劳器主机操作系统进展数据的IO读写与存储维护管理,数据备份与恢复要求占用效劳器主机资源〔包括CPU、系统IO等〕,数据流需要回流主机再到效劳器连接着的磁带机〔库〕,数据备份通常占用效劳器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进展,以免影响正常业务系统的运行。直连式存储的数据量越大,备份与恢复的时间就越长,对效劳器硬件的依赖性与影响就越大。

    直连式存储与效劳器主机之间的连接通道通常采用SCSI连接,随着效劳器CPU的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI通道将会成为IO瓶颈;效劳器主机SCSI 的ID资源有限,能够建立的SCSI通道连接有限。

    无论直连式存储还是效劳器主机的扩展,从一台效劳器扩展为多台效劳器组成的群集(Cluster),或存储阵列容量的扩展,都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业7×24小时效劳的关键业务系统,这是不可承受的。并且直连式存储或效劳器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。

    2、NAS存储 〔网络接入存储Network-Attached Storage〕

    图9 NAS存储

    NAS存储也通常被称为附加存储,顾名思义,就是存储设备通过标准的网络拓扑构造(例如以太网)添加到一群计算机上。NAS是文件级的存储方法,它的重点在于帮助工作组与部门级机构解决迅速增加存储容量的需求。如今用户采用NAS较多的功能是用来文档共享、图片共享、电影共享等等,而且随着云计算的开展,一些NAS厂商也推出了云存储功能,大大方便了企业与个人用户的使用。

    NAS产品是真正即插即用的产品。NAS设备一般支持多计算机平台,用户通过网络支持协议可进入一样的文档,因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内,同时NAS的应用非常灵活。

    但NAS又一个关键性问题,即备份过程中的带宽消耗。与将备份数据流从LAN中转移出去的存储区域网〔SAN〕不同,NAS仍使用网络进展备份与恢复。NAS 的一个缺点是它将存储事务由并行SCSI连接转移到了网络上。这就是说LAN除了必须处理正常的最终用户传输流外,还必须处理包括备份操作的存储磁盘请求。

    3、SAN存储 〔存储区域网络Storage Area Network〕

    图10 SAN存储

    存储区域网络,从名字上我们也可以看出,这个是通过光纤通道交换机连接存储阵列与效劳器主机,最后成为一个专用的存储网络。SAN经过十多年历史的开展,已经相当成熟,成为业界的事实标准〔但各个厂商的光纤交换技术不完全一样,其效劳器与SAN存储有兼容性的要求〕。

    SAN提供了一种与现有LAN连接的简易方法,并且通过同一物理通道支持广泛使用的SCSI与IP协议。SAN不受现今主流的、基于SCSI存储构造的布局限制。特别重要的是,随着存储容量的爆炸性增长,SAN允许企业独立地增加它们的存储容量。SAN的构造允许任何效劳器连接到任何存储阵列,这样不管数据置放在那里,效劳器都可直接存取所需的数据。因为采用了光纤接口,SAN还具有更高的带宽。

    如今的SAN解决方案通常会采取以下两种形式:光纤信道以与iSCSI或者基于IP的SAN,也就是FC SAN与IP SAN。光纤信道是SAN解决方案中大家最熟悉的类型,但是,最近一段时间以来,基于iSCSI的SAN解决方案开场大量出现在市场上,与光纤通道技术相比拟而言,这种技术具有良好的性能,而且价格低廉。

    SAN真正的综合了DAS与NAS两种存储解决方案的优势。例如,在一个很好的SAN解决方案实现中,你可以得到一个完全冗余的存储网络,这个存储网络具有不同寻常的扩展性,确切地说,你可以得到只有NAS存储解决方案才能得到的几百T字节的存储空间,但是你还可以得到块级数据访问功能,而这些功能只能在DAS解决方案中才能得到。对于数据访问来说,你还可以得到一个合理的速度,对于那些要求大量磁盘访问的操作来说,SAN显得具有更好的性能。利用SAN解决方案,你还可以实现存储的集中管理,从而能够充分利用那些处于空闲状态的空间。更有优势的一点是,在某些实现中,你甚至可以将效劳器配置为没有内部存储空间的效劳器,要求所有的系统都直接从SAN〔只能在光纤通道模式下实现〕引导。这也是一种即插即用技术。

    SAN确实具有这些伟大的优点,那么,SAN的缺陷在哪里?SAN有两个较大的缺陷:本钱与复杂性,特别是在光纤信道中这些缺陷尤其明显。使用光纤信道的情况下,合理的本钱大约是1TB或者2TB大概需要五万到六万美金。从另一个角度来看,虽然新推出的基于iSCSI的SAN解决方案大约只需要两万到三万美金,但是其性能却无法与光纤信道相比拟。在价格上的差异主要是由于iSCSI技术使用的是现在已经大量生产的头发千兆以太网硬件,而光纤通道技术要求采用特定的设备,价格昂贵。

    因为SAN解决方案是从根本功能剥离出存储功能,所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案也使得管理与集中控制实现简化,特别是对于全部存储设备都集群在一起的时候。最后一点,光纤接口提供了10公里的连接长度,这使得实现物理上别离的、不在机房的存储变得非常容易。

    SAN网络最重要的三个组成局部就是:设备接口(如SCSI、光纤通道、ESCON等)、连接设备(交换机、网关、路由器、Hub等)与通信控制协议(如IP与SCSI等)。这三个组件再加上附加的存储设备与效劳器,构成一个SAN系统。

    • 网络设备
    • 交换机

    交换机〔switch〕是一种在通信系统中完成信息交换功能的设备。

    交换机的主要功能包括物理编址、网络拓扑构造、错误校验、帧序列以与流控。目前交换机还具备了一些新的功能,如对VLAN〔虚拟局域网〕的支持、对链路会聚的支持,甚至有的还具有防火墙的功能。

    〔1〕核心交换机

    核心交换机并不是交换机的一种类型,而是放在核心层〔网络主干局部〕的交换机叫核心交换机。核心交换机应当全部采用模块化构造,必须拥有相当数量的插槽,具有强大的网络扩展能力,以保护原有的投资。

    在企业网与教学网中,一般会将三层交换机用在网路的核心层,用三层交换机上的千兆埠或百兆埠连接不同的子网或VLAN。不过应清醒认识到三层交换机出现最重要的目的是加快大型区域网内部的数据交换,所具备的路由功能也多是围绕这一目的而展开的,所以它的路由功能没有同一档次的专业路由器强。毕竟在平安、协议支持等方面还有许多欠缺,并不能完全取代路由器工作。

    图11 核心交换机

    〔2〕光纤交换机

    光纤交换机是一种高速的网络传输中继设备,它较普通交换机而言采用了光纤电缆作为传输介质。光纤传输的优点是速度快、抗干扰能力强。

    光纤交换机特别适合于信息点接入距离超出五类线接入距离、需要抗电磁干扰以与需要通信保密等场适宜用的领域包括:住宅小区FTTH宽带接入网络;企业高速光纤局域网;高可靠工业集散控制系统〔DCS〕;光纤数字视频监控网络;医院高速光纤局域网;校园网络。

    图12 光纤交换机

    〔3〕接入层交换机

    常将网络中直接面向用户连接或访问网络的局部称为接入层,将位于接入层与核心层之间的局部称为分布层或会聚层。接入交换机一般用于直接连接电脑,会聚交换机一般用于楼宇间。会聚相当于一个局部或重要的中转站,核心相当于一个出口或总汇总。原来定义的会聚层的目的是为了减少核心的负担,将本地数据交换机流量在本地的会聚交换机上交换,减少核心层的工作负担,使核心层只处理到本地区域外的数据交换。

    图13 接入层交换机

    〔4〕光纤收发器

    光纤收发器,是一种将短距离的双绞线电信号与长距离的光信号进展互换的以太网传输媒体转换单元,在很多地方也被称之为光电转换器〔Fiber Converter〕。产品一般应用在以太网电缆无法覆盖、必须使用光纤来延长传输距离的实际网络环境中,且通常定位于宽带城域网的接入层应用;如:监控平安工程的高清视频图像传输;同时在帮助把光纤最后一公里线路连接到城域网与更外层的网络上也发挥了巨大的作用。

    图14 光纤收发器

    • 路由器

    路由器〔Router〕,是连接因特网中各局域网、广域网的设备,它会根据信道的情况自动选择与设定路由,以最正确路径,按前后顺序发送信号。 路由器是互联网络的枢纽,”交通警察”。目前路由器已经广泛应用于各行各业,各种不同档次的产品已成为实现各种骨干网内部连接、骨干网间互联与骨干网与互联网互联互通业务的主力军。

    路由器与交换机之间的主要区别就是交换机发生在OSI参考模型第二层〔数据链路层〕,而路由发生在第三层,即网络层。这一区别决定了路由与交换机在移动信息的过程中需使用不同的控制信息,所以说两者实现各自功能的方式是不同的。

    路由器〔Router〕又称网关设备〔Gateway〕是用于连接多个逻辑上分开的网络,所谓逻辑网络是代表一个单独的网络或者一个子网。当数据从一个子网传输到另一个子网时,可通过路由器的路由功能来完成。因此,路由器具有判断网络地址与选择IP路径的功能,它能在多网络互联环境中,建立灵活的连接,可用完全不同的数据分组与介质访问方法连接各种子网,路由器只承受源站或其他路由器的信息,属网络层的一种互联设备。

    (1)从构造上分为“模块化路由器〞与“非模块化路由器〞。

    模块化路由器主要是指该路由器的接口类型与局部扩展功能是可以根据用户的实际需求来配置的路由器,这些路由器在出厂时一般只提供最根本的路由功能,用户可以根据所要连接的网络类型来选择相应的模块,不同的模块可以提供不同的连接与管理功能。例如,绝大多数模块化路由器可以允许用户选择网络接口类型,有些模块化路由器可以提供VPN等功能模块,有些模块化路由器还提供防火墙的功能,等等。目前的多数高端路由器都是模块化路由器。

    ​非模块化路由器都是低端路由器,平时家用的即为这类非模块化路由器。该类路由器主要用于连接家庭或ISP内的小型企业客户。它不仅提供SLIP或PPP连接,还支持诸如PPTP与IPSec等虚拟私有网络协议。这些协议要能在每个端口上运行。

    (2)从功能上划分,可将路由器分为“骨干级路由器〞,“企业级路由器〞与“接入级路由器〞。

    a、骨干级路由器是实现企业级网络互连的关键设备,它数据吞吐量较大,非常重要。对骨干级路由器的根本性能要求是高速度与高可靠性。为了获得高可靠性,网络系统普遍采用诸如热备份、双电源、双数据通路等传统冗余技术,从而使得骨干路由器的可靠性一般不成问题。

    b、企业级路由器连接许多终端系统,连接对象较多,但系统相对简单,并且数据流量较小,对这类路由器的要求是以尽量廉价的方法实现尽可能多的端点互连,同时还要求能够支持不同的效劳质量。

    c、接入级路由器主要应用于连接家庭或ISP内的小型企业客户群体。

     

    请拨打全国免费咨询热线:400-160-6690,联络我们的专业销售人员,其他更多信息,请浏览公司官网(www.cd-estt.com

     

    机房清洗
    机房除尘
    机房带电清洗
    大数据中心开荒
    大数据中心保洁
    服务器除尘
    服务器清洗
    服务器带电清洗
    交换机带电清洗
    交换机除尘
    交换机清洗
    UPS电源清洗
    UPS电源带电清洗
    UPS电源除尘
    大数据开荒保洁
    大数据机房开荒保洁
    高低压配电柜带电清洗
    配电柜带电清洗

    地衣科技室一家专业做机房清洗的公司。
    地衣除尘 » 云计算与大数据根底知识

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。 若排除这种情况,可在对应资源底部留言,或 联络我们.。
    你们有qq群吗怎么加入?
    当然有的,如果你是帝国cms、易优cms、和pbootcms系统的爱好者你可以加入我们的QQ千人交流群http://www.vipestt.com/page-qun.html。

    发表评论

    • 106会员数(个)
    • 316资源数(个)
    • 0本周更新(个)
    • 0 今日更新(个)
    • 1532稳定运行(天)

    提供最优质的机房除尘方案

    立即查看 了解详情
    开通VIP 享更多特权,建议使用 QQ 登录