<blockquote id="pww52"></blockquote>

          <div id="pww52"><tr id="pww52"><object id="pww52"></object></tr></div>
          <div id="pww52"></div>
        1. <div id="pww52"></div>
        2. 首页 > 大数据 > 正文

          什么是大数据架构?

          2019-03-21 15:21:06  来源:企业网D1Net

          摘要:大数据架构是用于摄取和处理大量数据(通常称为“大数据”)的总体系?#24120;?#22240;此可以针对业务目的进行分析。该架构可视为基于组织业务需求的大数据解决方案的蓝图。
          关键词: 大数据 架构
            大数据架构是用于摄取和处理大量数据(通常称为“大数据”)的总体系?#24120;?#22240;此可以针对业务目的进行分析。该架构可视为基于组织业务需求的大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作:
           
            批量处理大数据?#30784;?/div>
            实时处理大数据。
            预测分析和机器学习。
           
            精心设计的大数据架构可以节省企业资金,并帮助其预测未来趋势,从而做出明智的业务决策。
           
            大数据架构的?#20040;?/strong>
           
            可用于分析的数据量每天都在增长。而且,流媒体资源比以往更多,其中包括流量传感器、健康传感器、事务日志和活动日志中提供的数据。但拥有数据只是业务成功的一半。企业还需要能够理解数据,并及时使用它来影响关键决策。使?#20040;?#25968;据架构可以帮助企业节省资金并做出关键决策,其中包括:
           
            降?#32479;?#26412;。在存储大量数据时,Hadoop和基于云计算的分析等大数据技术可以显著地降?#32479;?#26412;。
           
            做出更快、更好的决策。使?#20040;?#25968;据架构的流组件,企业可以实时做出决策。
           
            预测未来需求并创建新产品。大数据可以帮助企业衡量客户需求并使用分析预测未来趋势。
           
            大数据架构的挑战
           
            如果做得好,大数据架构可以为企业节省资金,并帮助预测重要的趋势,但它并非没有挑?#20581;?#22312;处理大数据时,需要注意以下问题:
           
            (1)数据质量
           
            无论何时使用各种数据源,数据质量都是一项挑?#20581;?#36825;意味着企业需要做的工作是确保数据格式匹配,并且没有重复数据或缺少数据将会使分析不可靠。企业需要先分析和准备数据,然后才能将其与其他数据一起进行分析。
           
            (2)扩展
           
            大数据的价值在于其数量。但是,这也可能成为一个重要问题。如果企业尚未设计架构以进行扩展,则可能会很快遇到问题。首先,如果企业不计划支持基础设施,那么支持基础设施的成本就会增加。这可能会给企业的预算带来负担。其次,如果企业不打算进行扩展,那么其性能可能会显著下降。这两个问题都应该在构建大数据架构的规划阶段得到解决。
           
            (3)安全性
           
            虽然大数据可以为企业提供对数据的深入了解,但保护这些数据仍然具有挑战性。欺诈者和黑客可能对企业的数据非常?#34892;?#36259;,他们可能会尝试添加自己的伪造数据或浏览企业的数据以获取敏?#34892;?#24687;。网络犯罪分子可以制作数据并将其引入其数据湖。例如,假设企业跟踪网站点击次数以发现流量中的异常模式,并在其网站上查找犯罪活动,网络犯罪分子可以渗透企业的系?#24120;?#22312;企业的大数据中可以?#19994;?#22823;量的敏?#34892;?#24687;,如果企业没有保护周边环?#24120;用?#25968;据并努力匿名化数据以移除敏?#34892;?#24687;的话,网络犯罪分子可能会挖掘其数据以获取这些信息。
           
            大数据架构因公司的基础设施和需求而异,但通常包含以下组件:
           
            数据?#30784;?/strong>所有大数据架构都从源代码开始。这可以包括来自数据库的数据、来自实时源(如物联网设备)的数据,以及从应用程序(如Windows日志)生成的静态文件。
           
            实时消息接收。如果有实时源,则需要在架构中构建一种机制来摄取数据。
           
            数据存储。企业需要存储将通过大数据架构处理的数据。通常,数据将存储在数据湖?#26657;?#36825;是一个可以轻松扩展的大型非结构化数据库。
           
            批处理和实时处理的组合。企业需要同时处理实时数据和静态数据,因此应在大数据架构中内置批量和实时处理的组合。这是因为可以使用批处理?#34892;?#22320;处理大量数据,而实时数据需要立即处理才能带来价值。批处理涉及到长时间运行的作业,用于筛选、聚合和准备数据进行分析。
           
            分析数据存储。准备好要分析的数据后,需要将它们放在一个位置,以便对整个数据集进行分析。分析数据存储的重要性在于,企业的所有数据都集中在一个位置,因此其分析将是全面的,并且针对分析而非事务进行了优化。这可能采取基于云计算的数据仓库或关系数据库的?#38382;劍?#20855;体取决于企业的需求。
           
            分析或报告工具。在摄取和处理各种数据源之后,企业需要包含一个分析数据的工具。通常,企业将使用BI(商业智能)工具来完成这项工作,并且可能需要数据科学家来探索数据。
           
            自动化。通过这些不同的系统移动数据需要通常以?#25345;中问?#30340;自动化进行编排。数据的摄取和转换、批量移动和流处理,将其加载到分析数据存储,最后获得洞察力必须在可重复的工作流程?#26657;?#20197;便企业可以不断从大数据中获取洞察力。

          第二十八届CIO班招生
          法国布雷斯特商学院MBA班招生
          法国布雷斯特商学院硕士班招生
          法国布雷斯特商学院DBA班招生
          责编:pingxiaoli
          湖北体彩11选5走势图

          <blockquote id="pww52"></blockquote>

                <div id="pww52"><tr id="pww52"><object id="pww52"></object></tr></div>
                <div id="pww52"></div>
              1. <div id="pww52"></div>

                <blockquote id="pww52"></blockquote>

                      <div id="pww52"><tr id="pww52"><object id="pww52"></object></tr></div>
                      <div id="pww52"></div>
                    1. <div id="pww52"></div>
                    2. p3开机号是多少钱 江苏快3奖金 澳洲幸运10开奖结果 广西快3历史遗漏 体彩超级大乐透15120期开奖号码 河北快3开奖结果 123六合图库大全 福建22选5开奖 如何玩广东快乐十分 广东十一选五缩号软件 浙江福彩3d走势图2005 云南快乐十分走势图一定牛 终于破了11选5出号规律 足彩胜负彩14场预测 通比牛牛的技巧