中国简单快捷的免费行业信息发布平台
·手机版 ·注册 ·登录 ·会员中心 ·忘了密码 ·导航 ·帮助
名站在线LOGO
·设 为 首 页
·收 藏 本 站
·新 站 登 录
网站首页
|
行业供求
|
行业产品
|
行业公司
|
站内检索
|
行业资讯
|
网站导航
|
链接交换
|
流量交换
|
网友收藏
您当前的位置: 首页 > 行业贴吧 > 话题


行业贴吧

(注意:网友的发布表不代表本站立场。)
回复话题
发新话题
返回列表
话题: 大数据系统架构包含哪些内容
183.17.229.*
2020-12-14 13:36:43
  大数据的应用开发过于偏向底层,具有学习难度大,涉及技术面广的问题,这制约了大数据的普及。大数据架构是大数据技术应用的一个非常常见的形式,而今天就来分析了解一下,大数据架构组件包含哪些内容。



  数据源



  所有大数据架构都从源代码开始。这可以包含来源于数据库的数据、来自实时源(如物联网设备)的数据,及其从应用程序(如Windows日志)生成的静态文件。



  实时消息接收



  假如有实时源,则需要在架构中构建一种机制来摄入数据。



  数据存储



  公司需要存储将通过大数据架构处理的数据。一般而言,数据将存储在数据湖中,这是一个可以轻松扩展的大型非结构化数据库。



  批处理和实时处理的组合



  公司需要同时处理实时数据和静态数据,因而应在大数据架构中内置批量和实时处理的组合。这是由于能够应用批处理**地处理大批量数据,而实时数据需要立刻处理才能够带来价值。批处理涉及到长期运转的作业,用于筛选、聚合和准备数据开展分析。



  分析数据存储



  准备好要分析的数据后,需要将它们放到一个位置,便于对整个数据集开展分析。分析数据储存的必要性在于,公司的全部数据都聚集在一个位置,因而其分析将是**的,而且针对分析而非事务进行了优化。这可能采用基于云计算的数据仓库或关系数据库的形式,具体取决于公司的需求。



  分析或报告工具



  在摄入和处理各类数据源之后,公司需要包含一个分析数据的工具。一般而言,公司将使用BI(商业智能)工具来完成这项工作,而且或者需要数据科学家来探索数据。



  大数据系统架构包含哪些内容.中琛魔方大数据平台(www.zcmorefun.com)表示数据来源途径越来越丰富,而且类型也很多花样,存储和数据处理的需求量很大,对于数据展现也非常的高,并且很看重数据处理的**性和可用性。
共0个回复
回复话题
发新话题
返回列表



新站登录--网站简介--流量交换--名站收藏夹--广告服务--友情链接--免责声明--联系我们--意见建议--违法举报--侵权举报
Copyright 2005-2024 名站在线[fwol.cn]版权所有 经营许可证:粤ICP备17047754号