永洪大数据技术白皮书.docx

: .
Yonghong在大数据、分布式计算、数据分析等领域具备核心竞争力、自主创新并拥有多项发明理结果时不会白白耗费资源，在接收方处理信息时也不会占据TCP/IP连接和相应的线程/进程资源。系统以异步信息交换的方式，成功地消除了信息处理与信息传输之间的耦合。提升了信息交换能力，但有效地降低了信息交换所需要的网络资源、CPU、或者内存资源。
稳定的内存使用：由于整个通讯过程中Socket通道是复用的，而Socket通道对应的读内存块和写存块也是复用的，很少有内存的申请和释放操作。这提升了整个系统的性能和稳定性。
健壮的信息传输：系统的TCP/IP连接是可自修复的。网络可能会有各种问题导致连接
出错，为了避免数据流里可能丢失了数据，给每个数据流的头部加了标识位，在任何找不到
标识位的情况下，连接都会自动关闭。系统会自动重新建立连接。

可以做到三个层面的执行计划的优化：基于BlockMeta的高层优化：粗粒度索引，基于每个Block的每个Column的中层优化：读取文件头；基于计算强度进行SQL改写的底层优化：根据计算强度，来改写优化。
(BI)
数据仓库+OLAP时代的商业智能系统，要求用户预先提出的分析及统计的需求。以此为基础，展开数据建模工作，进而导入数据，然后再创建Cube。这些工作完成以后，才
能开发商业智能应用，这是典型的数据驱动模式。
YonghongZ-Suite支持业务驱动的商业智能系统，直接导入细节数据，不再要求用户预先提出具体的分析及统计需求，也不再有创建Cube的过程，这大大简化了数据层的工作，缩短了数据层的响应周期，整个商业智能系统由数据驱动转化为业务驱动。在数据仓库+OLAP时代，一个新的分析需求也许要用一个月的时间去实现，现在YonghongZ-Suite支持只需几天或几个小时。
2与Hadoop架构比对
Hadoop目前几乎是大数据的代名词，很多企业都基于Hadoop搭建自己的大数据业务。
以下是Hadoop的主要优点：
Hadoop集群的扩展性是其一大特点，Hadoop可以扩展至数千个节点，对数据持续增长，数据量特别巨大的需求很合适。
，由于Hadoop是开源项目，而且不仅从软件上节约成本，硬件上的要求也不高。目前去IOE潮流风行，低成本的Hadoop也是一大推手。
，其周边开源项目丰富，HBase,Hive,Impala等等基础开源项目众多。
那么Hadoop的不足有哪些呢？
Hadoop不适合做实时分析系统。
1. 从通讯层的技术上来说有如下原因：
任务分配Server不会将信息Push到计算Node，而是让计算Node通过心跳去Pull任务。
基于框架的通用性，MapReduce代码也会在HDFS中传送，在各计算Node展开，再通过启动新JVM进程装载并运行。
类似的JVM进程启停有5、6次之多。
ReduceTask只能在全部MapTask完成之后才能启动。
2. 缺乏专业的支持服务
因为是开源项目，缺少专业的商业支持服务，公司需要储备专业Hadoop知识的专家来保证系统的正常运转。
3. Hadoop可以支持百亿的数据量，但很难应对秒级响应的在线分析需求，一般作为离线分析系统
即使是数亿的数据量，Hadoop也只适合做分钟级别的离线分析系统。
而百亿级别数据量，又需要秒级响应的案例，需要什么系统支持呢？下面介绍下大数据实时分析工具YonghongZ-Suite。
通过结合多种Yonghong自有的专利技术，在几个节点下，YonghongZ-Suite就能担负起几十亿，乃至上百亿数据量的实时分析和展现。
YonghongZ-Suite相对Hadoop有哪些不足呢？Hadoop能支撑PB级大数据，数千节点的大规模集群。对于YonghongZ-Suite这种实时大数据分析系统，一般支撑TB~PB级的大数据，节点数一般不超过100。
除了提供优秀的前端BI工具之外，YonghongZ-Suite让用户可以选购分布式数据集
市来支持实时大数据分析。
，存储了几百TB数据到上PB级数据。需要实时统计分析一段范围的数据。利用HBase或Hive无法满足实时需求。也许还需要跟关系型数据库中的维度表做关联再分析。
M叩集群台）HmTciop存嚅平台參维反的数稚可視化展规,丰富的交互分卅采用任务调度器将近一天,七天、一个