消息中间件之Kafka.ppt

云软件组陈修恒消息中间件之kafkaKafka一、MQ系统二、Kafka架构三、Kafka命令四、配置文件MQ系统一、Redis二、ZeroMQ三、ActiveMQ四、RocketMQ五、KafkaMQ系统RedisRedis是一个NoSQL数据库处理小流量的消息队列不适用于大流量的应用场景MQ系统ActiveMQActiveMQ2007年发布第一个版本()被广泛应用于零售、银行、电子商务和政府等领域。稳定性好,性能还过得去。缺少异步JavaAPI和NIO支持,在高资源配置的计算机上扩展性不佳。Apollo重写了ActiveMQ内核,Apache称其为最快、最强健的STOMP(StreamingTextOrientatedMessageProtocol,流文本定向消息协议)服务器。github一年多没更新,网传Apollo项目已经失败MQ系统ZeroMQ不支持序列化,阅后即焚。如果服务器宕机,,成为Linux内核的一部分逆天的性能MQ系统KafakVSRocketMQ定位Kafak:由Linkin开源,用于即时的日志传输RocketMQ:由淘宝开源,实现非日志的可靠消息传输,用于交易、订单、充值等场景TPS性能kafka单机写入TPS在百万条/秒,消息大小为10bRocketMQ单机7万条/秒,消息大小为10b队列数kafak单机超过64个队列/分区,Load会发生明显的飙高现象RocketMQ最高支持5万队列实时性Kafka使用短轮询方式,实时性取决于轮询间隔时间RocketMQ使用长轮询,同Push方式实时性一致,消息的投递延时通常在几个毫秒。成熟度Kafka在日志领域比较成熟,操作系统Crash,会导致数据丢失RocketMQ在阿里集团内部有大量的应用在使用,不会丢消息MQ系统总结MQ系统特点RedisNO-SQL数据库,适用于处理少量MQ数据ActiveMQ久经沙场的老战士,稳定性好ZeroMQ一个网络通信协议栈性能超级强劲RocketMQ阿里出品标准MQ系统中性能最好的Kafka/Jafka专为日志收集设计非标准MQ系统,容灾能力弱,性能超过RocketMQ消息处理速度上限大约为100MB/sKafka架构系统结构kafkaclusterBroker1Broker2Broker3Producer-AProducer-onsumer-AConsumer-AConsumer-CZookeeper基础架构Kafka架构基本概念主题:topic分区:partition消息:message生产者:producer消费者:consumergroup消息队列:onsumerGroupPartitionConsumer11..N11..N