Transcript ppt下载
开放平台多样化服务及分布
式即时分析集群介绍与交流
风胜,云湛,震子
交流内容概述
消息推送服务
异步任务服务
文档自动化(SDK,文档)
TQL
多样化
服务
•
•
•
•
即时数
据分析
• 即时数据分析
• 成本
• 分布式集群可扩展性
api调用
服务
• 业务线程池
• 流控
• 服务动态接入
消息推送服务-why
业务需求
系统需求
实时性
成本低
满足多样化的业务需求
稳定
易用
消息推送服务-技术点
1,异步(servlet3.0)
2,事件编程模型
3,心跳
4,丢弃数据补充
api调用服务-业务线程池
解决的问题:隔离不同能力的服务提
供者之间互相影响
做法:
api调用服务-流控
需求:
1,满足不同级别app对api的调用量控制
2,保护isp
3,把有限的资源尽量合理的分配给isv
设计:
Beatles
Hadoo
p
Storm
分钟
• 实时监控
天
• 运营统计
年月
• 产品规划
S4
Beatles做什么的?
GB
TB
PB
Beatles
请求获取
分析任务
分发任
务
接收结
果
Master
状态检
查
结果输
出
Reduce
合并
增量获取
数据
发送结果
Slave
同类型任
务数据合
并
分析数据
Map/Red
uce
Beatles
• 后台系统任务分配:无负载分配算法,采用细化任务+工
作者按需自取+粗暴简单的任务重置策略。
• Slave与Master采用单向通信,方便扩容。
• 任务自描述性:数据来源,分析规则,结果输出,异构化
任务处理集群共享slave。
• 数据存储无业务性,分析规则包含业务含义
• 透明化集群运行状况
• Master单点冷备,合并数据的Master横向扩展
Beatles
数
据
展
示
实
时
告
警
• 自助
数据
平台
• 监控
平台
异步任务系统 – 需求
批量数据操作
• 减少API请求次数,提高业务处理效率。
大数据量下载
• 减少API请求次数,API调用由数十万次
变为一次,极大的提高了业务处理效
率;
• 返回数据格式一般为CSV/JSON格式并压
缩,文件大小减少90%左右,大大降低
了网络带宽的使用。
API定时调用
• 可以指定API在某个时刻执行,调用方无
须再编写大量的定时程序。
异步任务系统 – 价值
异步任务系统 – 架构
异步任务系统 – 使用
API接入自动化 – 需求
制约API开放的痛
点:
业务发展快
• 单个团队无法
支撑所有业务
• 单个团队无法
熟悉所有业务
• 单个团队无法
测试所有接口
开发周期长
• 需求文档
• 接口开发
• 测试验证
• API文档
• SDK开发
• 测试工具
维护成本高
• API文档与代
码同步
• SDK与代码同
步
• 多返回格式一
致性
• 多语言SDK一
致性
API接入自动化 – 解决
业务上
开发上
维护上
• 制定API开放标准协议
• 业务垂直化(开发+测试)
• 统一的API信息管理平台
• API文档自动生成
• 多语言SDK自动生成
• 测试工具自动生成
• 平台维护成本几乎为零(业务BUG除外)
API接入自动化 – 架构
API接入自动化
生成
多语言SDK
API测试工
具
API元数据
ISP
ISV
使用
API信 API监 API自
息管 控报 动化
理
表
工具
API文档
淘宝查询语言 – 价值
一种服务端执行的类SQL语言
级联查
询
灵活方
便
降低损
耗
TQL
价值
淘宝查询语言 – 功能
• 支持基本增、删、改、查功能
• 支持嵌套查询功能
• 支持批量查询功能
淘宝查询语言 – 示例
•
•
查询单个用户信息:select user_id,nick from user where
nick=helloworld
查询用户的所有商品信息:select num_iid,title,price from item where
num_iid in (select num_iid from items where nicks = helloworld)
Q&A
我们在寻找人才
发简历到:[email protected]