Transcript ppt下载
开放平台多样化服务及分布 式即时分析集群介绍与交流 风胜，云湛，震子 交流内容概述 消息推送服务 异步任务服务 文档自动化（SDK，文档） TQL 多样化 服务 • • • • 即时数 据分析 • 即时数据分析 • 成本 • 分布式集群可扩展性 api调用 服务 • 业务线程池 • 流控 • 服务动态接入 消息推送服务-why 业务需求 系统需求 实时性 成本低 满足多样化的业务需求 稳定 易用 消息推送服务-技术点 1，异步（servlet3.0） 2，事件编程模型 3，心跳 4，丢弃数据补充 api调用服务-业务线程池 解决的问题：隔离不同能力的服务提 供者之间互相影响 做法： api调用服务-流控 需求： 1，满足不同级别app对api的调用量控制 2，保护isp 3，把有限的资源尽量合理的分配给isv 设计： Beatles Hadoo p Storm 分钟 • 实时监控 天 • 运营统计 年月 • 产品规划 S4 Beatles做什么的？ GB TB PB Beatles 请求获取 分析任务 分发任 务 接收结 果 Master 状态检 查 结果输 出 Reduce 合并 增量获取 数据 发送结果 Slave 同类型任 务数据合 并 分析数据 Map/Red uce Beatles • 后台系统任务分配：无负载分配算法，采用细化任务+工 作者按需自取+粗暴简单的任务重置策略。 • Slave与Master采用单向通信，方便扩容。 • 任务自描述性：数据来源，分析规则，结果输出，异构化 任务处理集群共享slave。 • 数据存储无业务性，分析规则包含业务含义 • 透明化集群运行状况 • Master单点冷备，合并数据的Master横向扩展 Beatles 数 据 展 示 实 时 告 警 • 自助 数据 平台 • 监控 平台 异步任务系统 – 需求 批量数据操作 • 减少API请求次数，提高业务处理效率。 大数据量下载 • 减少API请求次数，API调用由数十万次 变为一次，极大的提高了业务处理效 率； • 返回数据格式一般为CSV/JSON格式并压 缩，文件大小减少90%左右，大大降低 了网络带宽的使用。 API定时调用 • 可以指定API在某个时刻执行，调用方无 须再编写大量的定时程序。 异步任务系统 – 价值 异步任务系统 – 架构 异步任务系统 – 使用 API接入自动化 – 需求 制约API开放的痛 点： 业务发展快 • 单个团队无法 支撑所有业务 • 单个团队无法 熟悉所有业务 • 单个团队无法 测试所有接口 开发周期长 • 需求文档 • 接口开发 • 测试验证 • API文档 • SDK开发 • 测试工具 维护成本高 • API文档与代 码同步 • SDK与代码同 步 • 多返回格式一 致性 • 多语言SDK一 致性 API接入自动化 – 解决 业务上 开发上 维护上 • 制定API开放标准协议 • 业务垂直化（开发+测试） • 统一的API信息管理平台 • API文档自动生成 • 多语言SDK自动生成 • 测试工具自动生成 • 平台维护成本几乎为零（业务BUG除外） API接入自动化 – 架构 API接入自动化 生成 多语言SDK API测试工 具 API元数据 ISP ISV 使用 API信 API监 API自 息管 控报 动化 理 表 工具 API文档 淘宝查询语言 – 价值 一种服务端执行的类SQL语言 级联查 询 灵活方 便 降低损 耗 TQL 价值 淘宝查询语言 – 功能 • 支持基本增、删、改、查功能 • 支持嵌套查询功能 • 支持批量查询功能 淘宝查询语言 – 示例 • • 查询单个用户信息：select user_id,nick from user where nick=helloworld 查询用户的所有商品信息：select num_iid,title,price from item where num_iid in (select num_iid from items where nicks = helloworld) Q&A 我们在寻找人才 发简历到：[email protected]