物流大数据技术架构,我们团队 & 产品,商圈模式,驻店模式,众包,同城动态网,DDS,店配,saas,人资平台,调度系统,Inf (账号系统、odp、sfmq、push),数据集群 & 数据产产品 (鹰眼、哨兵),我们有那些技术,商圈、驻店功能支持 并行计算匹配能力,物流调度服务,物流调度,商圈调度,驻店调度,众包调度,1.0：,通过php定时任务每分钟运行计算，单机运行。多机备份。参与计算特征少，只有部分离线参与的模型训练,2.0：,通过dstream实现订单实时任务触发以及计算。 通过支持集群的复杂计算，计算能力强大，可以支撑数据规模大，集群计算性能差，延迟高,3.0：,通过C+定制开发实现订单实时任务计算。 系统可横向扩展，支持计算量级高，性能高，纯定制化，开发成本高,物流调度服务,基础架构-odp,YAF 路由分发 自动加载 纯C编写，超高性能,Openresty 高性能服务lua服务框架 全局request-id生成 统一waf防护,框 架,基 础 库,Conf,Log,Timer,cache,PHP PHP7.1.10 + FPM + opcache Pecl标准扩展 composer和namespace全支持 基准配置,Nginx + lua Nginx1.12.1 + http2.0 标准扩展 基准配置 Openresty全支持,基础环境,sf-rpc(资源访问) 统一远程访问接口 负载均衡，多IDC 通用协议支持,数据交互,DB,Redis,Http,SF-RPC,基础架构-service,基础架构的一些思考 - odp,slb(nginx负载均衡),外部流量 http2 / quic,php server,php server,php server,服务之间用sf php rpc调用,Sfns agent,Sfns server,注册,发现,php标准：composer，namespace,rpc client - rpc server,异步rpc client调研,基础架构的一些思考 基础服务,1、现有服务的可维护性提升、管理平台开发； 2、完善基础服务体系。Nosql、检索、sug等； 3、存储&业务服务异地多活,大数据平台,系统管控,Sak设置,安全审计,埋点管理,系统集成,作业管理,权限管理,系统管理,集群管理,应用,实时场景,dashboard,实时报表,业务监控,实时风控,批处理,画像,报表系统,ML模型训练,离线风控,交互查询,Adhoc,自助报表,11月完成数据支撑,12月完成数据平台和计算引擎,数据产品流程 鹰眼,open,rider,loc,sqoop,Hive(dts),Hive(fact),kylin,Hawkeye slb/tomcat/spring boot,ETL,cube,Hdfs / yarn / mysql,yarn,yarn/hbase,sqoop,ETL,mysql,city,Kpi管理,Sf-cas,数据产品流程 哨兵,open,rider,loc,syncer,guard-Quartz tomcat/spring boot,mysql,guard-api slb/tomcat/spring boot,mysql,数据社区-集群现状,sftc.gz.online,master,master,data,data,data,1、集群服务包括： Hdfsnamenode, failorver controller, journalnode, datanode hbase master, region server, thrift server , zookeeper,sftc.gz.offline,1、集群服务包括： Hdfsnamenode, failorver controller, journalnode, datanode hbase master, region server, thrift server , zookeeper Hueadhoc server Oozieworkflow Sparkfor etl YarnresourceManager, nodeManager, jobhistory server,http:/10.188.32.2:7180/ 用户名：looker 密码：looker,数据社区 同城数据平台的一些想法,1、轻量级安装 & 管理. 顺丰同城订单 KFC DDS 人资平台 SAAS 2、开源和自研的深入整合,yarn,hbase,hdfs,hive,kylin,impala/kudu,spark on yarn,mysql,redis,mysql,redis,ES,databus,Sf调度 + ETL,鹰眼,哨兵,自助报表,adhoc,标准javaweb,数据社区,dds(四小时同城配送),dds-mis (北京),dds骑士app,dds-task (深圳),账号,骑士轨迹,推送服务,mysql,骑士任务管理,1、上班、下班 2、app版本 3、账号登录、注销(无注册) 4、推送设备注册 5、骑士轨迹上传,sfmq(无pusher),redis,深圳直接消费kafka，mis发给proxy,网点A,网点A,理货点,蜂巢柜/融合柜,丰骑士,收派员,人资平台,同城备选骑士,dtp平台 (datax),大网专职骑士,同城专职骑士,大网兼职骑士,dds丰骑士,同城众包骑士,第三方招聘平台,数据去重/清洗,骑士画像/招聘,其他关联的一些简单介绍,运维研发 监控系统 上线系统 CT任务系统 sfns server 配置中心 UUAP Dns Etcd,基础服务 Mysql (proxy+mysql5.6) Ksarch redis 3.0 ES,业务运维 Relay / token / ldap / vpn 模块上线绑定 报警管理 NET / SLB CLB / NAT 图片服务 zookeeper,研发效率 1、 jenkins. 2、ebuild. 3、jira. 4、gitlab,THANKS,