2017年12月19-20日 阿里云 飞天/智能 云栖大会-北京峰会 会议笔记_阿里飞天云平台 灾备机制

2017年12月19-20日，在北京国家会议中心举办了云栖大会北京峰会，19日为Tech Insight，20日为主论坛和其他分论坛。场次很多，内容很丰富，自己的一些参会笔记整理如下：

20171219 上午 阿里云MVP Demo Show：快速定位问题，实现安全的及时监控

09:00 - 10:30《新零售业务立体监控实战》

王鹏翰 阿里云 MVP，CodeVS.cn 创始人 ，Dashbase.io Staff Engineer

简志 阿里云日志服务高级专家

1 场景介绍

打造一个无服务器零售应用程序

采集用户端、服务端日志数据

运维+运营+客服解决方案：查看、诊断

零售无处不在：差旅（外卖）、办公室（自助购物）、出租车（无人自提篮）、自提柜、便利店

零售本职：人+数据

倡导以消费者为中心，融合线上数据，线下体验，对制造与销售过程进行再造与优化过程

平台：打通人和商品

消费者属性：职业、家庭、爱好、场景

商品/服务：库存、品类、价格、产地

平台：时间、地点、品类、金额

数据对零售作用：自动化程度提高、按需设计制造

日志：记录消费者、商品关系的基础

Access Log、Metric、Transaction Log、GPS Info、Sensor、User Action

日志处理的挑战

一个人、一天时间，能否搭建完日志分析平台？

一个错误，10分钟内，能否确认原因？

一个商业策略假设，1分钟内能否验证完

日志服务：一站式全托管服务：专注在“分析”上，远离琐碎的工作

• Hub：实时数据采集与消费
• Shipper：数据仓库投递对接
• Search/Analytics：实时日志查询分析

案例：扫一扫二维码进行自助购买

1.传统零售商转型，无人值守店铺

2.技术人员有限，身兼数职（运维、开发、运营）

3.短时间上线，功能迭代速度快

2 无服务器架构

选用：Serverless（无服务器）架构

• 无服务器管理代价：无需购买、维护、管理服务器
• 按需付费：无需为预留服务器付费
• 弹性伸缩：架构无需担心业务增长

稳定可靠 + 容错性高：架构无需做资源容错处理

span_id

47.94.92.250:16686/f28a7160962c

Jaeger行为耗时、行为异常

Nginx访问统计：实时产生相应数据、报表

3 日志采集与查看

• 开发关注：请求数、错误率，延时分布、下单成功率监控，错误定位，下单过程耗时长的原因
• 运营关注：当天访问量，客单价，商品转化率，在哪些地点购买哪些东西，做投放工作
• 客服关注：用户咨询问题，实时查询用户订单及商品销售情况

针对以上三个场景

采集方法：H5埋点

CURL发送、Tracking Pixel、Java Script SDK

采集方法：函数计算程序日志

4 业务实时监控

5 立体化监控

12月19日下午 Alibaba Cloud Workshop 云数据·大计算：快速搭建互联网在线运营分析平台

13:30 - 13:50 场景及技术点分析

祎休 阿里云产品专家

https://yq.aliyun.com/articles/281166

以视频直播APP为例：市场活跃用户规模呈上升趋势

Nginx访问日志、用户行为日志、点击日志、性能日志、GPS日志——》如何从海量的日志中挖掘关键价值

海量日志处理方案的演进

• 海量日志处理方案 1.0时代：无集中式处理、缺乏复杂事务处理、只做事后追查
• 海量日志处理方案 2.0时代：日志离线批处理、实时性差、非拿来即用
• 海量日志处理方案 3.0时代：快：只有数秒延时，大：每天处理TB级别日质量，灵活：可搜索分析日志

开箱即用的海量日志处理方案

Workshop场景：快速搭建互联网在线运营分析平台

在线运营分析平台最终效果图

地域分布、流量趋势、访问来源、资源分析

13:50 - 14:35 数据接入：海量数据存储及实时访问

李海龙 产品专家

表格存储 阿里云自研分布式NoSQL数据库

• 规模无缝扩展：表大小无限制、自动sharding、分裂合并秒级完成
• 高性能：单行写入毫秒级延迟、单机可支撑5万以上TPS
• 高性价比：预留+按量付费，费用低，多种实例规格
• 数据模型灵活：单行列数和大小无限制、多版本、数据过期
• 完全托管服务：零系统运维、监控集成、完全支持RAM安全体系

MaxCompute + Table Stroe = 实时在线与离线分析的无缝结合

MaxCompute + Table Stroe = 结构化与半结构化的关联分析

使用场景：

• 金融风控：MaxCompute直写、毫秒级读延时、交易高峰访问并发大、数据多版本、Schema Free结构、双集群、双活灾备方案
• 日志分析：MaxCompute直读、高并发高吞吐的写入能力、数据规模无缝扩展、数据生命周期管理、完善的增量/全数据通道、流式数据分析
• 推荐运营：MaxCompute直读直写、Schema Free结构、10万级并发读写能力、读写性能稳定有保障、弹性资源，按量付费，稳定、高可用

（图片更推荐OSS，也可以使用表格存储）

课程流程

数据采集及录入

原始数据表：user_trace_log

分析结果表：analysis_result

14:45 - 15:30数据处理：数据建模与加工

惠岸 技术专家

DT时代：数据的两个维度

MaxCompute：阿里云核心分布式计算平台

• 可靠性：运算跨集群调度，数据跨集群同步，多链路容灾
• 多功能：离线+准实时，SQL+MR，ML，Tunnel+DataHub
• 高性能：EB级别数据处理，超越竞品的性能，数据管理能力
• 高扩展性：单集群过10000台，10+异地集群，海外部署
• 安全高可用：多租户，资源隔离，跨集群
• 统一富生态：数加，IDE，兼容性提升，生态系统连接

非结构化数据 + Maxcompute SQL

在SQL线上实现与其它云数据（OSS、TableStore等）的互联互通

• 用户强烈的非结构化数据处理需求：对各种数据读写与计算功能
• 建立在成熟的分布计算平台基础上：针对每种数据类型/数据源，重新建立单独的分布处理系统代价昂贵，80%工作将是重新造轮
• 同一个生态系统中的数据流：非结构数据处理后可直接参与下游SQL关系运算

设计与实现：

• 语言上通过外部表（External Table）提供对外部数据存储方式与处理方法的描述
• 在统一的数据库“表”概念上提供了外部数据的接口
• 照顾了传统Hive用户的使用习惯

15:30 - 16:15 数据分析：构建可视化报表服务

米砂 产品专家

企业数据分析遇到的问题？

• 临时需求多、时间紧
• 响应流程长，口径不统一
• “本地化”严重
• 专业人才紧缺

智能分析套件Quick BI

产品定位：通过提供海量数据即席分析、电子报表制作及拖拽式可视化分析能力，助力企业实现业务数据化，实现人人都是数据分析师。

Quick BI核心能力

• 丰富的数据源接入

多样的数据源支持：MaxCompute、RDS、Mysql、SQLSever、Hadoop、本地文件、HybridDB（Greenplum）、Analytic DB、Oracle ……

极速数据建模：三步完成数据建模，交互式操作

• 专业的分析报表制作（电子表格——中国式报表）

类Excel操作，经验延续。包括：拖拽填充，拖拽释放，Excel风格的过滤，行/列冻结和大小改变。**提供超300个函数多数据联合分析制作，如VlookUP。单元格级别的数据设计。基于OLAP引擎能在一个报表里多次数据获取，支持本地复制。

• 高性能的即席查询（OLAP即席查询）

NoSQL的友好体验，离线数据100G数据10S完成计算（基于加速引擎），多维自助式汇总及明细查询，支持上卷及下钻，异构数据源联合分析

星型&雪花模型支持：星型模型、雪花模型

• 丰富的数据可视化（交互式仪表板制作）：

丰富的数据可视化组件支持及组件属性设置，简单高效的数据筛选器设计，多组件联动分析能力，单屏及多屏两种模式，支持多种功能排版组件，实现业务综合性设计

• 安全多端访问支持

RBAC权限模型：对象编辑权限控制、数据访问权限控制、支持行级权限控制、安全协议的外链服务、支持企业自主流程接入（特定版本）

多端自适应：一次制作，PC&大屏&移动多端适配，支持邮件及钉钉消息进行信息发送

*数据分析的演进路程8

• 阶段一：集成-人工支持

处理：整体开始云化，数据上云

服务：基于专业ETL人工方式的数据需求支持

• 阶段二：提效-可视化产品

处理：基于一些场景化开始研发产品

服务：基于人工方式，辅于产品混合支持业务需求

• 阶段三：协同-人人都是分析师

处理：ETL做数据处理，体系化数据管理

服务：业务自助式数据管理、数据报表制作、数据分析及可视化，需求自我满足为主，人工为辅

20171220 上午 主论坛

09:00-09:40 主题演讲：飞天 智能

胡晓明 阿里巴巴集团资深副总裁、阿里云总裁

计算是能力

阿里巴巴阿里云如何看待人工智能

人工智能不仅仅是概念上的，更是产业上的人工智能

1、必须要有场景驱动 解决什么问题，效率提高多少

2、人工智能背后是否有足够数据驱动

3、是否有足够计算能力 深度学习

智能金融

• 南京银行：申请贷款过程中的人工视频验证将减少54%，推动金融大脑在风控、营销、客服等多个领域落地
• 浙商银行：信用卡激活预测准确率提升5倍，流失预测准确率提升7倍

智能零售：史上最大规模人机协同

• 机器人客服“阿里小蜜”：双11当天承担95%客服咨询
• 机器智能推荐系统：双11当天生成超过567亿个专属货架，千人千面
• AI设计师“鲁班”：双11期间设计4.1亿张商品海报
• 华北数据中心运维机器人：接替运维人员30%重复性工作

ET工业大脑——制造向智造演进

• 天合光能：电池A品率提升7%
• 恒逸集团：石化生产煤炭消耗率降低3%以上

最复杂场景是城市

ET城市大脑——全球最大规模的人工智能公共系统

如何让城市资源做到最大提升。杭州

• 信号灯路口128个
• 通行时间减少15.3%
• 高架道路节省4.6分钟
• 自动时间报警500次+ 摄像看到并且能够判断，摄像头自动主动发现交通事故
• 准确率92%

智能汽车——让出行更智能

700亿个轨迹路点，6000万个小时

上班族，包裹快递。后备箱自动开启收快递。

• 智能出行：每个月活跃度99%。
• 智能推荐
• 驾驶行为优化
• 声纹识别
• 人脸识别
• 远程诊断
• 智能驾驶

智能家庭——所止不至于感知

AI——从“看见”到智能

• 淘宝：2012.9.13 淘宝发布第一行视频代码
• 芒果TV：2015.11 为芒果TV超女节目提供直播、点播以及视频鉴黄服务
• AlibabaCloudET：2017.10 推出人物识别、场景识别的视频AI能力

中国计算 世界能力

100TB 8200QPM $354.7/QPM （10月 7800QPM）

国家大数据战略的排头兵

• 2所撒数据国家工程实验室
• 11万+天池平台数据开发者
• 307所AUCP大学普惠计划落地高校

黄鼎隆 码隆科技创始人、首席执行官

AI+新零售

AI+可穿戴

AI+面料

AI+传媒

**中国“企业出海”阶段、趋势和挑战

70年代末-80年代末：起步阶段 ——》 1991-2003：过渡阶段 ——》 2004-2012：迅速发展 ——》 2013至今：全面出海

趋势：对外投资迅速发展，同事更加理性。发达经济体和“一带一路”沿线国家成为中国对外投资的热点区域。对外投资重点向高科技、高端制造业转变。

风险：出海筹划风险，投资执行风险，整合与全球运营风险。

**应对风险和挑战的“端到端”举措

业务战略 —— 市场进入战略 —— 投资并购顾问服务 —— 估值和建模 —— 商业尽职调查 —— 财务尽职调查 ——交易后整合 —— 税务筹划 —— 治理架构和管控模式 —— 风险管理 —— 财务管理和运营效率提升 —— 系统整合和全球化IT能力建设 —— 人力资源和变革管理 —— 审计和资本市场服务 —— 重组与退出

20171220 下午 开发者技术进阶峰会

阿里智能语音交互这一年

智能客服语音产品

淘宝/支付宝

阿里 * ISV = 业内领先的智能语音客服解决方案

技术 产品 商业

阿里巴巴自主技术提升车机语音交互体验

耳听两方

如何打造一支优秀的人工智能算法团队

阿里巴巴语音技术从2014年底起步

• 组建世界级科学家 + 工程师专业团队
• 成员多元化，海纳百川集众家之长

国际公司：Microsoft、Nuance、Fcebook、Qualcomm、Polycom

国内外大学及研究所：中科大、声学所、自动化所、新加坡I2R

完全自主的智能语音交互全链路技术栈

• 声学设计/硬件电路/麦克风阵列信号处理
• 语音识别/语音合成/声纹
• 口语理解/问答/对话系统
• 云+端工业级语音交互系统及定制平台

https://yq.aliyun.com/download/2351?spm=5176.100239.blogcont293614.11.sdbJfo 【重磅发布】云栖社区《2017中国开发者调查报告》全版PDF

14992参与调研，7032完成，118题

引擎是埋藏在设计师内心深处的一眼泉水，设计灵感和方案都是通过这眼泉水源源不断涌现到纸面，还原成优美的界面，最后变成大众鼠标下的一个个按钮、链接。