加入收藏 | 设为首页 | 会员中心 | 我要投稿 好传媒网 (https://www.haochuanmei.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

在荒芜的数据科学领域中建立架构思维

发布时间:2019-03-08 18:24:15 所属栏目:教程 来源:Romeo Kienzler
导读:致谢:感谢 Kevin Turner 多次审查本文档并提供宝贵意见。 数据科学家都倾向于使用一些临时性方法。以创新方式非法侵入各种编程语言脚本的行为,在遍布于服务器和客户端上的各种机器学习框架中随处可见。我并不是要抱怨数据科学家的工作方式。我发现自己经

设计思维是全新的需求工程。设计思维源于 20 世纪 60 年代,但 IBM 是将此方法应用于 IT 行业的主要贡献者之一。虽然通常会使用更复杂的术语来解释设计思维,但我认为设计思维只有一个目的:将人类的大脑转变到创新思维模式。因此,它使用书写和绘画来代替口述和打字。退后一步,您的眼界将更加开阔。

设计思维时刻牢记用户体验,并明确强调产品背后的业务。因此,它回答了下列关键问题:

  • 谁:为谁构建产品?
  • 尝试要解决什么问题?
  • 要如何解决问题?
  • 每个思考阶段的结果都是“最小可行产品”(MVP) 的定义。

编码

平台云革命是快速建立原型的主要推动因素。可以在几小时(而不是几天或几周)内运行原型。这可将迭代周期缩短一个数量级。这样,每天都可以收集用户反馈。此阶段的最佳实践包括:

  • 每日站立会议
  • 结对编程和测试驱动开发
  • 持续集成
  • 自动测试
  • 重构微服务
  • 交付

每日交付需要满足两个前提条件。首先,必须使用工具链完全自动执行构建和部署过程。其次,每次落实到源代码存储库时,都必须生成可供用户随时测试的完全生产就绪型产品。基于云的解决方案可以满足这个需求,从而让开发者专注于编程。

在荒芜的数据科学领域中建立架构思维

持续集成和持续交付。来源:IBM 公司

运行

如果使用云运行时,那么项目的操作方面将由云服务处理。根据要求,这可能发生在公共云、私有云或混合云中以及基础架构级别、平台级别或服务级别。这样通常会导致运营团队被淘汰,而开发者可以集中精力为项目增加价值。此阶段的最佳实践包括:

  • 准备实现高可用性
  • 暗启动和功能开关
  • 自动缩放

在荒芜的数据科学领域中建立架构思维

洲际云部署的高可用性、自动缩放和容错。 来源:IBM 公司

管理

由于前提是您已拥有完全受管的云运行时,因此可以轻松添加洲际高可用性/故障转移、持续监控和动态缩放功能。此阶段的最佳实践包括:

  • 自动监控
  • 快速自动恢复
  • 业务连续性
  • 学习

由于迭代周期非常短且可持续获得用户反馈,因此可以立即测试假设并生成明智的决策,从而促使将发现的成果添加到待办任务中以供进一步调整业务核心。此阶段的最佳实践包括:

  • A/B 测试
  • 假设驱动的开发
  • 实时用户行为分析

在荒芜的数据科学领域中建立架构思维

基于证据的假设测试示例。来源:IBM 公司

IBM DataFirst Method

虽然通常与 IBM 客户有关,但 DataFirst Method 设计合约产品(IBM DataFirst Method 是 IBM Cloud Garage Method 的一个实例)中包含的合约专门以 IT 转型为目标,旨在使基础架构、流程和员工为 AI 做好准备。有关更多信息,访问 [ibm.biz/DataFirstMethod](ibm.biz/DataFirstMethod)。

在荒芜的数据科学领域中建立架构思维

IBM DataFirst Method 流程模型。来源:IBM 公司

IBM 数据与分析参考架构

每个项目都不尽相同,每个用例都需要不同的技术组件。但所有这些都可以 用抽象的术语来加以描述。以下列表列举并解释了这些术语。

  • 数据源:内部或外部数据源,包括关系数据库、网页、CSV 文件、JSON 文件、文本文件、视频和音频数据。
  • 企业数据:基于云的解决方案,有助于扩展企业数据模型。因此,可能需要持续不断地将企业数据子集传输到云端
  • 流式分析:目前最有效的方法是批处理。但有时候,可通过添加实时分析功能来提升数据产品的价值,因为世界上大部分数据在几秒钟内就会失去价值。比如,股票市场数据或车辆摄像头捕获行人横穿马路的事实。
  • 数据集成:清理和变换数据,并在可能的情况下添加下游功能。
  • 数据存储库:用于存储数据的持久存储库。
  • 发现和探索:了解您拥有的数据及其外观。
  • 切实可行的洞察:您可在此处完成自己的大部分工作。在这里,您可创建和评估自己的机器学习模型和深度学习模型。
  • 应用程序/数据产品:虽然模型行之有效,但只有在普通业务用户使用它们时,其价值才会提升。因此,您必须创建数据产品。数据产品不一定需要保留在云端。可推送至移动应用程序或企业应用程序。
  • 安全性、信息监管和系统管理:这是一个很容易被遗忘的重要步骤。为了满足许多合规性法规,务必要控制各类信息的访问者。企业用户是架构的一部分,因为他们的需求可能与公共用户不同。云用户的需求又可能与企业用户不同。

在荒芜的数据科学领域中建立架构思维

IBM 数据与分析参考架构。来源:IBM 公司

结束语

(编辑:好传媒网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读