作死尝试两天Angular+Sequelize的开发

如何选择适合自己业务的流计算引擎?除了比较各自的功能矩阵外，基准测试(benchmark)便是用来评估系统性能的一个重要和常见的方法。然而在流计算领域，目前还没有一个行业标准的基准测试。本文将探讨流计算基准测试设计上的难点，分享如何设计流计算基准测试框架——Nexmark，以及将来的规划。

一 背景

随着数据时效性对企业的精细化运营越来越重要，“实时即未来”、“实时数仓”、“数据湖” 成为了近几年炙手可热的词。流计算领域的格局也在这几年发生了巨大的变化，Apache Flink 在流批一体的方向上不断深耕，Apache Spark 的近实时处理有着一定的受众，Apache Kafka 也有了 ksqlDB 高调地进军流计算，而 Apache Storm 却开始逐渐地退出历史的舞台。

每一种引擎有其优势的地方，如何选择适合自己业务的流计算引擎成了一个由来已久的话题。除了比较各个引擎提供的不同的功能矩阵之外，性能是一个无法绕开的评估因素。基准测试(benchmark)就是用来评估系统性能的一个重要和常见的过程。

二 现有流计算基准测试的问题

目前在流计算领域中，还没有一个行业标准的基准测试。目前业界较为人知的流计算 benchmark 是五年前雅虎 Storm 团队发布的 Yahoo Streaming Benchmarks[4]。雅虎的原意是因为业界缺少反映真实场景的 benchmark，模拟了一个简单的广告场景来比较各个流计算框架，后来被广泛引用。具体场景是从 Kafka 消费的广告的点击流，关联 Redis 中的广告所属的 campaign 信息，然后做时间窗口聚合计数

 

请注意，热图如何表明该模型相对于“女性”和“无神论者”身份群体的偏见要小得多。在这种情况下，ML开发人员可能希望将有偏见的身份组的更多代表性示例添加到训练集中。

生产模型的公平考虑

无论在部署之前是否存在偏差，一旦模型为实时流量提供服务，就有可能发生偏差。偏差的变化通常是由于向部署的模型提供了输入数据而导致的，这些输入数据在统计上不同于用于训练模型的数据。因此，最佳实践是在部署后监视模型中的相关偏差指标。下面的屏幕截图描绘了监视模型准确性指标(用于跟踪潜在偏差的相关指标之一)的外观。

总之，人工智能为量化和解决迄今为止由人主导和不透明的决策系统中的偏差提供了独特的机会。
 

该特定报告是用于评估风险以做出贷款决策的模型。它在受保护的“种族”属性上具有其他元数据。使用此报告，用户可以使用各种公平性指标来查看组公平性和不同的影响。建议您根据用例的领域需求，专注于特定指标(例如，“误报率”)和特定特权类别(例如，白种人)来衡量偏见。

除了上面的贷款模型之类的表格模型外，文本和图像模型中也会出现偏差。例如，下图显示了一个文本模型，该文本模型正在测量用户生成的注释的毒性。

下面的样本偏见报告显示了该模型如何评估跨种族和宗教阶层的毒性。

 

采用云平台和云服务的一个明显优势是：快速灵活地运行那些可能无法实现或巨大运营负担的关键业务，如果不注意，就会导致浪费。添加云平台或云服务是因为它们能够解决问题或满足业务需求。

5. 只为使用的资源付费

云计算通常基于这一原则，而且从根本上说是正确的。另一方面，如果只是为了防止可能需要一些额外的容量，在数据中心方面进行大规模的投资通常是不可行或不明智的。

但是，这一原则也可以掩盖超支的最常见来源之一，尤其是在公共云中：实际上企业为不使用的东西支付费用。同样，一个典型的示例是没有关闭的僵尸实例，这意味着仍在计费。

Haff指出：“开发人员很容易启动最大的虚拟机而从不删除数据。”

企业只为实际使用的资源支付费用是一个很好的原则，需要强制执行一些策略，以确保工作人员离开房间时关闭闲置设备，也就是释放他们不再使用的资源。

Haff说：“建立默认策略并关闭未被积极使用的服务。退单是提高成本透明度和责任感的一种常用方法。”


 

（编辑：潍坊站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!