几个月前，我在 MIT Technology Review 读到一篇很有意思的文章，作者解释了新冠疫情如何给全球 IT 团队带来关乎机器学习 (ML) 系统的难题。

这篇文章引起我对 ML 模型部署后如何处理性能问题的思考。

我在一个 Open Exchange 技术示例应用 (iris-integratedml-monitor-example) 中模拟了一个简单的性能问题场景，并提交到 InterSystems IRIS AI Contest。 读完这篇文章后您可以去看看，如果喜欢，就请投我一票吧！ :)

目录

第一部分：

• IRIS IntegratedML 和 ML 系统
• 新旧常态之间

第二部分：

• 监视 ML 性能
• 简单用例
• 未来工作

IRIS IntegratedML 和 ML 系统

讨论 COVID-19 以及它对全球 ML 系统的影响之前，我们先来简单谈谈 InterSystems IRIS IntegratedML。

通过将特征选择之类的任务及其与标准 SQL 数据操作语言的集成自动化，IntegratedML 可以协助开发和部署 ML 解决方案。

例如，对医疗预约的数据进行适当的操作和分析后，可以使用以下 SQL 语句设置 ML 模型，预测患者的履约/失约情况：

CREATE MODEL AppointmentsPredection PREDICTING (Show) FROM MedicalAppointments
TRAIN MODEL AppointmentsPredection FROM MedicalAppointments
VALIDATE MODEL AppointmentsPredection FROM MedicalAppointments

AutoML 提供程序将选择性能最好的特征集和 ML 算法。 这里，AutoML 提供程序使用 scikit-learn 库选择了逻辑回归模型，获得 90% 的准确率。

|   | MODEL_NAME             | TRAINED_MODEL_NAME      | PROVIDER | TRAINED_TIMESTAMP       | MODEL_TYPE     | MODEL_INFO                                        |
|---|------------------------|-------------------------|----------|-------------------------|----------------|---------------------------------------------------|
| 0 | AppointmentsPredection | AppointmentsPredection2 | AutoML   | 2020-07-12 04:46:00.615 | classification | ModelType:Logistic Regression, Package:sklearn... |

| METRIC_NAME              | Accuracy | F-Measure | Precision | Recall |
|--------------------------|----------|-----------|-----------|--------|
| AppointmentsPredection21 | 0.9      | 0.94      | 0.98      | 0.91   |

集成到 SQL 后，您可以通过估计履约和失约的患者，将 ML 模型无缝集成到现的预约系统中以提高其性能：

SELECT PREDICT(AppointmentsPredection) As Predicted FROM MedicalAppointments WHERE ID = ?

您可以在此处详细了解 IntegrateML。 有关这个简单的预测模型的更多详细信息，可以参考此处。

然而，由于 AI/ML 模型在设计上是为了直接或间接地适应社会行为，因此当相关行为快速变化时，这些模型可能会受到很大影响。 最近，由于新冠疫情，我们（很遗憾地）得以实验这种场景。

新旧常态之间

如MIT Technology Review 的文章所解释，新冠疫情一直在显著且迅速地改变着社会行为。 我在 Google Trends 中查询了一些文章中引用的词语，如 N95 口罩、卫生纸和消毒洗手液，确认在全球大流行中这些词语的热度有所提高：

文章中提到：

“但是它们（指由 COVID-19 引起的变化）也影响了人工智能，给库存管理、欺诈检测、营销等幕后运行的算法造成干扰。 根据正常人类行为进行训练的机器学习模型现在发现，所谓的‘正常’已经发生变化，有些模型因而不再能发挥应有的作用。”

即，在“旧常态”和“新常态”之间，我们正在经历一种“新异常”。
文章中还有这样一段话：

“机器学习模型虽然是为了应对变化而设计的， 但大多数也很脆弱。当输入数据与训练的数据相差太大时，它们的表现就会很糟糕。 (...) AI 是一种活着的引擎。”

本文继续列出一些 AI/ML 模型的示例，这些示例有的是性能突然开始受到负面影响，有的需要立即进行更改。 一些示例：

• 零售公司的非常规产品在批量订购后缺货；
• 由于媒体文章内容过于悲观，投资推荐服务根据情绪分析提出的建议失准；
• 自动短语生成器由于新的语境而开始生成不合适的内容；
• Amazon 更改了卖家推荐系统，选择自己送货的卖家，避免对其仓库物流的过度需求。

因此，我们要监控我们的 AI/ML 模型，确保模型能可靠地持续帮助客户。

到这里，希望您已经明白，对 ML 模型的创建、训练和部署并不是全部，跟踪过程也是必不可少的。 在下一篇文章中，我将展示如何使用 IRIS %Monitor.Abstract 框架来监视 ML 系统的性能，以及如何根据监视器的指标设置警报触发器。

同时，我很想知道您是否遇到过疫情导致的问题，以及您又是如何应对的。请在评论区留言吧！

敬请关注！保重身体 😊！