如何应对算法效果不佳

显然，在这件事中，相关研究人员未曾进行这样的验证。也许他们使用了一些神秘的统计方法？这就不得而知了。

他们将已知地点视为随机采样的结果

众所周知，即使在一个项目区域内，也并非所有土地的采样率都相同。仅使用铲测试坑（Shovel Test Pit），并假设你有 100 英亩的土地，其中 50 英亩是高概率，50 英亩是低概率，并以不同的间隔（常见的有 15 米、30 米）对其进行测试。这意味着你有 80% 的测试是在高概率土地上进行的，因为你可以在一英亩土地上以 15 米的间隔进行 16 次铲土测试，以 30 米的间隔进行约 4 次测试。因此你需要在高概率部分上找到 80% 的站点。

因此我们有一些已知的站点，这些站点并不是从随机采样的土地中发现的，而是从人们认为能够找到它们的位置发现的。

直觉上，大多数考古学家都知道这一点。这很重要，因为已知的正样本数据集的自变量分布已用于这些统计测试。这种分布是有偏置的，数据科学家不知道如何解释这些偏置。

因此，我们需要留出一部分数据。

项目管理，没有管理？

花费 36.5 万美元，并不意味着简单地让承包商派一个人过来，在办公室角落里捣鼓几年，而无需他人管理。

追溯到 2014 年初，这个项目在交付给宾州交通部门的第三卷文档中，已经犯了致命的错误（使用 null 数据作为负样本数据）。难道这个项目无人监督吗？为什么在向宾州交通部门收取数十万美元之前，这个融合了 GIS 和机器学习的模型不值得其他人（无论是同事还是上级）关注？

交通部门尽到职责了吗？

交付文档之后，宾州交通部门中谁阅读过这些文档？作者猜测可能没人阅读，也没人能理解这些文档。不过这纯粹是猜测了，我们更愿意相信文档被读过，只是读地不仔细。

针对该模型中最大的错误而言，任何上过大学统计学课程的人都应该能够解决这个问题。但是正如有人指出的那样，考古学家很少学习这些数学课程，因此可能不会有考古学家来指出这些错误。
 

无论如何，在一个（混合了回归和随机森林的）模型中使用 null 数据都是不合适的，这些本不应该作为负样本数据而出现。即使这些 null 数据存在于自变量中，而不是因变量，它们依旧能够对模型的推理结果造成严重破坏。

他们检查项目时没有使用数据处理的最佳实践

可为什么开发团队的数据科学家们辛苦工作了一年半，也没有意识到他们在第一步中就犯了错？这与他们检查项目的方式有关。

一般来说，检查的金标准是留出一部分随机选择的部分。此时，只要你训练了模型，就可以知道该模型在给到真实数据时是否 work。
 

从数据准备、模型选择再到性能测试，这一项目原本看起来有模有样，然而错误一旦被人揭穿，情况就变得不忍直视了。

他们将待预测区域当做负样本

从 2013 年中到 2015 年，项目承包商花了一年半左右的时间向宾州交通部门交付了一个模型和 7 册文档。

不幸的是，到目前为止，似乎没有人阅读过该文档。模型似乎会输出一些毫无意义的数字，而背后原因非常神奇。

 

（编辑：阜新站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!