当前位置:   article > 正文

非线性granger因果检验_读《为什么:关于因果关系的新科学》有感

非线性granger因果检验

70e4b45250391b1f18a93dd99334320a.png

在新公司做机器学习工程师也已经有一年有余了,大部分时间都在熟悉模型框架,学习超参调整,和封装代码函数的工作。经历的模型从线性,非线性,tpot,lstm不一而足。上级给予的目标就是模型力求验证数据准度高,所以很长时间也是以这个为目标的基础下开展工作的。为了这个目标,我的方法就是利用模型按照一定的规则输出海量模型,然后对海量模型的训练和测试样本的相关指标(比如测试mae最小,或者cv值最小来选择模型),然后查看通过这种方法选择来的模型,利用未参与选模的数据(命名为验证数据),查看其模型准度的排序是否和选模的优劣排序有正相关性。经历了很多很多次测验,发现很难找到一个优秀的前置选模指标来做到这种选模。

584c4f422894a0f72ebee56879bd8178.png

图一

在看了《反脆弱》这本书后,我开始怀疑预测的可行性,当时我就怀疑模型的预测只是对过去情况的单纯统计,而并没有真实的预测能力,当时就有想直接通过达尔文适者生存的方法去简化选模的想法。根据反脆弱这本书的作者说明,复杂系统是非线性的,不稳定且难以预测的,相比于去做难以成功的预测,不如去分析系统的风险因子,也就是模型能够从以往数据中明确告知我们过往要素在某一时段的影响力和重要程度。所以如果我们不是以保证未来准度为目标,选模就会变得相对简单一些,也就是上图一 ②的选模方法了。

在看了《为什么》这本书以后,我了解到了攀登因果之梯的概念,这时我认识到,我们以往的工作都是在1关联上努力,而并没有真正挺近2、3,这也正是模型会遇到瓶颈的原因,因为模型没有进过因果之梯的检验,可能出现伪拟合的模型,其内部是互相关联且没有厘清的线头,难以真正指导行业实施行动策略,我们需要基于模型提供的重要度信息,先构造假样本来测试模型内部结构是否符合行业直觉,如果模型预测结果不符合行业直觉,则可以直接将模型pass掉,留下符合直觉的模型,然后在继续在该模型的基础上,深入挖掘,绘制各要素的因果链,从而从关联认知升级到因果认知,从而更好的为客户提供更有价值更有针对性的咨询建议。到这一步需要和客户密切协作,利用模型假设,进行干预,然后再调整模型,从而真正达到用模型来指标商业运营,用运营来优化模型表现,并在这个过程中不断摸清行业本质。

1caf0c677e451f6a57ad6e40774daee1.png
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/547897
推荐阅读
相关标签
  

闽ICP备14008679号