摘要：依托大数据技术实现高速公路的实时数据采集，可以为高速公路数据挖掘奠定良好的数字化基础，这也是高速公路实现数字化、智慧化的重要基础。本文基于CDH大数据平台，结合Otter-Canal和StreamSets Data Collector（SDC）ETL工具技术组合、Nginx反向代理技术、kafka，实现在复杂的网络层级间高速公路的实时数据采集，并通过数据采集监控大屏、采集指标多方面监控数据采集健康状况，提高数据采集管理效率。以LSTM算法对断面动态数据挖掘分析为例，展示了以断面流量预测为代表的典型实时数据采集应用场景，旨在为相关部门制定科学的运营管理决策提供技术辅助和数据支持。实时数据采集也是未来通行费运营管理、紧急事件处置、车辆稽核逃费追缴等多种不同业务场景的重要应用基础。

相关内容详见链接：https://mp.weixin.qq.com/s/fCZ8Z-4SAfdw3FCDb3DYPg