新闻中心

NEWS center


解决日志采集与应用困境——EXD车端数据库 vData 2.4.0版上线
来源: | 作者:智协慧同 | 发布时间: 3天前 | 16 次浏览 | 分享到:

EXD vData 2.4.0 新增日志采集功能,通过多源异构日志数据接入与结构化处理、先进的数据压缩技术和高效的查询优化能力,助力车企构建更全面的数据驱动能力。



Image

图片来源:摄图网。转载请勿直接使用图片,避免版权风险。

在智能汽车走向高度软件定义的今天,日志数据也变得越来越重要——智能汽车故障/软件bug排除、系统运行监控、集成验证、系统性能优化、产品质量追溯预警,都离不开日志数据的支撑。

但现实却是:但真正能把日志用起来的,少之又少。

为什么日志的价值总是难以转化?

在智协慧同与多家客户的合作中,发现以下几个在日志采集中普遍存在的问题:

  • 车机系统的软件占比大幅增加,代码规模持续增大,软件日志数量和类型随之增加;

  • 日志分散在不同模块中,日志格式、存储形态多样,缺乏统一管理和分析的平台;

  • 车辆ECU数量增加,跨域通信成为常态,故障现象和根因隔着多个模块,跨模块问题难以溯源;

  • 偶发问题复现难,获取日志成本高;

  • 车端存储空间有限,客户反馈异常时,问题日志已经被覆盖导致无法复现;

  • 传统日志数据量大,在不上传云端的情况下,不易检索,无法支持故障排查和诊断;

这些问题并不只属于某一家车企,而是整个行业在进入数据驱动阶段后共同面对的技术挑战。

为了解决日志采集的痛点,智协慧同在车端数据库 EXD vData 2.4.0 中,正式推出了日志采集功能,支持对 Android 系统日志、Linux 日志、QNX 日志、APP 日志和 ECU 日志 的统一采集与结构化管理,实现了多模态数据的统一管理。

通过高效压缩技术、灵活的关键词监控机制和低资源占用设计,EXD vData可以在不增加任何额外硬件的前提下,直接部署于现有的域控制器和 T-box 中,帮助车企实现 70%~80% 的成本节约。

日志采集系统的全链路能力解析

为了实现帮助车企客户真正把数据“用起来”的目标,EXD vData 2.4.0 日志采集功能主要完成日志的接入、监控、压缩、存储与上传这五个核心任务:

1. 多源日志统一接入

车端系统日志来自多个来源,包括 Android Logcat、Linux Rsyslog、ECU 日志等。通过 Transport Adapter 的接入模块,这些异构日志被集中接入,打通原本分散的日志来源。

2. 结构化处理,转为可用数据

接入的日志首先进入解析模块,进行结构化处理。日志内容被统一成标准格式,便于后续在数据库中索引、查询和分析。

3. 关键词监控,实时触发上传

结构化后的日志被同步送往关键词监控模块。该模块支持百级关键词实时监控,一旦匹配到设定事件,立即触发上传操作,通过 MQTT 或 HTTPS 发送至云端平台,实现快速故障告警。

4. 高效缓存与压缩存储

所有日志也会按秒级被聚合并写入缓存区,随后批量写入 EXD vData 数据库。数据库采用字段级压缩,支持增量落盘,有效降低资源消耗。存储文件以 .stf 格式保存,便于后续快速检索与回溯。

5. 灵活配置与策略控制

日志接入源、关键词列表、监控等级、存储策略等都可通过配置中心进行动态调整,满足不同车型、不同阶段的部署需求。

这套架构的设计,不只是“把日志采下来”,更重要的是:采得好、存得住、查得快、用得上

相较于传统文件式日志系统方案,EXD vData 的日志采集能力在多个关键维度上实现了系统性提升:

维度
传统文件式日志系统
数据库日志采集系统
数据质量
非结构化、字段缺失
标准化字段、结构清晰
查询效率
文件遍历慢、难筛选
多维度高效索引、秒级查询
采集灵活性
采集固定、改动成本高
支持按事件/算法/策略灵活采集
上传性能
文件上传、效率低
字段级压缩、增量上传
故障诊断支持能力
手工操作多、效率低
自动提取诊断日志、云端闭环处理
成本控制
数据量大、云端处理慢
数据可裁剪、按需上传、压缩高效


日志如何在业务场景中“用起来”?

在实际业务中,EXD vData 的日志采集能力,可以帮助客户解决许多“长期困扰但难以解决”的问题。

Image
图片来源:摄图网。转载请勿直接使用图片,避免版权风险。

场景1:远程诊断场景

传统日志因粒度粗、字段不标准、无法及时上传,导致平台端排查效率低、人工介入重,常常需要反复沟通和导盘提取,一次问题定位往往需要1~5天。而通过 EXD vData 的日志结构化存储与远程触发上传机制,平台可按车型、控制器、时间段、事件类型等维度精准查询,并支持诊断平台远程自动触发日志上传和分析,可将远程诊断周期压缩到2小时以内,大幅提升了问题响应效率与用户体验。

场景2:智能告警和自动化感知

过去,很多车企依赖固定规则脚本判断告警事件,容易出现误报漏报,而且触发后难以还原现场上下文,缺乏进一步分析依据。现在,日志系统可与车端或云端算法模块打通,实现实时触发采集与上传。一旦发现潜在异常,系统会自动提取相关日志片段,并结合车辆状态、用户操作、系统行为等多源数据构建事件链条,支持后续的自动复现和根因分析。这类机制已被应用于潜在故障预警、首发问题上报、用户触发上传等多个实际场景中。

场景3:替代传统 log 文件存储

传统 log 文件存储不仅占用空间大,还难以支持车端对历史日志的快速检索与分析,一旦需要追溯问题,流程繁琐、效率低。而 EXD vData 通过高压缩倍率,可利用相同大小的存储空间,将全量日志保留时长提升至原来的 2 倍以上。同时,数据库编码使历史日志内容在车端查询处理成为可能,为故障预警、问题定位提供第一手线索,大大增强了车端智能分析能力。

场景4:整车故障可视化

在复杂的车云系统中,软硬件交互故障往往表现隐蔽,传统方法依赖人工分析多个异构数据源,效率低下且容易遗漏。基于 EXD 完整的总线,日志,诊断数据,可以轻松实现整车软硬件故障问题可视化,使得过往难以发现和处理的软件故障如车机黑卡花闪等问题能够自动捕捉,自动分析,在系统中可视化呈现,提供直观、可操作的决策依据。

实际上,日志采集功能的上线,将很大程度赋能EXD对数据应用场景的开发,不仅在EXD智能诊断VDM(Vehicle Diagnostic Management)方案上实现了本地日志分析、告警日志监控、故障树日志诊断、日志告警联动日志故障树诊断、日志远程调用、数据日志快照查询与条件判断等功能;而且在开发、测试阶段的问题发现识别,量产阶段的隐患统计,以及对用户行为感知性能监控等方面均会发挥重要作用。


实测结果:低资源占用,轻量运行


于车端日志系统来说,是否“轻量可部署”是能否真正落地的关键因素之一。

日志采集模块通常需要常驻运行在 T-box 或域控制器中,持续监听、解析并处理系统日志。它不能占用过多算力、不能拖慢主控程序、也不能因内存不足而频繁中断。

我们在典型量产车端平台(高通 8295 安卓板卡;算力:230K;核心数量:8 核)上,对日志采集功能进行了三种场景的测试,包括日志关键词监控、日志历史存储扩展整车日志方案。测试重点聚焦在车端部署最关键的3个指标:CPU性能、内存性能和压缩倍率

场景

关键词监控

日志存储扩展

整车日志方案

功能组成

接入日志、监控问题关键词、触发记录上传

接入日志、日志结构化、压缩存储

关键词监控+日志存储扩展

平均CPU占用(单核)

3.74%

5.53%

5.57%

平均内存(RES)

7.99MB

16.46MB

16.54MB

压缩倍率

N/A

45倍

45倍


测试数据显示,即使在功能全开的模式下,系统平均 CPU 占用也未超过单核的 6%,内存峰值保持在 18MB 以内,资源消耗可控,并且EXD压缩率为45倍,为传统GZIP压缩的3倍,也就是说EXD比传统GZIP提升200%的空间利用率(可存储更多历史日志数据量)


关注我们

联系我们

010-64466266

联系地址:

北京市海淀区知春路27号量子芯座10层

上海市长宁区凯旋路1388号长宁国际发展广场T1栋10层