制造业质量控制故障排查常见故障分类与特征

检测设备故障

检测设备故障常见于视觉相机、传感器、测量仪、扫码器和在线检测工位。

典型表现包括测量值固定、数据持续漂移、重复检测结果差异过大，以及设备频繁离线。

排查时可用标准样件连续测试10次。若极差超过工艺允许值，需要检查校准参数、镜头污染和机械振动。

设备故障通常影响单个工位，但共用控制器或供电模块异常时，可能造成整条产线停止检测。

不要只看设备是否在线。在线状态正常，不代表测量结果真实可信。

工艺参数故障

工艺参数故障多由配方下发错误、参数被人工修改、版本未同步或单位换算错误引起。

典型表现是同批物料在不同设备上的合格率差异明显，或者换产后缺陷率突然升高。

排查人员应对比MES配方、设备实际参数和质量系统记录，确认三处参数是否一致。

例如压力单位由MPa误写为kPa，系统可能正常运行，却会产生大批量不合格品。

这类故障影响范围通常按产品批次、设备组或班次扩散，必须快速锁定参数生效时间。

软件与规则故障

质量判定软件可能出现规则配置错误、算法版本不一致、阈值失效和状态机卡死等问题。

典型表现是人工复检合格，但系统持续判废；或者明显缺陷产品被系统判为合格。

排查时要提取原始检测值、判定规则版本、算法版本和执行日志，重新计算判定结果。

原始数据必须保留，仅保存“合格”或“不合格”无法支持后续追责。

规则故障可能同时影响多个工厂，尤其是总部统一发布模型和检测标准的场景。

人员与操作故障

人员操作问题包括工单选错、样本绑定错误、质量状态误改和异常放行未审批。

典型表现是实物、标签、批次号与系统记录对应不上，问题往往出现在换班或换产阶段。

可通过操作日志、账号登录记录、扫码轨迹和视频时间线，还原具体操作过程。

企业应避免多人共用账号，否则出现质量事故后，很难确认是谁在什么时间修改了数据。

制造业质量控制故障排查数据层故障排查

数据丢失或不一致排查

数据丢失通常表现为检测记录缺号、同一产品存在多个结果，或MES与质量平台数量不一致。

排查可从产品序列号入手，建立“设备—网关—消息队列—数据库—应用”的完整链路。

每经过一个节点，都要检查接收时间、发送时间、消息ID、处理状态和失败原因。

若设备产生1000条记录，网关只有980条，应重点检查采集缓存、断电保护和通信日志。

若消息队列数量完整，但数据库缺少记录，需要检查消费失败、事务回滚和唯一键冲突。

重复数据多与超时重发有关。建议使用产品ID加检测工序加检测时间生成幂等键。

数据库主从不一致时，要核对复制延迟、错误日志和只读节点状态，避免应用读取旧数据。

怎么做才能快速确认影响范围？可按设备、班次、批次和时间窗口统计缺失比例。

缺失率超过预设阈值时，应暂停自动放行，转入人工复检或隔离区，防止问题产品出厂。

数据同步延迟排查

数据同步延迟表现为现场已经完成检测，但看板、报表或MES迟迟没有显示结果。

排查时要分段计算延迟，包括设备上传耗时、网关转发耗时和平台处理耗时。

例如端到端延迟为120秒，而设备到网关只有2秒，问题多半位于队列或消费服务。

需要检查消息积压量、消费者数量、单条消息处理时间，以及数据库写入等待时间。

当积压量持续增长时，单纯重启服务只能短暂缓解，必须找出吞吐量下降的原因。

常见原因有哪些？包括批量接口改成单条调用、索引失效、日志级别过高和下游限流。

建议为关键质量数据设置延迟等级。10秒内为正常，30秒预警，60秒触发人工确认。

涉及产品放行时，系统必须明确显示数据是否齐全，不能用旧结果代替当前结果。

数据质量异常排查

数据质量异常包括空值、负数、超量程值、单位错误和短时间内大幅跳变。

可配置上下限、变化率、重复率和字段完整率规则，对异常数据自动标记。

例如温度正常范围为20℃至80℃，出现800℃时，应检查小数点和单位转换逻辑。

对于视觉检测结果，还要检查图片与产品序列号是否错绑，避免算法结论对应错误工件。

异常数据不能直接删除，应保留原值、修正值、修正人和修正时间。

制造业质量控制故障排查系统层故障排查

服务不可用排查

服务不可用可能表现为页面打不开、检测结果无法提交、任务停止下发或接口返回500。

接到告警后，应确认故障是单个用户、单个服务，还是整个质量平台不可用。

检查顺序可按入口网关、应用服务、缓存、数据库、消息队列和第三方依赖展开。

应用进程存在但无法响应时，要查看线程状态、连接池使用率和健康检查结果。

如果数据库连接池占满，需要确认是慢SQL、连接未释放，还是数据库本身负载过高。

容器环境还要检查Pod重启次数、CPU限制、内存限制、节点磁盘和调度事件。

恢复服务前，应判断积压任务能否重复执行，避免重启后产生重复检测或重复放行。

恢复可用不等于故障结束。还要补传数据、核对批次，并记录影响产品数量。

性能骤降排查

性能骤降常表现为页面响应从1秒变成10秒，接口超时增加，检测工位开始排队。

排查人员应对比异常前后的CPU、内存、磁盘IO、数据库等待和接口耗时。

若CPU使用率不高，但响应很慢，应检查锁等待、线程阻塞和外部接口延迟。

若数据库负载突增，可分析执行时间排名前20的SQL，并查看索引是否被正确使用。

报表查询经常扫描数千万条记录，应与在线检测业务分库，或使用只读分析库。

性能问题也可能来自数据量变化。新增一条产线后，消息量可能从每秒200条升到800条。

采购硬件前要回答一个问题：瓶颈到底在哪里？否则花多少钱都可能没有效果。

容量规划应包含峰值吞吐、并发用户数、数据保留周期和故障切换资源。

内存泄漏排查

内存泄漏表现为服务运行时间越长，内存占用越高，直到被系统杀死或频繁重启。

可观察24小时内堆内存、非堆内存、垃圾回收次数和单次回收耗时。

如果回收后内存基线持续上升，需要抓取多个时间点的内存快照进行对比。

常见泄漏对象包括未关闭的文件流、无限增长的缓存和未释放的图片处理对象。

视觉质量系统处理大尺寸图片时，应限制并发量，并设置缓存容量和过期时间。

临时方案可以定时重启，但正式修复必须定位对象引用链，并通过压力测试验证。

制造业质量控制故障排查网络与接口故障排查

网络连通性问题

网络问题常表现为设备间歇离线、数据上传失败、跨工厂访问缓慢和丢包率升高。

排查不能只使用一次Ping测试，还要检查连续丢包、端口连通性和路由路径。

现场可分别测试设备到网关、网关到平台、平台到数据库的网络质量。

若固定时间段出现中断，应检查交换机负载、无线干扰和备份任务带宽占用。

工业现场还要关注网线接头、供电干扰、交换机环路和设备IP冲突。

建议对关键链路监控延迟、丢包率、抖动和带宽利用率四项指标。

当网络中断时，边缘网关应本地缓存数据，恢复后按时间顺序补传。

接口超时与重试

接口超时不一定是网络故障，也可能是下游处理慢、连接池不足或请求体过大。

排查时应记录DNS解析、建立连接、发送请求和等待响应各阶段耗时。

超时时间不能随意加长。检测工位节拍为5秒，接口超时设置60秒并不合理。

重试策略应使用指数退避，并设置最大次数，避免故障时产生请求风暴。

涉及质量结果写入时，必须配置幂等机制，确保同一产品不会生成多条检测记录。

若接口连续失败，可将消息写入本地队列，待服务恢复后自动补偿。

接口日志要包含请求ID、产品ID和工单号，方便跨系统追踪同一笔业务。

证书与权限问题

证书故障多发生在证书过期、域名不匹配、根证书缺失或设备时间错误时。

典型表现为HTTPS连接失败，但普通网络测试和端口测试都正常。

排查时要检查证书有效期、证书链、域名和设备系统时间，不能只更换服务器证书。

权限问题通常返回401或403，也可能因接口设计不规范而返回500。

需要核对账号状态、令牌有效期、角色权限、IP白名单和访问范围。

证书到期前30天应自动告警，更新过程要支持双证书切换，减少停机风险。

权限调整必须经过审批并留下审计记录，避免用管理员账号长期调用生产接口。

制造业质量控制故障排查故障预防体系

巡检与预警机制

巡检不能停留在“服务是否运行”，还要覆盖数据、业务和产品质量三个层面。

技术指标包括CPU、内存、磁盘、接口成功率、消息积压和数据库连接数。

数据指标包括记录完整率、重复率、同步延迟、异常值比例和图片上传成功率。

业务指标应关注一次合格率、误判率、漏判率和单工位检测节拍。

预警阈值应结合基线动态调整。例如接口失败率连续5分钟超过1%，再触发告警。

告警必须明确设备、产线、影响批次、责任人和建议动作，减少无效转发。

严重告警应在5分钟内确认，15分钟内给出处置方案，并自动升级给值班负责人。

故障知识库建设

知识库应记录故障现象、影响范围、根因、排查步骤、恢复方法和验证标准。

每条记录要绑定系统版本、设备型号、工厂和发生时间，方便按场景检索。

例如“数据未上传”不能只写成网络问题，应写清是交换机端口故障还是缓存写满。

故障处理完成后，可在24小时内复盘，并补充日志截图、SQL和配置差异。

高频故障可制作标准操作手册，让现场人员按步骤完成基础判断。

知识库还应统计同类故障次数、平均恢复时间和重复发生率。

若同一问题90天内出现3次，就不能继续靠人工处理，应进入技术改造清单。

自动化恢复方案

自动化恢复适合处理规则明确、风险可控并且能够验证结果的故障。

常见方案包括服务自动拉起、主备切换、队列自动扩容和断点续传。

网络恢复后，系统可自动补传缓存数据，并按消息ID完成去重。

数据库或接口恢复后，应先执行小流量探测，再逐步恢复全部生产请求。

自动恢复必须设置停止条件。例如连续3次失败后转人工，避免无限循环。

质量放行属于高风险动作，不应在数据缺失时自动执行，可切换到人工审批。

企业评估方案多少钱时，应同时计算停线损失、报废成本和人工处理时间。

预防体系的目标不是没有故障，而是缩短发现、定位和恢复时间。

常见问题