近期，随着LLM（大语言模型）能力的飞跃性提升，将AI应用于FMEA、FTA、STPA等安全分析业务的尝试日益增多。然而，工程师们很快就会面临一个致命问题。那就是“看似合理的谎言”——幻觉（Hallucination）。
今天，我们将结合学术依据，深入探讨在安全分析中为何幻觉如此危险，以及VWAY为从技术上解决这一问题而引入的RAG（检索增强生成，Retrieval-Augmented Generation）系统究竟是什么。
1. 安全分析中的“幻觉（Hallucination）”：并非单纯的错误。 普通的聊天机器人说出“世宗大王扔了MacBook”这样的谎言，或许只是一笑而过的轶事。但在涉及ISO 26262或SOTIF（ISO 21448）等安全标准的领域，这种现象可能会演变成一场灾难。
为何致命？
捏造故障模式（Failure Mode）： AI可能会将实际硬件规格中不存在的故障模式指认为原因，从而导致真正的风险被忽视。
提出毫无根据的安全机制： 提出未经技术验证或物理上不可能实现的安全措施，导致设计阶段的混乱。
丧失可追溯性（Traceability）： 回答的出处不明确，无法在未来的安全性审计（Audit）中作为依据资料使用。
参考论文： Survey of Hallucination in Natural Language Generation (Ji et al., 2023)
2. 难道没有解决方案吗？：Fine-tuning的局限性与RAG的登场 很多人会问：“让AI学习（微调，Fine-tuning）我们公司的数据不就能解决了吗？”微调在教导AI的“语气”或“格式”方面很有效，但在让其准确记住“新知识”方面却存在局限性。因为对于尚未学习到的部分，AI仍然存在编造内容的可能性。
因此，应运而生的解决方案正是RAG（检索增强生成）。
3. 什么是RAG（检索增强生成）？ RAG是一项技术，它让LLM在生成回答之前，首先从可靠的外部知识库（Knowledge Base）中检索（Retrieval）相关信息，并以此信息为基础生成（Generation）回答。
打个通俗的比方：
4. RAG如何解决安全分析中的问题？ VWAY的VisualPro AI构建了专用于工程领域的RAG流水线（Pipeline），提供以下效果：
1) 基于事实的回答（Fact Grounding） AI被限制为仅在输入的“参考文档（Context）”内寻找答案。对于文档中没有的内容，强制其回答“没有相关信息”，从而从根本上杜绝虚假生成。
2) 提供透明的出处（Citation） 在给出回答的同时，会附上如“[参考：底盘控制器SRS文档，p.45]”这样准确的出处链接。工程师只需点击一下即可对原文进行交叉验证（Cross-check），让应对审计变得更加轻松。
3) 保持最新（Up-to-date） 当标准或设计发生变更时，无需重新训练AI。只需向数据库上传新文档，AI就能立即反映最新信息并进行分析。
5. 结论：值得信赖的AI合作伙伴，VWAY 在安全分析中，AI是一个出色的工具，但如果没有控制它的技术，它也可能成为一个危险的工具。
VWAY不仅仅是简单地对接LLM，而是将RAG技术与工程领域知识相结合，构建“无幻觉的安全AI环境”。VWAY的AI将以经过验证的依据为基础，为您的安全分析保驾护航。
[参考资料及链接]
近期，随着LLM（大语言模型）能力的飞跃性提升，将AI应用于FMEA、FTA、STPA等安全分析业务的尝试日益增多。然而，工程师们很快就会面临一个致命问题。那就是“看似合理的谎言”——幻觉（Hallucination）。
今天，我们将结合学术依据，深入探讨在安全分析中为何幻觉如此危险，以及VWAY为从技术上解决这一问题而引入的RAG（检索增强生成，Retrieval-Augmented Generation）系统究竟是什么。
1. 安全分析中的“幻觉（Hallucination）”：并非单纯的错误。 普通的聊天机器人说出“世宗大王扔了MacBook”这样的谎言，或许只是一笑而过的轶事。但在涉及ISO 26262或SOTIF（ISO 21448）等安全标准的领域，这种现象可能会演变成一场灾难。
为何致命？
捏造故障模式（Failure Mode）： AI可能会将实际硬件规格中不存在的故障模式指认为原因，从而导致真正的风险被忽视。
提出毫无根据的安全机制： 提出未经技术验证或物理上不可能实现的安全措施，导致设计阶段的混乱。
丧失可追溯性（Traceability）： 回答的出处不明确，无法在未来的安全性审计（Audit）中作为依据资料使用。
参考论文： Survey of Hallucination in Natural Language Generation (Ji et al., 2023)
2. 难道没有解决方案吗？：Fine-tuning的局限性与RAG的登场 很多人会问：“让AI学习（微调，Fine-tuning）我们公司的数据不就能解决了吗？”微调在教导AI的“语气”或“格式”方面很有效，但在让其准确记住“新知识”方面却存在局限性。因为对于尚未学习到的部分，AI仍然存在编造内容的可能性。
因此，应运而生的解决方案正是RAG（检索增强生成）。
3. 什么是RAG（检索增强生成）？ RAG是一项技术，它让LLM在生成回答之前，首先从可靠的外部知识库（Knowledge Base）中检索（Retrieval）相关信息，并以此信息为基础生成（Generation）回答。
打个通俗的比方：
传统LLM： 就像一个什么都不带进考场，仅凭平时背诵的记忆来答卷的学生（想不起来就瞎编）。
RAG系统： 就像是在进行“开卷考试”，把教科书（企业内部技术文档、标准规格书）摊在旁边，边查阅边答卷的学生。
4. RAG如何解决安全分析中的问题？ VWAY的VisualPro AI构建了专用于工程领域的RAG流水线（Pipeline），提供以下效果：
1) 基于事实的回答（Fact Grounding） AI被限制为仅在输入的“参考文档（Context）”内寻找答案。对于文档中没有的内容，强制其回答“没有相关信息”，从而从根本上杜绝虚假生成。
2) 提供透明的出处（Citation） 在给出回答的同时，会附上如“[参考：底盘控制器SRS文档，p.45]”这样准确的出处链接。工程师只需点击一下即可对原文进行交叉验证（Cross-check），让应对审计变得更加轻松。
3) 保持最新（Up-to-date） 当标准或设计发生变更时，无需重新训练AI。只需向数据库上传新文档，AI就能立即反映最新信息并进行分析。
5. 结论：值得信赖的AI合作伙伴，VWAY 在安全分析中，AI是一个出色的工具，但如果没有控制它的技术，它也可能成为一个危险的工具。
VWAY不仅仅是简单地对接LLM，而是将RAG技术与工程领域知识相结合，构建“无幻觉的安全AI环境”。VWAY的AI将以经过验证的依据为基础，为您的安全分析保驾护航。
[参考资料及链接]
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks https://arxiv.org/abs/2005.11401
Survey of Hallucination in Natural Language Generation https://dl.acm.org/doi/10.1145/3571730