大模型数据标注技术在网络安全领域的应用研究

编者荐语

本文直击 LLM 在数据标注中的核心矛盾，从提示工程到检索增强，从日志分析到漏洞挖掘，全方位梳理技术路径与实战场景，更深度拆解了模型投毒、隐私泄露等潜在危机。

引用本文

刘霁莹 . 大模型数据标注技术在网络安全领域的应用研究 [J]. 信息安全与通信保密 ,2025(10):70-81.

文章摘要

在人工智能时代，数据已成为驱动社会发展的核心引擎，而数据标注是挖掘海量原始数据有效信息、释放其应用价值的核心工序。传统的标注方法在成本、效率、精度及泛化能力上均难以满足海量、动态的网络数据标注需求。以大语言模型（LLM）为代表的新兴技术，凭借其强大的语义理解与泛化能力，为解决数据标注瓶颈提供了颠覆性的技术范式。然而，大模型数据标注也存在一系列安全风险。聚焦于网络安全领域，系统阐述了大模型驱动数据标注的核心技术、关键应用场景、潜在风险及应对策略，揭示了大模型驱动数据安全标注的技术潜力与应用价值。

0 引 言

在人工智能时代，数据已成为驱动社会发展和科技创新的核心引擎。然而，伴随数据价值的日益凸显，数据安全威胁也呈现出前所未有的复杂性和严峻性。特别是在网络安全领域，从大规模数据泄露、勒索软件攻击到高级持续性威胁，层出不穷的安全事件对个人隐私、企业运营乃至国家安全构成了严峻挑战，使得构建智能、高效的安全防护体系迫在眉睫。

构建可靠的安全体系，离不开大规模、高质量的标注数据。无论是入侵检测系统、恶意软件分析工具，还是敏感数据识别模块，其性能表现均高度依赖海量标注数据的支撑。在网络安全这一高对抗性领域，对数据标注的要求尤为严苛：标注必须做到极致的精确，以确保模型能够准确地学习威胁模式、识别异常行为；同时，标注过程本身也必须确保高度安全，以防止敏感的攻击样本或漏洞信息在处理过程中被泄露。因此，精确且安全的数据标注是整个智能安全生态得以建立和运转的根本前提。

传统的数据标注方法主要包括人工标注和基于规则的自动化标注。人工标注在处理需要深度领域知识和复杂上下文理解的任务时，能够保证较高的准确性和安全性，但过于依赖专家经验知识，存在成本高昂、效率低下、标注结果主观性强和一致性差等问题，难以满足网络空间中海量、异构、动态的数据标注需求。基于规则的自动化标注虽然能显著提升标注效率，但缺乏深度的语义理解和泛化能力，标注的精确性高度依赖预定义的规则库，在处理格式统一、模式固定的数据时表现尚可，但面对复杂的非结构化的网络数据时，常常容易失效。

近年来，以Transformer架构为代表的大语言模型取得了革命性突破，在自然语言理解、推理和生成等方面展现出惊人的能力。通过在海量无标签数据上进行预训练，LLM学习到丰富的语言知识和模式，具备强大的泛化和“涌现”能力，不仅能够高效处理海量数据，还可以生成多样化标签及解释文本，为解决数据标注瓶颈提供了一种全新的、颠覆性的技术范式。相较于传统方法，LLM在数据标注领域具有以下独特优势：

（1）兼具规模与效率。LLM能够并行处理海量数据，其标注速度远超人工操作水平。

（2）显著的成本效益。尽管LLM的初始训练和API调用存在一定成本，但其对数据的标注成本远低于人工标注。

（3）深度的语义理解能力。与依赖预定规则的传统自动化标注工具不同，LLM能够深刻理解复杂文本的上下文、内在逻辑和隐含意图，这使得LLM能够胜任以往只有人类专家才能完成的标注任务，且其效率远高于人类专家。

（4）高度的一致性。LLM在标注过程中能够确保应用相同的标准和逻辑，提升标注结果的一致性，保证了大规模数据集标注质量的稳定性和可靠性。

目前，学术界与工业界正加速推进LLM驱动的数据标注在网络安全领域的技术融合进程。研究表明，LLM在安全日志语义解析、恶意代码特征提取及网络钓鱼行为模式识别等场景中已展现出超越传统规则的标注效能，验证了其技术可行性。然而，将LLM应用于安全领域的数据标注，催生了一个值得深思的“安全悖论”。例如，利用LLM标注的数据训练更强大的防御模型、进行风险发现与威胁评估等，以增强安全能力。与此同时，作为一个复杂的软件系统，LLM对训练数据偏见的继承性与放大效应可能导致威胁评估的系统性偏差，自身也面临着数据泄露、模型投毒、对抗性攻击等安全威胁。LLM在提升数据标注智能化水平的同时，其自身可能成为新的安全薄弱环节，从而导致数据安全标注链路的整体脆弱性升级。因此，如何利用LLM对数据进行精确而安全地标注，是一项充满挑战且亟须解决的关键问题。

鉴于此，本文聚焦于对安全性要求极高的网络安全领域，重点研究利用LLM对网络安全数据进行精确而安全地标注的核心技术。本文系统性梳理了基于LLM的通用数据标注技术方法，总结其在网络安全领域的典型应用；深入剖析LLM驱动的数据标注面临的主要风险与挑战，并探讨应对策略与未来研究方向。

1 大模型数据标注核心技术

数据标注是指为原始数据（如文本、图像、音频、视频等）添加有意义的标签、元数据或解释信息的过程，目的是使数据便于理解、管理和应用。LLM具有强大的自然语言理解和生成能力，在数据标注领域展现出巨大的潜力，其核心技术如表1所示。

1.1 基于提示工程的标注方法

提示工程是指通过精心设计输入给LLM的指令，来引导模型产生期望输出的技术。在数据标注中，不同的提示策略适用于不同的任务复杂度和数据特性。

（1）零样本学习：在零样本学习场景下，LLM直接根据任务描述和待标注数据的上下文信息进行标注，无需提供任何标注完成的示例。这种方法的优势在于便捷高效，无需额外的标注数据，但其准确性高度依赖LLM的预训练知识和对任务的理解能力。对于复杂的安全概念或隐蔽的威胁模式，零样本学习的性能可能有限。

（2）少样本学习：少样本学习通过在提示中包含少量已标注的样本，向LLM展示期望的输入输出格式和标注逻辑，从而引导模型更好地理解和执行标注任务。少样本学习利用了LLM强大的上下文学习能力，通常能够取得比零样本学习更好的效果，尤其是在特定领域的标注任务中。

（3）思维链提示：对于需要复杂推理的安全标注任务，如漏洞类型判断或恶意软件行为分析，CoT提示技术尤为有效。CoT提示引导LLM在给出最终标注结果之前，先生成分析与推理过程，不仅能提高标注的准确性，其生成的推理过程本身也可以作为一种有价值的元标注可解释性数据，增强了标注结果的可解释性与可信度。可解释性有助于审计、排查以及人工分析师验证和理解LLM的判断依据，对于安全领域至关重要。

针对网络安全数据（如结构化日志、代码片段、威胁情报报告等）的提示设计具有其独特性，对提示工程提出了专门的挑战。日志数据通常包含大量缩写和特定符号，代码片段则涉及复杂的语法和逻辑结构。设计有效的提示需要充分考虑这些数据特点，可能需要结合领域知识对原始数据进行预处理或在提示中提供额外的上下文信息。然而，将通用的提示技术直接应用于高度专业化和可能包含对抗性因素的数据，若未经审慎调整，可能导致性能不佳甚至引入新的安全风险。例如，数据中存在隐晦、复杂的模式，通用提示可能难以捕捉，甚至可能被精心构造的输入所利用，引入额外的安全风险。

1.2 基于微调的标注方法

微调是指在预训练LLM的基础上，使用特定领域的标注数据集对其进行进一步训练，使模型适应专门的安全标注任务。微调数据的质量和数量对最终标注性能有显著影响。在安全领域，获取大规模、高质量的标注数据本身就充满挑战，通常需要深厚的领域知识和大量人工投入。微调过程也并非没有风险，如果用于微调的数据存在偏差或被恶意污染，微调后的LLM可能会继承甚至放大这些问题，导致其在特定安全标注任务上产生错误或有偏输出。

1.3 基于检索增强生成的标注方法

检索增强生成技术通过将LLM与外部知识库相结合，为模型提供实时的、与当前任务相关的上下文信息，从而提高其生成内容的准确性和时效性。在数据安全标注场景中，外部知识库可以包括MITRE ATT&CK框架、通用缺陷列表、已知漏洞库、安全事件库、最新的威胁情报等。

RAG在威胁情报分析、漏洞描述生成与标注等场景中展现出巨大潜力，但其规模化应用也需慎重考量。一方面，检索到的外部信息的准确性和时效性直接影响LLM的标注质量；另一方面，RAG的检索过程如果设计不当，也可能引发隐私泄露问题。例如，向外部知识库发出的查询本身可能暴露组织正在调查的特定威胁或系统存在的潜在脆弱性。因此，确保RAG系统中知识源的完整性和检索过程的安全性，对于实现可信赖的安全数据标注至关重要。

2 网络安全领域的主要应用场景

LLM凭借其强大的文本理解、代码分析和模式识别能力，在网络安全领域的众多数据标注场景中展现出应用潜力，主要包括网络安全日志分析、威胁情报识别、恶意代码检测与漏洞扫描等，如表2所示。

2.1 网络安全日志与事件标注

网络安全日志（如系统日志、防火墙日志、入侵检测系统告警）和安全事件数据是进行威胁检测、事后追溯和态势感知的基础。然而，这些数据通常海量、异构、充满噪声，人工分析和标注成本极高。LLM能够辅助对这些数据进行自动化解析、分类和威胁等级标注。例如，利用LLM识别日志中的异常行为模式，判断其是否与已知的攻击手法相关，并将其关联到MITRE ATT&CK等框架中的特定技战术等。

尽管前景广阔，但在日志与事件标注中，LLM仍面临诸多挑战，包括如何处理格式各异、高度压缩或含有大量专有缩写的日志；如何在充满噪声的环境中准确捕捉微弱的异常信号；如何满足近乎实时的标注需求；如何实现对复杂攻击链条的深层语义理解等。目前，LLM已能有效处理具有明确模式与文本特征的简单事件分类，但在面对需进行深度分析与关联多个事件才能识别的复杂隐蔽攻击时，其标注能力仍存在明显不足。

2.2 恶意代码行为与特征标注

恶意代码分析是网络安全防御体系的核心环节。LLM能够辅助分析恶意代码的静态特征与动态行为，自动提取其行为特征，生成家族分类和功能描述等标注信息。

恶意代码分析中的对抗特性给LLM带来了严峻挑战。代码混淆、加密、反虚拟机、反沙箱等反分析技术，以及不断涌现的新型恶意软件和未知行为模式，都可能使LLM的分析和标注失效。

2.3 漏洞信息与代码安全标注

随着软件规模与复杂度的持续攀升，漏洞挖掘与代码审计工作的难度显著增加。LLM能够从海量漏洞报告、代码提交记录及开源项目代码库中识别潜在的软件漏洞，并完成对通用缺陷枚举分类、风险等级评估、受影响组件识别等信息的标注。

代码复杂性、上下文依赖性及漏洞模式多样性是LLM在此领域面临的主要挑战。LLM在精确理解代码语义、逻辑和潜在缺陷方面的可靠性仍需进一步验证和提升，尤其是面对设计层面或逻辑层面的复杂漏洞。

2.4 敏感数据与个人信息识别标注

在数据防泄露、隐私合规审计等场景中，准确识别和标注各类敏感数据至关重要。LLM能够自动检测和标注文本、图像、音视频等多种类型数据中包含的PII、知识产权信息、商业机密、财务数据等敏感内容。除了常见的PII，LLM还能够识别特定领域的非PII类敏感信息，并结合预设策略进行管理和标注，为敏感数据标注提供了重要思路。

敏感数据的定义具有多样性和动态性，并且其判定往往高度依赖上下文，有些数据可能自身并不敏感，但与相关上下文相结合则构成敏感数据。LLM在处理这种上下文相关的敏感数据识别时仍面临挑战。此外，在多语言环境下准确识别敏感数据，以及如何避免LLM自身在处理和标注过程中发生敏感信息泄露，也是需要重点关注的问题。

2.5 网络钓鱼与虚假信息内容标注

网络钓鱼和虚假信息传播是常见的网络威胁手段。LLM能够分析电子邮件、网页内容、社交媒体帖文等，识别其中可能存在的钓鱼企图、恶意URL、虚假叙事或操纵性言论，并进行相应的标注。LLM还能够提取钓鱼邮件或网站的关键特征，如发件人伪装模式、URL跳转特征、文本情感和说服技巧等，形成结构化的标注信息，用于训练更精准的检测模型。

网络钓鱼和虚假信息的制造者也在不断采用更高级的手段来规避检测，如使用高度个性化的鱼叉式钓鱼邮件、利用生成式AI产生的逼真虚假内容、利用URL重定向和短链接服务等。LLM对这些不断演变的、语言上更具欺骗性的内容的辨别能力仍有提升空间，并且自身也可能被用于生成更具迷惑性的对抗性文本。

2.6 威胁情报提取与结构化标注

威胁情报对于主动防御和快速响应至关重要。然而，大量的威胁情报以非结构化的形式存在于安全厂商报告、技术博客、新闻资讯、暗网论坛等处。LLM能够从这些海量文本中自动提取关键的威胁情报要素，如攻击者的TTPs、恶意软件指标、攻击组织名称、目标行业和地区等，并将其进行结构化标注，形成可机读的威胁情报库。

威胁情报来源的异构性、信息质量的参差不齐、语言表达的隐晦性和多样性，以及从分散信息中进行关联分析和推断的复杂性，都是LLM在威胁情报提取与标注方面需要克服的难题。

2.7 新型威胁数据标注

对于已知的威胁模式，LLM可以通过学习大量样本来进行标注。但对于真正意义上的零日攻击或全新的攻击手法，由于缺乏先验知识，LLM直接进行准确标注的难度极大。然而，LLM强大的模式识别和泛化能力，可能使其能够辅助识别与已知威胁模式有细微差异的、可疑的新型攻击线索，或者对一些无法明确归类的异常行为进行初步的“可疑”或“未知”标注，以提示安全分析师进行进一步的人工研判。LLM在此类场景下更多扮演的是辅助发现和初步筛选的角色，而非最终的判定者。

3 风险挑战与应对策略

3.1 风险挑战

大模型为数据安全标注带来了诸多机遇，但在实际应用过程中，也面临着一系列潜在风险与严峻挑战。这些风险和挑战不仅关系到标注结果的质量和可靠性，更直接影响到基于这些标注数据构建的整个数据安全体系的有效性。

3.1.1 数据安全与隐私泄露风险

将LLM应用于处理特定领域（如网络安全）的数据时，确保数据安全与隐私保护至关重要。数据安全与隐私泄露风险主要包括：

（1）训练数据泄露：LLM在预训练或微调过程中，有可能“记忆”接触过的训练数据片段。若训练数据中包含了未充分脱敏的安全事件详情，在后续的标注任务中，LLM可能会泄露这些敏感内容。

（2）标注过程中的数据泄露：当将待标注的敏感安全数据作为输入提交给LLM进行标注时，这些数据存在被服务提供商记录、存储和滥用的风险，造成间接数据泄露。

（3）敏感信息的间接暴露与推断：LLM具备一定的推理能力，即使输入的单条待标注数据本身不直接包含敏感信息，LLM也可能通过分析多条数据之间的关联，或结合其已有的背景知识，推断出更高层级的敏感安全信息。

（4）数据残留与删除困境：提交给云端LLM服务进行标注的数据，其在服务商系统中的生命周期管理缺乏足够的透明度。数据所有者难以完全控制其数据的安全状态，增加了敏感安全数据长期泄露的风险。

3.1.2 模型自身安全风险

LLM模型本身并非坚不可摧，其固有的脆弱性可能被攻击者利用，从而直接影响数据安全标注的可靠性和公正性。模型自身的安全风险主要包括：

（1）模型投毒：攻击者通过在LLM的预训练数据、微调数据或在线学习过程中注入少量精心构造的恶意样本来污染模型。

（2）后门攻击：后门攻击与模型投毒密切相关，其目标是在LLM中植入一个隐蔽的“后门”。在特定的“触发器”作用下，后门被激活，导致LLM的标注行为被劫持，输出错误或恶意标签。

（3）对抗性攻击：对输入给LLM进行标注的数据施加微小的、人眼难以察觉的扰动，生成“对抗样本”，诱导LLM输出错误结果。

（4）提示注入与越狱：通过构造包含恶意指令的提示，来“劫持”LLM的正常指令遵循流程，使其绕过内置的安全防护机制，执行非预期的操作，或者泄露其上下文中的敏感信息。在数据安全标注场景下，提示注入可能导致LLM忽略原始的标注任务，转而输出攻击者想要的内容，或者在标注结果中夹带恶意信息，从而影响标注的公正性和安全性。

模型自身的安全风险表明，如果LLM标注系统本身遭到破坏，其产生的标注结果不仅是无用的，甚至可能是有害的。因此，保证LLM自身的安全性对基于LLM的安全标注至关重要。

3.1.3 标注质量与偏见问题

除了直接的安全攻击，LLM自身的一些固有特性也可能对其在数据安全标注任务中的质量与公正性产生负面影响。

（1）固有缺陷：LLM的训练数据存在固有偏见、模型幻觉、对复杂模糊场景理解不足以及知识更新滞后性等问题，均可能影响标注结果，增加安全风险。

（2）“黑箱”特性：LLM的“黑箱”特性进一步加剧了其标注结果的质量和偏见问题。由于其内部决策的不透明性，当产生错误或有偏见的标注时，研究人员难以准确追溯问题根源，从而无法实施有效的纠正与预防措施。这种可解释性的缺失，已成为阻碍LLM在需要高可信度和高可靠性的安全关键应用中获得广泛接受与信任的主要障碍。

3.1.4 伦理与合规性挑战

将LLM应用于数据安全标注，特别是在处理涉及个人行为特征、通信内容或敏感身份信息等数据时，可能会引发一系列伦理和合规性挑战。伦理与合规性挑战主要包括：

（1）标注数据的伦理考量：数据标注绕不开伦理问题。例如，使用LLM自动标注员工的内部通信记录以检测潜在的数据泄露风险或内部威胁，虽然在技术上可行，但可能严重侵犯员工的个人隐私，并引发关于监控边界、数据收集的合法性与必要性的伦理争议。同样，利用LLM大规模标注社交媒体上的言论以识别虚假信息或仇恨言论，也可能触及言论自由、内容审查及算法歧视等敏感伦理议题。LLM的高效自动化能力，可能使得原本小范围、有针对性的人工审查行为，演变成大规模、常态化的数据监控和剖析，从而模糊了安全需求与伦理底线之间的界限。

（2）国内外相关法规与标准：LLM赋能的数据安全标注活动必须严格遵守所在国家和地区的数据保护法规，如欧盟的GDPR、美国的CCPA、我国的《中华人民共和国个人信息保护法》等。这些法规对个人信息的收集、处理、存储、跨境传输及自动化决策等方面都提出了明确要求。此外，还需考虑行业特定的安全标准和合规要求，如网络安全等级保护制度。确保LLM标注的全过程都符合这些复杂的法律法规要求，是一个重大的挑战。

3.2 应对策略

面对LLM在数据标注中暴露出的风险，学术界和工业界已经从不同层面展开了积极的探索和实践，形成了一套初步的、多层次的防御体系，如DataShield安全框架、OWASP发布的LLM应用十大安全风险及针对性的部署和缓解机制等。目前，针对大模型数据标注各项安全风险的应对策略主要包括：（1）隐私保护融合，如差分隐私、同态加密、数据隔离、本地化部署等；（2）LLM风险管控，如后门检测、对抗性训练、指令隔离等；（3）幻觉与偏见校准，如事实检测机制、检索增强、人机协同标注等；（4）伦理审查与合规性检验，如数据授权、数据保护影响评估、定期合规性审计等。

这些应对策略从不同层面系统性地解决了LLM数据标注所面临的风险。隐私保护技术旨在确保数据处理过程的机密性，LLM风险管控致力于提升模型自身的安全性与鲁棒性，幻觉与偏见校准用以保障标注结果的准确性与公平性，伦理与合规性检验则确保了技术应用的合法性与正当性。这些策略的协同应用，是构建可控、可信的LLM数据安全标注流程的关键。

4 结 语

本文聚焦网络安全领域，系统阐述了LLM数据标注的核心技术、关键应用场景、潜在的风险谱系及相应的应对策略。大模型通过语义解析、模式生成和多模态处理等能力，在提升标注效率、解决数据稀缺问题以及多项数据安全核心应用场景中展现出突破传统标注范式边界的可能性。尽管已有研究已取得诸多成果，但作为一个深度交叉的新兴领域，大模型数据标注的理论完备性与技术成熟度仍面临诸多挑战。为推动数据标注向安全化、智能化、可信化方向发展，未来可以从以下几个方面开展深度研究：

（1）可解释性与因果推断：目前LLM的标注过程往往缺乏透明度。未来的研究需要着力提升LLM安全标注结果的可解释性，使其不仅能给出标注标签，更能提供清晰、可靠的归因分析和证据链条，解释其做出某一标注判断的理由。这对于增强人类安全分析师对LLM标注结果的理解、信任和接受度至关重要，也有助于发现和纠正模型可能存在的偏见或错误。

（2）对抗鲁棒性：鉴于数据安全标注系统本身可能成为攻击目标，未来的研究必须致力于研发更为强健的LLM模型架构和防御机制，以有效抵抗针对标注过程的各类对抗性攻击和提示注入等威胁。

（3）持续学习与自适应：网络安全威胁环境瞬息万变，新型攻击手法、恶意软件变种及漏洞类型持续涌现。用于数据安全标注的LLM必须具备持续学习与快速自适应的能力，能够动态地从新的数据和威胁情报中汲取知识，更新其知识库与标注策略，从而避免因模型知识陈旧而导致的标注性能衰退或对新型威胁的识别失效。

（4）多模态数据融合标注：未来的安全事件分析和威胁狩猎将越来越依赖于对多源异构数据的综合研判。因此，研究能够融合文本信息、代码、网络流量数据、图像甚至音视频信息进行综合分析和标注的多模态LLM，将是提升标注深度和广度的重要趋势。

本文省去了参考文献，以方便排版

作者简介

刘霁莹（1977—），女，学士，工程师，主要研究方向为信息安全。

★

★ ★ ★

★