目前的防御措施能够抵御当今人工智能增强的网络安全威胁，但只要这些攻击变得更加有效和复杂，情况就不会如此。
人工智能和机器学习(AI/ML)模型已经在增加钓鱼诱饵、创建合成配置文件和创建基本恶意软件方面显示出了一些前景，但在不久的将来可能会出现更创新的网络攻击应用程序。
恶意软件开发人员已经开始尝试使用人工智能生成代码，安全研究人员证明可以创建完整的攻击链。
例如，Check Point研究团队使用当前的AI工具创建了一个完整的攻击活动，首先是OpenAI的ChatGPT生成的钓鱼电子邮件，敦促受害者打开一个Excel文档。然后，研究人员使用Codex AI编程助手创建一个Excel宏，该宏执行从URL下载的代码和Python脚本，以感染目标系统。
Check Point Research的威胁情报组经理Sergey Shykevich说：“每个步骤都需要多次迭代才能产生可接受的代码，但最终的攻击链起了作用。”
他说：“这确实需要大量的迭代，在每一步，第一个输出都不是最佳输出。如果我们是罪犯，我们就会被杀毒软件阻止。我们需要时间才能生成好的代码。”
在过去的六周里，ChatGPT作为一个基于OpenAI的生成式预训练transformer (GPT-3)的第三次迭代的大型语言模型(LLM)，为人工智能和机器学习的潜在应用激发了各种假设场景，有乐观的，也有恐惧的。
AI/ML模型的两用性质让企业争相寻找利用该技术提高效率的方法，而数字权利倡导者则担心该技术将对组织和工人产生影响。
网络安全也不例外。研究人员和网络犯罪组织已经尝试将GPT技术用于各种任务。据称，恶意软件的新手作者已经使用ChatGPT来编写恶意软件，尽管开发人员试图使用ChatGPT服务来开发应用程序，尽管有时成功，但往往会产生带有bug和漏洞的代码。
然而，AI/ML也正在影响其他安全和隐私领域。生成神经网络(gnn)已被用于创建合成人的照片，这些照片看起来是真实的，但不是真实的人，作为一种增强用于欺诈和虚假信息的个人资料的方法。一个相关的模型，称为生成对抗网络(GAN)，可以创建特定人物的虚假视频和音频，在一个案例中，允许欺诈者说服会计师和人力资源部门将3500万美元汇入罪犯的银行账户。
人工智能系统只会随着时间的推移而改进，从而引发各种增强威胁的担忧，这些威胁可能会欺骗现有的防御策略。
