摘要

在过去的十年里，工业界和学术界一直致力于通过类似游戏的竞赛来提高学生对网络安全的兴趣，以填补网络安全专业人员的短缺。人们对电子游戏的兴趣日益浓厚，加上游戏化技术，使得学习变得有趣、简单、容易上瘾。至关重要的是，网络安全课程加强了网络安全教育，并将其暴露给多样化的学生群体，以满足劳动力需求。通过网络竞赛实现游戏化是实现这一目标的一种方法。有了大量关于竞赛类型、重点领域、学习成果和参与者经验水平的选项列表，我们需要将改善网络竞赛的属性知识系统化。在新冠肺炎疫情和全球封锁之后，由于竞赛软件之间的互操作性差，竞赛主办方争先恐后地将平台从本地转移到在线基础设施。我们得出了一系列结论，包括最先进的竞争系统之间缺乏互操作性，打破了参与的高知识壁垒，解决了竞争类型的多样性，然后提出了潜在的解决方案和研究问题。我们的论文旨在通过调查这些事件的历史来系统化网络安全，访问控制和编程竞赛。我们研究了已经举办过的竞赛类型，并根据与InfoSEC色轮相关的重点领域对它们进行了分类。然后，我们将探索最先进的技术，使这些类型的竞争成为可能，最后，提出我们的建议。

1 介绍

网络安全曾经是一个小众爱好，在过去的30年里，它已经引起了政府、学术界和犯罪分子的注意。思科在2018年报告称，北美每个家庭的平均连接约为8.2台设备，预计到2023年这一数字将增长到13.4台(思科系统，2018年)。家庭技术的大规模采用引入了许多新设备，如物联网(IoT)，这导致了无数的安全漏洞和漏洞(Abomhara等人，2015;Kolias等人，2017)。2008年，战略与国际研究中心(CSIS)项目成立。在一波破坏性的网络攻击之后，国际战略与国际研究中心(CSIS)敲响了警钟，美国出现了涉及网络安全的国家安全危机(Langevin et al.， 2008)。奥巴马政府在2010年发布了一个总统委员会，承认CSIS的工作，并引用道，“对美国的网络威胁影响到社会、商业和政府的各个方面，但既没有广泛的网络专家骨干，也没有一个成熟的网络职业领域可以建立”(Evans和Reeder, 2010)。

有人呼吁学术界开发和加强网络安全课程。2013年，同一届政府引入了6200万美元的政府资金，专门用于网络安全人员，并扩大了服务奖学金(SFS)计划。该基金将激励学生在网络安全领域从事职业，并在毕业后成为政府雇员(新闻秘书办公室，2020b)。在随后的几年里，有多个CSIS简报和相关的行政命令继续为网络安全的增长和发展分配资源(Langevin et al.， 2011;美国商务和技术部国家标准研究院，2020;国土安全部，2020;新闻秘书办公室，2020a)。

据预测，美国的网络安全专业人员缺口约为62%(网络安全和教育中心，2019年)，有能力的安全专业人员仍有很大缺口需要填补。各大学都在努力招收学习网络安全并在该领域取得卓越成就的新生。吸引新生和扩大教育成果的一种很有前途的方法是利用网络竞赛的使用(Eagle, 2013;Eagle & Clark, 2004)。我们将网络竞赛定义为:通过使用游戏化和编程、访问控制和网络安全方面的重点技能发展来教授计算机科学、信息保障和网络安全的竞赛或教育计划。在第3节中，我们进一步讨论了不同类型的网络竞赛、组成部分、教育成果以及当前的缺点。

研究界已经研究了使用“夺旗”(CTF)等事件来加强网络安全教育的有效性(Leune & Petrilli, 2017)，以及案例研究，这些案例研究侧重于使用游戏化技术时安全培训的积极学习成果(Thornton & Francia, 2014)。许多竞赛主办方利用游戏化来更好地教授网络安全(bopathi et al.， 2015;Antonaci et al.， 2017;Dabrowski et al.， 2015)。高等教育已经采用游戏化来提高信息保留、学习意愿和自学能力(Schreuders & Butterfield, 2016)。通过PicoCTF 2013 - Toaster Wars等创意主题吸引了年轻人的兴趣(Zhang et al.， 2013)。

本文的总体目的是为未来的网络竞赛提供宝贵的参考资源，以帮助为参与者创造最有效的教育成果。我们的机构在运营网络安全训练营方面有着丰富的经验，并参加了各种各样的比赛，我们从比赛主办方和其他参赛团队那里得到了直接的反馈。据我们所知，这是第一篇与网络竞赛相关的系统化知识(SoK)论文，我们的贡献如下:

1. 1.

   探索网络竞赛的历史，并建立一个广泛认可的竞赛类型的分类。

2. 2.

   通过比较和对比每种技术的特性、开发计划和社区，对最先进的系统进行分析，以帮助举办网络竞赛。

3. 3.

   为未来的研究人员继续推进网络竞赛，并授权新个体举办自己的竞赛，得出一系列要点和考虑因素。

本文的其余部分组织如下。第2节介绍了网络竞赛的历史，探讨了网络俱乐部和竞赛主办方，简要讨论了游戏化，并将信息安全色轮与网络竞赛联系起来。第3节介绍了网络竞赛的分类，然后继续:定义不同类型的竞赛、参与者的技能和预期的学习成果。第4节检查了建立竞争的最先进的工具和现有技术中存在的缺点。第5节提供了一个研究叙述，其中包括对该领域当前研究的全面回顾，我们提出了要点和考虑事项，以增强未来对网络竞赛的研究。最后，第六部分对本文进行总结，为今后的工作构建路径。

2 概述

2.1 网上比赛的历史

在20世纪70年代，第一次竞争性编程事件发生了，“黑客”一词被松散地应用于任何具有基本计算知识的人(Saman, 2007)。在20世纪80年代，诸如IEEE安全和隐私研讨会和USENIX安全研讨会等学术会议开始作为计算机安全研究的论坛。到20世纪90年代初，网络开始不再仅仅是一个小众的爱好和学术研究领域。业界开始寻找具有信息安全和技术知识的专业人士，以帮助他们的公司免受日益增长的网络威胁。会议开始帮助完善网络安全知识和教育工作。两个会议，DEFCON和BlackHat (Moss, 2008)，将在安全会议的同时扩大举办竞赛。这些竞赛开启了一种大规模的活动类型，将重点放在信息保障、网络安全和网络安全上。1996年，DEFCON举办了第一次网络安全CTF，这是同类活动中的第一次(DEFCON, 2018)。尽管这种类型的活动吸引了许多“黑客”的兴趣，但根据CTFWiki的说法，该活动充满了一些问题，这些问题让早期参赛者感到沮丧，包括不明确的比赛规则、糟糕的评分系统和糟糕的设计平台(CTFWiki Team, 2019)。

网络安全竞赛并没有止步于CTFs，而是扩展到其他形式的活动中。在21世纪初，国防竞赛开始流行起来，这些竞赛旨在模拟与CTFs不同的现实世界场景。美国五所军事院校的网络防御演习(CDX)(道奇和拉格斯代尔，2004年)和德克萨斯大学圣安东尼奥分校(UTSA)的第一届大学网络防御竞赛(CCDC)(康克林，2006年)是第一批创建的两项防御竞赛。这两个竞赛至今仍然存在:CDX现在是国家安全局(NSA)的一部分，而CCDC已经成为一个全国性的多阶段活动(Fink et al.， 2013)。防守比赛侧重于团队防守网络或系统，而不是像CTFs那样攻击个人问题。直到2010年，网络安全竞赛只针对行业专业人士和即将进入职场的学术界学生，而不是为了吸引兴趣。

2010年，美国总统巴拉克•奥巴马(Barack Obama)发布了一个总统委员会，承认我们的国家在保护我们的系统免受日益增长的网络威胁方面严重不足，并呼吁学术界把重点放在教育学生成为网络安全专业人员上(Evans & Reeder, 2010)。在这个总统委员会之后，卡内基梅隆大学(CMU)开发了针对高中水平的最大竞赛之一，picoCTF (Chapman等人，2014)，目标是让更年轻的人接触网络安全。PicoCTF在早期取得了重大成功，有成千上万想要学习网络安全的高中生参与(Chapman & Brumley, 2013)。PicoCTF发布了他们的平台、评分引擎，CMU发布了多篇概述他们经验的出版物。这鼓励了其他大学通过使用picoCTF平台或开发自己的系统来托管ctf。尽管在早期的DEFCON CTF中展示了一些问题，但CTF类型在过去几年里已经得到了巨大的改进，今天可以看到数百种变化，由许多来源托管，如CTFTimeFootnote 1，一个存档CTF事件的平台。

2.2 游戏化理论

游戏化是一个相对较新的术语，研究表明它出现于2008年(Deterding et al.， 2011)。游戏化的基本定义是:在非游戏环境中使用游戏设计元素。未来的工作扩展了这一定义，以注意使用游戏化的机制和目标(Scholefield & Shepherd, 2019;Schreuders & Butterfield出版社，2016)。然而，研究表明，还没有一个标准的定义(seaborn&fels, 2015)，所以为了本文的目的，我们将使用基本的解释。直到最近十年，才有关于游戏设计元素的应用及其结果应用于计算机科学和网络安全的研究发表。

有几种常见的游戏机制被用作支持用户粘性的设计元素。进一步的研究细化了它们的目的，并讨论了每个元素背后的动机(Thornton & Francia, 2014;Blohm & Leimeister, 2013)。游戏设计元素可以通过“MDA”框架进行分析——机制(构成游戏的功能)、动态(关于玩家的互动)和美学(视觉吸引力和玩家的感觉)。我们将简要介绍这些因素及其动机如下:

• 积分系统:表示进度的数字单位，并允许参与者相互排名。

  • 动机:自我成就，社会认可

• 关卡:允许参与者跟踪难度和进度的状态。

  • 动机:自决

• 排行榜:为玩家提供比较排名(通常基于积分系统)。

  • 动机:自我成就，社会认可

• 徽章:完成任务后的成就象征。

  • 动机:自决

• 教程:帮助新玩家上手的指导，有助于吸引参与者的注意力。

  • 动机:求知欲

• 挑战和任务:要求参与者完成的任务和任务。

  • 动机:自我成就，认知刺激

• 参与循环:与其他参与者或主人的社交互动。

  • 动机:社会交换

综合研究表明，游戏化产生了积极的影响和益处(Hamari et al.， 2014)。具体应用于计算机科学和网络安全，我们在检查参与者参与度、经验和学习成果时看到了类似的结果(Schreuders & Butterfield, 2016;Dabrowski et al.， 2015;Scholefield & Shepherd, 2019)。我们强调的许多设计元素都被纳入了第4节中讨论的最先进的系统。尝试使用这些元素的最著名的网络竞赛之一是picoCTF在2013年的竞赛:Toaster Wars (Zhang et al.， 2013)。与每个元素相关的动机是主办者试图在网络竞赛中利用的东西，以吸引新的参与者并保持他们的注意力，同时为教育提供新的风格。

2.3 网络俱乐部、参与者和主持人

与体育和其他以团体为导向的活动类似，网络竞赛也形成了专门的团队。事件是由参与者(可以是个人或团队)组成的，他们参与一个环境来解决主持人规范的问题(Sommestad & Hallberg, 2012)。主持人负责决定举办什么类型的比赛，让演员解决什么类型的问题，比赛的学习成果是什么，如何得分，以及有什么规则(patricia & Furtuna, 2009)。每个项目的队伍规模不同，参赛选手的教育背景也各不相同。CDX由8人的团队组成，而DEFCON报告了100人的团队共同解决CTF挑战(Eagle, 2013)。虽然有些赛事主办方对队伍规模有限制，但参赛队伍通常有许多额外的成员，有时被称为网络俱乐部。鉴于美国政府呼吁扩大学术界对网络安全的关注，以及为大学提供资金的机会:许多人创建了网络俱乐部，以提高教育成果，并准备一支个人团队参加这些竞赛，以获得大学曝光率和学生成功(Cheung et al.， 2012)。

网络俱乐部通常是由大学级别的学生推动的，但也可以由经验丰富的教职员工担任教练。类似于运动队:俱乐部的队长或领导将选择他们的首发成员，他们的替补，并有一群参与者，他们支持创业和练习，为参加高水平的比赛做好准备。CTFTime是一个平台，不仅用于宣传和存档事件，还用于对团队在这些事件中的成功进行排名(CTFTime, 2020)。网络俱乐部已经成为创建和参与CTFs的最大参与者之一。举办网络竞赛不仅让俱乐部成员获得了创造挑战的经验，还为大学提供了与其他团队和学校接触的机会。虽然网络俱乐部确实主办了大多数活动，但行业和政府主办的活动也会发生，比如CDX (Dodge & Ragsdale, 2004)，但通常行业和政府会与活动合作，作为赞助商招募新的潜在员工，并鼓励网络安全领域的发展。

一些较大的俱乐部有专门的子团队参加每年举行的活动，例如CCDC的蓝队(Conklin, 2006)，大学渗透测试比赛(CPTC)的红队(Munaiah等人，2019)，以及参加PicoCTF (Chapman等人，2014)和CSAW(网络安全游戏与会议)等比赛的CTF团队(有时被称为紫色团队)(Chung & Cohen, 2014;Gavas等人，2012年)。这在较大的网络俱乐部中可以看到，因为他们有足够多的成员致力于不同的安全“颜色”(这些颜色用于代表不同的网络安全学科，如图1所示的信息安全色轮)。

InfoSEC色轮概念模型(Hackernoon Color Wheel(url: https://tinyurl.com/wuuvnfl))

2.4 InfoSEC色轮

一个被称为InfoSEC色轮的概念模型已经被多次迭代，它被用来解释基于主色(红、黄、蓝)和次色(紫、绿、橙)的安全重点领域。2017年4月，BlackHat USA上的一篇文章确定了与网络安全相关的现有红、黄、蓝团队，并介绍了紫、绿、橙团队的术语和扩展。如图1所示，这个概念模型由七种颜色组成，用于识别安全专业人员的不同区域。这个图形有许多不同的版本，有时包括更多的颜色来识别不同的区域，或者以不同的方式布局它们，但这些是在该领域被广泛认可的主要区域。随着轮盘的扩大，从Twitter和RedditFootnote 2上可以看到，来自安全社区的意见不一，一些条目是不必要的，太具体了。

信息安全色轮的七种颜色以不同的方式覆盖了网络安全的不同领域(2017年4月;Cremen, 2020;Miessler, 2020)。色轮中的每个条目通常都有针对他们的知识、技能和能力设计的竞赛和问题。这些类型的比赛将在第3节中进一步解释，赛事类型在图2中突出显示:

• 红队:被称为攻击者，专注于进攻性安全和道德黑客(Cremen, 2020)。由网络的内部或外部参与者组成，通常参与受控渗透测试(包括白盒、黑盒和清盒测试)(Brotherston & Berlin, 2017;Miessler, 2020)。红队成员专注于利用系统中的漏洞并发现新的漏洞(称为0-day)。参与攻击性安全事件、攻击/防御事件和危险事件。在活动中与蓝队竞争以瞄准他们的网络。

• 蓝队:被称为防御者，专注于防御安全和事件响应(Cremen, 2020)。由网络上的内部参与者组成，这些参与者与入侵检测方法、防火墙和数字取证一起工作，以查找攻击网络的参与者(Brotherston & Berlin, 2017)。蓝队成员专注于保护网络和控制损失。参与防御性安全事件、取证事件和危险事件。在事件中保护他们的网络不受红队的攻击。

• 黄队:被称为建设者，专注于编程和创建代码和系统(2017年4月)。由构建代码的开发人员、软件工程师和架构师组成(2017年4月;Miessler, 2020)。参与编程活动，包括一般编程竞赛、优化问题和安全编码。用于构建由管理指定的环境。

• 橙色团队:介于红队和黄队之间，由个人组成，帮助黄队了解红队发现的安全漏洞存在的原因，以及如何修复它们。橙色团队成员专注于安全编码，解释bug存在的原因，以及如何改进不安全的系统。作为红队和黄队之间沟通和教育的团队成员(Miessler, 2020)。

• 绿队:介于蓝队和黄队之间，由个人组成，通过代码帮助加强蓝队的安全策略。与橙队类似，绿队协助教育和协助黄队成员实现安全功能，如蓝队要求的日志记录、自动化和监控(2017年4月)。

• 紫队:介于红队和蓝队之间，被称为“黑客”，了解系统中的进攻和防御战术(Brotherston and Berlin, 2017;2017年4月)。通过了解防守战术，他们能够更好地穿透系统，反之亦然。参加红队和蓝队成员参加的所有活动，以及CTFs。

网络竞赛的类型分为不同的类别

除了列出的团队之外，图1还提到了第7个团队，称为白色团队，通常处理行政任务，如合规、物流和管理(Cremen, 2020)。在比赛中，东道主通常扮演白队。不同的比赛可能会有不同的颜色与参与者和志愿者的责任相关联。例如，CCDC利用白队作为官员观察参赛队伍，引入金队负责组织整个比赛，黑队负责比赛期间的技术支持(Williams, 2020)。CPTC采用一支白队进行比赛管理，一支黑队进行比赛技术支持(Munaiah et al.， 2019)。InfoSEC色轮将被用作可选的概念模型。该模型没有对网络竞赛的类型进行严格限制。

目录

摘要 1 介绍 2 概述 3.Cybercompetitions 4 技术水平 5 研究与讨论 6 有限公司 结论及未来工作 笔记 参考文献 作者信息 搜索 导航 #####

3.Cybercompetitions

随着网络竞赛在过去十年的发展，每项竞赛的内容也在不断扩大。在网络安全领域，越来越多的学科开始将竞赛作为一种提高学习成果的方法，并为教育提供一种新的风格。比赛在教导参与者如何作为一个团队工作和在紧张的气氛中工作方面显示出了希望(Cheung等人，2012)，正如一些研究称之为“在炮火下竞争”(Eagle和Clark, 2004)。每年都会举办许多不同类型的网络竞赛。新类型的竞赛正在不断发展，其中一些已经取得了重大成功，并成为反复发生的事件(如罗切斯特理工学院(RIT)的CPTCFootnote 3，它是最早关注渗透测试的竞赛之一)。也有一些大学完全用基于竞争的学习取代了传统的课堂，以研究教育效益和改善学习成果(Dabrowski et al.， 2015)。

在图2中，该图表分解了不同类型的网络竞赛，并将其分类为树状。我们将现有的网络竞赛分为三个主要焦点:网络安全、访问控制和编程。尽管特定类型的竞争可能属于一个子树，但它们可能在另一个子树中具有该竞争的元素或方面(例如:网络安全子树中的渗透测试竞争可能具有来自访问控制子树的物理安全元素)。正如关键所解释的那样，实线是我们在本文中关注的主题和主题材料。虚线和省略号指的是未探索的区域(暗示这棵树是故意留下不完整的，因为还有其他可能的竞争类型和主题可以使用)。

3.1 网络安全竞赛

以网络安全为重点的网络竞赛已经得到广泛宣传，2018年和2019年的CTFTime报告称，每年在其平台上宣传的竞赛超过100场(CTFTime, 2020)。在过去的十年里，网络安全竞赛已经在学术研究中被记录和研究，有许多关于建立竞赛、审查学习成果和调查参与者的出版物。过去的研究探索了ctf(如PicoCTF、DEFCON和CSAW) (Zhang et al.， 2013;Cowan et al.， 2003;Bashir等人，2015)和网络防御竞赛(如CDX、CPTC和CyberPatriot) (Dodge & Ragsdale, 2004;White et al.， 2010)，许多是为大学生水平的游戏设计的(Chu et al.， 2007)。

由于复杂性，表1对网络安全竞赛进行了细分，并进行了如下布局:描述概述了每场竞赛所涵盖的主题和流程，学习成果解释了每场竞赛的预期收益。

在表1中列出的网络安全竞赛中，CTFs仍然是最受欢迎的，因为它们易于创建、托管和扩展。一般来说，网络竞赛为参与者提供了工具、系统和技术的技能发展。如第2节所述，信息安全色轮是这些竞赛的共同主题，因为有专门为蓝队(例如:网络防御、攻击+防御、事件响应)和红队(例如:渗透测试、攻击+防御)设计的项目。

3.2 访问公司控制比赛

网络竞赛已经扩展到测试和教育参与者，不仅涉及网络安全，还涉及物理安全。参与者的任务是展示他们在覆盖访问控制机制方面的能力。这些访问控制竞赛已作为独立活动(康涅狄格大学，2020年)或与CTFs等活动一起举办(Cowan等人，2003年)。通常，这些事件测试参与者可以获得多少访问权限(例如进入一个受限区域)，他们可以击败多少机制(例如闯入一个区域)，或者他们可以获得什么信息(例如社会工程)。这是为了复制真实世界的访问控制机制而设计的。在图2中，我们描述了以下类型的访问控制竞争:

• 物理安全:活动旨在测试参与者对访问控制系统的了解。物理安全挑战的目标是获得对房间或安全环境的访问权限(例如设计用于保护物理机器访问的服务器机柜)。这些事件评估参与者能够获得的访问权限、获得访问权限所需的时间，以及参与者是否在获得访问权限时被检测到。在一些特殊的活动中，如ToorCon，参与者被要求尝试破坏防篡改系统中的机制，作为测试行业标准设备的一种手段(Conti et al.， 2011)。在RIT的信息安全人才搜索(ISTS)脚注4中，参与者面临的挑战是闯入一个安全的服务器机房。过去的CPTC事件的特点是使用物理渗透技术攻击计算机(使用通用串行总线(USB)和其他设备)。物理安全挑战通常包括开锁，以帮助获得访问或滥用技术的弱点，如射频识别(RFID)和磁条认证方法。设计物理安全事件是为了让参与者了解认为安全的环境中的潜在弱点。

• 开锁:与其他挑战一起被纳入竞赛，所有这些挑战都测试参与者绕过锁定机制的能力(Conti et al.， 2011)。在一些比赛中，有一些挑战是测试参与者打破门上的锁进入特定区域、挣脱手铐或打开挂锁的能力。在sts比赛中，挣脱手铐可以为参与者和他们的团队加分。在DEFCON中，团队面临的挑战是在不损坏盒子或锁的情况下闯入盒子(留下最小的篡改证据)(Cowan等人，2003)。像mitctfffootnote 5这样的事件有基于开锁问题的完整评分类别。开锁通常用于测试参与者获得物理访问环境的能力，但已被用作独立挑战。开锁用于教育参与者防止锁被绕过的机制。

• 社会工程:社会工程竞赛测试参与者使用公司或第三方的欺骗技术泄露机密信息的能力(Conti et al.， 2011)。众所周知，参赛者会试图对比赛主办方进行社交工程，以获取与旗帜相关的信息，或者在与其他参赛者的竞争中获得优势，尽管这可能会导致违反比赛诚信的团队受到处罚。社会工程的攻击媒介包括网络钓鱼电子邮件、面对面的互动、电话和利用与公司员工的实时聊天。在CyberSeed的社会工程竞赛中，主持人在模拟公司环境中使用了类似ctf的挑战(要求参与者从员工那里获得某些信息)，训练参与者在使用策略时发布信息(从而为参与者产生“旗帜”)(康涅狄格大学，2020年)。在DEFCON的社会工程竞赛中，参与者在活动开始前研究目标，然后使用侦察技术收集信息，并利用社会工程利用目标(Conti等人，2011)。社会工程事件为参与者提供了处理恶意参与者的经验，这些恶意参与者想要滥用心理学和非技术属性来获得未经授权的访问。最近，天普大学(Temple University, 2020)举办了一个“纯粹的大学社会工程CTF”，类似于CyberSeed举办的CTF。

3.3 编程竞赛

编程活动和竞赛变得越来越受欢迎，因为年轻人开始转向“学习编程”(Kafai & Burke, 2014)。有一些人承认并不是每个人都能编码(Shein, 2014)。然而，网站、论坛、互联网社区和讨论板使资源更容易获取。由于编程的学习曲线，许多活动将其网站在活动结束后保持实时状态，以便作为永久资源向公众开放。编程活动和竞赛的重点是一般编程、安全编码、优化和数学问题。与我们研究过的其他竞赛不同，编程竞赛主要关注计算机科学理论，然而，它们可能包括一些网络安全方面的内容:

• 通用编程:挑战是为完全初学者到有经验的程序员设计的。通用编程问题测试参与者对基本程序流程、逻辑和概念的知识(Van der Vegt, 2006;雷斯尼克,2013)。

• 安全编码:挑战参与者的编程和网络安全知识(Xie et al.， 2015)。提交内容应在确保代码安全的同时解决挑战。提交不应该能够被渗透，滥用，或以其他方式妥协。

• 优化问题:专注于使用已经编写的代码或使用高级编程逻辑来加快计算时间，并尝试实现优于其他团队的算法。

• 数学问题:类似于优化问题，但缓慢地关注难以计算的繁重数学问题。

与其他类型的网络竞赛不同，没有多少资源可以帮助主办方为参赛者打分。大多数编程挑战通常使用协作编程系统或版本控制来接收参与者的答案并对其进行评分。协作系统，如repl。itFootnote 6是基于浏览器的ide，它允许根据一组定义的输出对提交的代码进行分级。版本控制，如GitHub或GitLab允许自动编译和自动构建提交的代码，使主机能够对本地系统进行评分。已经提出了一些系统，如Code Hunt (fouche&mangle, 2015)，专门为编程比赛打分而设计，但尚未被广泛采用。我们将在第4节中进一步探讨评分引擎。

4 技术水平

学术界和工业界一直在支持创建最先进的工具，以协助创建网络竞赛、自动生成流量、创建高级威胁和培训下一代网络安全专业人员。在本节中，我们将讨论用于帮助举办网络安全竞赛的工具，检查有助于创建挑战的先进技术，并探索现有系统中的缺点。由于缺乏资金或兴趣，一些项目没有受到影响。如果一个工具在去年更新过(git上的新提交，新版本等)，我们会考虑积极维护它。

4.1 捕获标志(CTF)系统

托管CTF的一个关键组件是计分引擎(也称为计分板)。参与者必须有一个平台，在那里他们可以提交他们找到的旗帜。在过去的几年里，不同类型的软件(平台)已经发布，使主机无需开发自己的平台就可以创建CTF。早期的CTF平台只是为团队保存分数，并接受字符串作为标志，但随着平台的发展，它们现在接受编码标志，帮助配置，并添加用户管理功能(Chung & Cohen, 2014)。Facebook研究工程师apsdehal创建了一个用于创建CTF的最常用平台和资源的存储库，称为awesome-ctf，该存储库在github上积极维护(apsdehal, 2020)。

表2列出了CTF平台(及其维护者)，根据CTFTime，一些最流行的CTF事件(如picoCTF和CSAW)使用了这些平台。

根据对CTFTime档案的简要分析，最常用的CTF平台是FBCTF, picoCTF和CTFd，我们将对其进行深入的回顾和分析。

FBCTF是由Facebook的威胁基础设施团队在内部创建的，从2013年开始举办一个大学级别的Facebook CTF。2016年，Facebook团队决定将该软件开源，并指出:“由于构建和运行CTF的成本和技术要求很高，而且公开可用的资源很少”(Singh, 2020)。FBCTF在github上可用，但不再维护，特别是有100多个未解决的开放问题(Facebook, 2018)。该软件曾被包括在Facebook的漏洞赏金计划中，但后来被删除了。存储库当前是存档的，没有指示将来要进行维护或开发。该平台是用PHP编写的，存在可扩展性问题(Lei et al.， 2014)。FBCTF仍然是小型ctf的竞争者，因为它易于设置，视觉上吸引人的世界地图和“黑客”主题。

picoCTF是由CMU的学生在2013年为他们自己的比赛创建的，但被公开发布。该平台经过了几次由学生和公司赞助的修改，为平台增加了功能和安全性增强。截至2020年，picoCTF在github上可用，目前正在维护(卡内基梅隆大学，2020a)。该平台是用python编写的，具有以下值得注意的组件:

• Web服务器(和API):托管问题列表(包括问题提示)、记分牌、课堂功能(使平台在课堂设置中可用)和shell服务器集成(允许浏览器内shell体验)。

• Shell管理器:通过一个中心点来管理竞争所需的服务器，从而降低了CTF配置的开销，并帮助为竞争对手提供访问。

• 问题管理人员:picoCTF在标准化CTF挑战的创建和部署方面的努力，以便它们可以被重用。

• Ansible部署:允许通过流行的DevOps工具Ansible自动部署安装和配置(Hochstein & Moser, 2017)。

该平台已经发布了12个正式版本，提交了数千次。PicoCTF功能丰富，并且有大量的贡献者。与CTFd相比，picoCTF在市场营销方面有所欠缺，它以其著名的竞争对手命名，而不是一个独立的平台，这可能是它不如CTFd受欢迎的原因。

CTFd是由前纽约大学(NYU)研究生Kevin Chung在github上开发和维护的，因为流行的NYU CTF: CSAW (Chung, 2020a)。CSAW是纽约大学每年举办一次的“网络安全游戏与会议”场地。CTFd的创建者(footnote 7)表示，CTFd缺乏强大的CTF平台，而且CTF本身也存在陷阱，比如入门级别高，而CTFd旨在帮助解决这些问题(Chung & Cohen, 2014)。CTFd从一个小的CTF平台开始，到现在只支持记分牌，一个功能丰富的“框架”:

• 多种挑战类型:与其他平台不同，CTFd支持高级挑战，而不是传统的“提交标志”结构。

  • 标准-传统升旗

  • 编码-集成编程，类似于repit .it

  • 多项选择-用于测验或琐事

  • 手动验证-主机标志批准

  • 衰减点-随着时间的推移而降低的点

• 高级计分板和统计:提供了一个强大的经验，分解解决方案的个人，团队，提供平分功能，允许计分板冻结，玩家花点提示。

• 团队管理:允许用户控制自己的团队，以个人身份竞争，加入和离开团队。

• 页面管理器:使主机使用CTFd作为一个完整的网站与自定义页面的信息，法律通知，和其他用途。

• 插件管理器:允许使用CTFd运行比赛的用户社区通过编写自己的插件来积极贡献(Chung, 2020b)。一些插件已经作为平台的一个特性进入了主代码库。一些最著名的插件包括:

  • 便携式挑战-能够在CTFd中快速部署挑战，并在平台外进行编辑(德克萨斯州，2020年)

  • CTFd Docker——允许主机从CTFd接口无缝地创建、编辑和管理Docker容器(Kevin, 2018)

  • CTFd哈希破解之王——扩展了挑战的类型，增加了一个山丘之王(KoTH)插件来得分控制服务器的团队(Tyler, 2018)

  • 在线挑战-允许动态标记和作弊报告，以帮助查找共享标记的团队，并确保比赛的完整性(XuCcc, 2018)

CTFd是用python编写的，可扩展。它已经接管了CTFTime的事件列表，成为ctf最常用的平台。这是围绕CTFd的社区和平台营销的结果。插件管理器将CTFd与其他提到的平台区分开来，因为它使社区成员能够编写自己的功能并共享它们，而无需等待GitHub上的合并。CTFd最初是一个CTFs的平台，现在已经发展成为一个不仅发布自己的软件，还提供托管、自定义主题、自定义插件和竞赛管理的企业，以创建“即服务”的CTFs。

虽然有一长串的竞争者，但没有一个平台是完美的。ctf中一个长期存在的问题是没有创建挑战的正式格式，因此从一个平台转移到另一个平台是一项乏味的任务，并且要求主机从头开始。已经有人尝试过解决这个问题，比如picoCTF添加了一个问题管理器，但是在大多数平台接受标准格式之前，这个问题将无法解决。

除了平台互操作性问题之外，还有多年来出现的安全问题。在RC3 CTF 2016期间，一个名为“seadog007”的用户利用CTFd中的漏洞大量生成分数并接管计分板(Yu, 2016)。同样在2016年，在CODEGATE CTF期间，用户利用特权升级(CVE-2016-1576)获得系统的root访问权限，并查看通过挑战找到的所有标志。虽然网络竞赛的规则通常是不攻击竞争对手的基础设施，但这并不能免除这些平台负责任地保护自己免受潜在对手攻击的责任。如果一场比赛被黑客入侵，它可能会损害主办方的信誉，使他们教授网络安全主题的能力受到质疑。NIZKCTF旨在通过定义竞争协议和保护旗帜来解决这个问题，但该平台并未被广泛接受(Matias et al.， 2018)。

4.2 比赛“大规模”

对于不遵循CTF格式的竞赛，例如表1中的进攻型和防御型竞赛:需要高级服务器基础设施和计分引擎功能来运行这些类型的竞赛。由于它们对服务器基础设施的规模和可伸缩性要求，我们将这些竞争称为“大规模”竞争。竞争对手通过利用虚拟化软件、配置管理、利用网络范围等新技术以及与“云”合作来实现这种先进的服务器基础设施。不过，每种解决方案都面临着不同问题的挑战。在本小节中，我们将通过探索它们的使用能力、成本以及每种技术带来的各种问题、挑战和关注，来研究实现“大规模”竞争的领先解决方案。我们将在实践中看到，这些解决方案通常结合使用，以创造“大规模”竞争。

云已经彻底改变了信息技术(IT)行业(Dillon et al.， 2010)，将本地安装的软件和系统移动到互联网用户可以从本质上无限数量的位置连接(Hayes, 2008)。美国国家标准与技术研究院(NIST)将云计算定义为“一种模型，它使无处不在的、方便的、按需的网络访问可配置计算资源的共享池(例如，网络、服务器、存储、应用程序和服务)能够以最小的管理工作量快速配置和发布”(Peter et al.， 2011)。一般来说，云计算可以通过DigitalOceanFootnote 8、AzureFootnote 9和Amazon Web services (AWS)Footnote 10等服务实现成本效益，每个实例的起价仅为几美元，并为大学、机构和开源项目提供显著的价格降低和账户信用。这种按需扩展和易于部署的解决方案对需要可扩展和远程访问基础设施的竞争主机非常有利。

尽管云计算是“大规模”竞赛解决方案的有力竞争者，但与任何新技术一样，随着技术的广泛采用，也会出现挑战。一些研究人员揭示了云计算的挑战(Dillon等人，2010;波波维奇& željko, 2010;Sajid & Raza, 2013)，所有这些都使竞争诚信受到质疑。研究表明，在云计算环境中，安全性、隐私性、性能、可靠性和可用性都可能受到损害。进一步的研究表明，在执行云取证以应对这些攻击时存在管辖权问题(阮等人，2011)，这进一步使配置复杂化。由于这些网络竞赛的参赛者在道德黑客、网络安全和数字取证方面都非常熟练，因此存在作弊和利用云软件漏洞的可能性。人们还担心与云计算相关的成本。虽然独立的云服务具有成本效益，小型比赛也可以承担负担，但大型比赛可能需要花费数万美元才能举办几天的活动。研究人员开发了决策模型，以帮助云计算和优化方法的成本分析(Chaisiri等人，2011;Martens & Teuteberg, 2012)，但随着竞争规模的扩大，成本会呈指数级增长。已经有几家公司尝试建立私有云解决方案，比如AnstleFootnote 11，但它们也有自己的缺点。云计算是一个值得注意的竞争者，并且在实践中与我们在本小节中强调的其他解决方案一起使用。

虚拟化是对计算资源的抽象，目的是提高资源利用率(Sahoo et al.， 2010)。它在整个行业中广泛使用，允许公司虚拟化软件实例，并利用改进的资源利用率使其物理系统更具成本效益。虚拟化可以增强软件的互操作性和硬件与软件之间的平台多功能性(Brooks et al.， 2012)，因此它已经变得广泛流行。“Type 1”管理程序，如Xen、Microsoft的Hyper-V、Proxmox和VMWare，位于安装和硬件之间，对安装进行虚拟化。“Type 2”管理程序，如Docker，在已经安装的操作系统(OS)上运行，并将系统容器化。托管、操作系统和裸机虚拟化模式之间存在显著差异:但这些都超出了本文的讨论范围。竞争对手使用虚拟化来简化重新部署、克隆虚拟机以及在单个物理主机上安装大量操作系统的能力。它使竞赛主办者能够创造一个单一的环境，并根据参赛者的需要复制它。如果主机需要还原环境，虚拟化软件中的备份功能非常有用。

在观察不同的网络竞争用例时，虚拟化有几个缺点。虽然它在较小的内部竞争中很有用，但远程竞争对手需要一个虚拟专用网络(VPN)来与环境进行交互，就像它们在内部网络上一样。这使配置变得复杂，并增加了另一层潜在的攻击。竞争主机已经在云中使用了虚拟化，但是云虚拟化存在安全问题。近年来，已经有多个被披露的影响英特尔和AMD处理器的安全漏洞，这些漏洞会影响虚拟化安全性。Spectre (Kocher等人，2019)(CVE-2017-5753和CVE-2017-5715)、Meltdown (Lipp等人，2018)(CVE-2017-5754)和Foreshadow (Weisse等人，2018)(CVE-2018-3615)都会影响处理器的安全性，允许攻击者逃离虚拟机并泄露数据。虽然已经有针对这些漏洞的安全补丁，但它降低了处理器的性能，尤其是在云环境中。

配置管理(有时称为基础设施即代码(IaC))是一项新兴技术，业界正在迅速采用。配置管理使系统能够基于代码自动配置，而不是手动安装过程(Benson et al.， 2016)。虽然竞争对手可能会一次性配置一个系统或一组系统，然后克隆它进行部署，但这并不是一种有利的方法，因为在不同的硬件、云计算公司和虚拟化软件之间移动系统非常困难。实现IaC的软件越来越多，但以下是用于配置竞赛环境的值得注意的系统:

• Ansible - python/YAML，易于使用

• SaltStack - python/YAML，易于使用

• Chef - ruby/DSL，更难以使用

• Puppet - ruby/DSL，更难以使用

• Terraform - go/HCL，极难使用

值得注意的是，与列出的其他工具不同，terraform更像是一个“编排工具”，而不是配置工具:这意味着它的设计目的是提供服务器，然后将配置工作留给其他工具。这有时会导致chef或puppet在实践中与terraform结合使用。在本例中，terraform将提供和安装服务器，而chef或puppet将配置它。在选择配置管理器时，还有其他需要考虑的权衡，比如你是想要主管理器还是无主管理器，代理管理器还是无代理管理器，过程管理器还是声明管理器:但这些选项超出了本文的范围(Yevgeniy, 2016)。使用IaC的主要缺点之一是复杂性。虽然Anisble和SaltStack被认为更容易使用，更合理，但对于日常用户或不太懂技术的教授来说，它们仍然很困难。另一方面，Terraform部署了自己的配置语言，使事情进一步复杂化。为了以直观的方式打包这些技术，已经创建和部署了网络范围。

网络范围是组织网络(包括系统、工具和应用程序)的交互式模拟表示，这些网络连接到模拟互联网，旨在反映现实情况(美国国家标准与技术研究院，2020;Paulsen et al.， 2012)。网络范围由政府、学术界和行业资源使用和提供。国家网络范围(Ferguson et al.， 2014)是国防部的一项创新，是该国最着名的网络范围之一，并吸引了约翰霍普金斯大学等主要大学和洛克希德马丁等美国公司的注意，共同努力开发互联网的比例模型。人们对网络靶场的兴趣日益浓厚，因为它们为网络安全培训和演习提供了虚拟环境。赛区为发展网络安全技能提供了一个安全、合法的环境，事实证明，这对比赛主办方非常有用。在设计提高网络安全意识并帮助提高“对抗性和系统思维技能”的游戏方面，已经发表了研究(Kianpour等人，2019)。

网络系列最大的缺点是入门价格点和维持该系列年复一年的价格。国家网络靶场是一项价值数百万美元、高达9300万美元的投资(美国国防部，2019年)。最大的学术网络平台之一由弗吉尼亚理工大学(Virginia Tech)托管，收入约为400万美元(Sabbath, 2020年)。对于规模较小的大学和东道主来说，这些数字将极其难以实现。这就留下了两种选择，要么从专门制造网络产品的公司购买，要么自己打造。Cyberbit是一家位于以色列的公司，专门销售网络范围，估计建立自己的范围将花费336,000美元到576,000美元，平均每年的维护费为85,000美元(Cyberbit, 2018)。与大多数提供网络范围服务的公司一样，Cyberbit不列出价格，并要求根据需要访问的学生数量增加自定义报价。

4.3 自动化&挑战创建

举办网络竞赛存在的最大障碍之一是产生的问题可能既昂贵又费力(Newby, 2018)。在大多数网络竞赛中，参赛者都是为了超越其他队伍或获得奖品而竞争。这为问题重用和生成的流量数据的重用提供了有限的可用性。理想情况下，为了提高参与者的教育成果，挑战应该反映现实世界的情况。这给比赛主办方带来了负担，他们要准备独特的问题，制造虚假流量，并为每个项目生成大量数据。为了促进竞争对手的公平，各个赛事的问题应该是独一无二的，每年举办的赛事应该有每年独特的数据。

已经确定，举办这些活动的最大障碍之一是成本。成本通常与“(1)举办比赛的硬件成本，(2)管理比赛所需的人力资源费用，以及(3)与特定事件的比赛材料相关的可用性和/或投资”(Taylor等人，2017)有关。由于内容创作的高成本，一些赛事选择在多年内拒绝参与者参加比赛(Ncac - faq, 2019)。这是一个糟糕的解决方案，因为它阻碍了参与者的学习，也阻碍了团队在之前举办的活动中进行练习。为了帮助降低高成本，必须开发自动化和先进的挑战创建技术。

迄今为止，已经开发了各种解决方案来解决与网络竞赛的成本和可扩展性相关的问题。我们将首先探索学术界创造的工具。已经创建了几种解决方案来支持“网络模拟”和改进“网络战争游戏”(humanglag等人，2019)，其中最大的贡献者是卡内基梅隆大学(CMU，广受欢迎的PicoCTF的主办方)(Mayes, 2020):

• TopGen是一个应用服务模拟器。该工具通过允许单个主机(物理机，虚拟机等)提供多个共同托管的虚拟服务(HTTP vHosts, DNS视图，SMTP/IMAP虚拟邮件域)来帮助生成互联网模拟。代码存储库目前得到维护，可以在github (Carnegie Mellon University, 2020b)上找到。

• GreyBox是一个单主机互联网模拟器。Greybox允许单个主机模拟“连接幻觉”，通过提供真实的BGP骨干拓扑，基于真实位置的物理路由器距离的点对点链路延迟的真实延迟，以及模拟各种网站类型。代码库目前正在维护中，可以在github (Carnegie Mellon University, 2020c)上找到。

• GHOSTS是一个用于NPC交通模拟的框架。GHOSTS在网络上自动协调非玩家角色活动，为网络演习提供模拟流量。GHOSTS将通过运行命令、浏览网站、访问系统、创建文档等，逼真地模仿办公和企业网络上不同用户的行为。代码库目前正在维护中，可以在github (Carnegie Mellon University, 2020d)上找到。

• vTunnel是一种从网络演习网络中移除管理流量的软件。它通过协助主机的计分引擎和任何必须向竞争对手的机器发送命令的命令服务器来辅助比赛主持。流量从来宾VM通过虚拟机管理程序进行隧道传输，从而隐藏管理网络活动。代码库不再维护，但可以在github上找到(卡内基梅隆大学，2018年)。

• well - d创建虚拟无线网络环境。well - d模拟802.11无线通信，以帮助学习无线网络安全。它创建并传递802.11帧，但对有线连接隐藏它们，以允许无线通信的真实性。多个虚拟机可以相互无线连接(虚拟)。代码库不再维护，但可以在github上找到(卡内基梅隆大学，2019年)。

• TopoMojo通过向主机提供简单的web应用程序来简化虚拟实验室的创建和开发。它是一个基于Linux的虚拟设备，可以启动VM学习环境。TopoMojo的目标是简化网络训练实验室的设置过程，使其易于部署和重用。代码库目前正在维护中，可以在github (Carnegie Mellon University, 2020e)上找到。

学术界并不是自动化技术的唯一贡献者。工业界为模拟红队和蓝队的活动提供了大量的工具。MITRE保持着一个活跃的研究项目，称为ATT&CK框架(Strom等人，2018)，其重点是网络防御和对手。从这个项目中，已经构建了多个应用程序，如CALDERA (MITRE, 2020b)， CASCADE (MITRE, 2018)和CAR (MITRE, 2020c)。CALDERA专注于允许自主违反和模拟演习来模拟红队的交战，而CASCADE则协助蓝队进行自动化调查工作。另一方面，CAR是基于ATT&CK框架的分析知识库。这套项目可以用于模拟和比赛。

4.4 外部资源

据报道，网络竞赛有很高的知识壁垒，阻止学生参与(Cheung et al.， 2012)。网络竞赛结束后，主办方给参赛者的反馈很少。参与者需要发现外部资源，为他们准备网络竞赛，培训他们获得认证，并为他们的劳动力做好准备。这里有可供学习者使用的资源:

• HackTheBox -渗透测试实验室的在线平台。提供一个免费的选项和一个VIP订阅，增加了功能和资源，大约11.99美元/月。

• TryHackMe -基于广泛网络安全主题的社区平台。提供了一个免费的选项，有限的学习材料和订阅大约$10.00/月。

• VulnHub -基于社区的平台，在网络安全主题方面具有“动手”经验。没有订阅模式。所有自托管材料。

除了致力于网络安全教育的在线平台之外，还有大量的网站提供自学途径来教授编程、安全编码、取证和表1中列出的其他主题。基于社区的外部资源(用户可以提交自己的材料供他人使用)似乎比以高价提供限制性学习材料的网站要成功得多。

5 研究与讨论

5.1 在文学

我们研究了大量可追溯到2000年的论文，当时网络安全竞赛是一种新奇事物，许多现在定义明确的竞赛，如picoCTF (Zhang et al.， 2013)和CCDC (Conklin, 2006)都处于早期迭代阶段。本文(Zhang et al.， 2013)定义并设计了由Carnage Mellon University (CMU)主办的年度高中CTF。在Chapman et al.(2014)、Chapman and Brumley(2013)和Owens et al.(2020)中，CMU通过分解学生喜欢的问题来分析竞赛的学习成果，以及CMU如何每年努力提高学生的参与度和学习成果。CMU的后辈学生与Burket等人(2015)一起更新了基于picoCTF的出版物列表:这是一篇通过开发自动问题生成方法来击败ctf作弊的论文。作者公开picoCTF的统计和人口统计信息，然后发布他们的问题集和平台，供其他竞赛主办方使用。迄今为止，picoCTF竞赛仍然是最受欢迎的竞赛之一，也是许多其他竞赛的设计基础。

自2010年以来，有许多新的项目和额外的支持由大学指导学生安全相关的主题。在Cheung et al.(2012)中，作者关注学生在网络安全方面缺乏经验和专业知识，并建议竞赛具有较高的知识壁垒。他们通过举办一场内部竞赛，从自己的学生那里收集指标，分析学生什么时候参与，什么因素阻碍他们参与。研究人员发现，大多数学生晚上都参加到很晚，而且课堂和其他大学活动阻碍了他们全身心地投入。Schreuders和Butterfield(2016)、Dabrowski等人(2015)、bopathi等人(2015)和Yonemura等人(2017)的作者专注于设计他们自己的内部竞赛，作为利用游戏化理论(设计理论、基于点数的等级结构和成就的任务/路径)取代典型课程的补充，以衡量它是否提高了学生的参与度和学习成果。他们发现，游戏化提高了学习成果和所学信息的保留。在Woszczynski和Green(2017)中，作者通过调查这些类型竞赛的评委和导师，专注于网络防御竞赛(如CCDC)的学习成果。根据这些回应，他们根据主题的重要性和参与者的准备情况，建立了一套网络防御竞赛预期的推荐结果。

Tobey等人(2014)的作者试图举办全国网络联盟(NCL)，并认为网络安全竞赛应该像体育赛事一样，定期举办“黑客马拉松”。这篇论文对参与者的性别比例进行了分析，重点关注了如果学生表现不佳，他们更有可能退出竞争。在Conklin(2006)中，作者定义了今天仍然举行的主要国家竞争，CCDC。本文介绍了该竞赛在其存在的最初几年如何运行的方法。论文(Chu et al.， 2007)和(Dodge and Ragsdale, 2004)侧重于改进设计策略，并根据每个主机使用的元素组织网络防御竞赛。在Dodge和Ragsdale(2004)中，作者提供了有关军事学院CDX的信息，并描述了竞赛中使用的场景以及参与者希望获得的学习成果。这篇论文(Chu et al.， 2007)讨论了攻击/防御竞争，回顾了竞争的复杂性如何随着参与规模的扩大而增长。作者根据比赛的规模、内容、复杂性、评分和规则，回顾了2005年和2006年的iCTF和CCDC。

在现有的研究中，主要关注的是吸引新参与者以及如何留住他们。许多竞赛采用的一种解决方案是添加更多游戏元素，利用游戏化的心理学理论。这一方法在本文所涉及的研究中也得到了体现，因为多年来越来越多的比赛开始带有类似游戏的元素(成就、计分板等)，甚至是游戏主题(游戏邦注:热门电视剧《Mr. robot》是比赛的主题)。论文(Seaborn & Fels, 2015;Thornton & Francia, 2014;bopathi et al.， 2015)和(Schreuders & Butterfield, 2016)都将游戏化方法应用于网络安全竞赛，然后记录参与者的成功和他们收到的反馈。在Seaborn和Fels(2015)中，作者对与计算机科学和STEM专业相关的游戏化理论和实施进行了全面调查。本文解释了游戏设计的分类，哪些框架是成功的，并回顾了大学利用游戏化来改善高等教育的工作。Thornton和Francia(2014)的作者专注于使用游戏化理论来改善网络安全学生的学习成果。作者使用了一个案例研究，涉及多个学期的300多名学生，其中大多数学生表示游戏化改善了他们的学习体验，并宣布了他们喜欢的方面。在论文(bopathi et al.， 2015)和(Schreuders & Butterfield, 2016)中，作者为学生通过游戏化学习网络安全建立了自己的环境。他们用经验系统和成就取代了课堂上传统的评分标准，并报告学生的成功。

总的来说，将游戏引入课堂，以帮助学生学习网络安全等困难的主题，已经引起了广泛的关注。最终，学术界致力于开发新的方法和新的设计标准，以提高参与和学习成果。根据文献，研究人员通过游戏化来关注学习成果:事实证明，学生们学到了更多东西，更喜欢抛弃传统的课堂结构。这对学生和学校都是有益的，因为游戏化使学生能够投入额外的时间和精力来实现自己的目标并获得成就。到目前为止，该领域已经有许多论文关注竞争设计、游戏化理论和学生调查数据，这些数据提供了学习成果的指标。然而，目前还没有一篇综合性的论文对网络安全相关知识的竞争进行系统化研究。我们的工作旨在填补这一空白，并为读者提供要点。

5.2 外卖

在这项研究的过程中，我们研究了100多篇与网络安全竞赛相关的论文和资源。我们为未来的研究收集了一些要点和注意事项，以帮助改善网络竞赛和开发新技术来帮助他们的托管。未来的工作必须继续吸引新的网络安全学生，并帮助我们为未来的劳动力做好准备。

关键结论:学习成果的使用不足导致比赛缺乏真实世界的场景和技能发展。虽然我们在表1中提供了与竞争类型相关的预期学习结果的大纲，但大多数主持人都定义了自己的结果。再加上大多数比赛都是CTFs，导致我们缺乏对员工有用的学习成果。网络竞赛应该反映行业劳动力的技能。避免重新设计车轮的一个潜在解决方案是纳入已经广泛认可的框架，如NIST国家网络安全教育倡议(NICE)框架(Petersen & Santos, 2020)。NICE旨在为组织提供一套通用的构建模块。最初的迭代具有7个研究类别、33个专业领域和52个工作角色。此后，该框架进行了更新，以反映2020年11月的最终版本。

关键结论:网络竞赛对参与者有很高的知识壁垒。这阻碍了潜在参与者发展网络安全技能。CSAW等比赛已经发布了ctf101脚注13等资源，帮助学生为比赛做好准备。其他比赛只是简单地链接“可能”有帮助的材料，然而，这让准备工作感到震惊。NICE框架(Petersen & Santos, 2020)提供了关于填补工作角色所需的专业领域和技能的广泛信息。理想情况下，竞争可以利用这一点，根据填补工作角色所需的技能来调整结果。此外，竞赛还可以与教育讲座一起进行，这也有助于参与者培养网络安全技能。

关键结论:竞争类型之间缺乏多样性。正如我们所概述的，大多数比赛都是CTFs。安全编码、取证、事件响应和渗透测试的数量不足。赛事主办方需要更开放地分享资源，并根据自己的比赛发布作品。通过分享更多关于竞赛是如何设计的资源，设计了哪些问题，以及如何有效地“自己动手”:这将解决缺乏多样性的问题。我们的工作是为了共同讨论帮助缩小这一差距的结果、工具和资源。如图2所示，支持多焦点的新竞争类型仍有发展空间。美国国防高级研究计划局(DARPA)网络大挑战(Song & Alves-Foss, 2015;2016)通过编程和人工智能(AI)和机器学习(ML)等元素，实现基于进攻和防御属性的自主网络安全研究。团队建立自己的自主系统(Nguyen-Tuong et al.， 2018)，相互攻击，然后参加自动化CTF，如果他们有资格。新的比赛类型，如这些，将需要在得分引擎和应用游戏化方面进行进一步的研究，然而，它们为参与者提供了不同学科的独特体验。

关键提示:最先进的软件具有较低的互操作性。互操作性影响了第4节中讨论的大多数技术，尤其是CTF软件。低互操作性为需要迁移技术和按需扩展的主机带来了复杂性。这通常会限制参加比赛并从中受益的学生数量(如CPTC所示)。PicoCTF (Carnegie Mellon University, 2020a)已经朝着正确的方向迈出了一步，他们的问题管理器使标记重用变得容易，但更多的CTF系统需要类似的方法。我们的实验室每年举办GenCyber代理学院，这是一个向年轻学生教授网络安全的K-12项目(Ladabouche & LaFountain, 2016)，当FBCTF规模难以满足需求时，从FBCTF到CTFd的转变出现了问题。围绕这些CTF系统的社区有责任构建扩展以标准化标志格式或编写来自其他流行软件的转换工具。在公告板/论坛软件中也可以看到类似的导入系统，允许从一个软件无缝地转换到另一个软件。

结论:竞赛应该鼓励远程游戏。在2020年COVID-19大流行之前，比赛经常有面对面的部分。在适应封锁和人员聚集限制方面存在很大困难，导致活动被取消或推迟。随着移动系统互操作性的提高(比如更容易将本地系统放到云端)和成本的全面降低，竞赛应该尝试允许远程参与者。研究人员提出了EZSetup (Li et al.， 2017)，这是一种有助于为网络安全实践创建和管理虚拟云环境的工具，有助于更轻松地使用云。除了公共卫生危机之外，参与者可能无法现场参加活动还有其他原因，例如(Cheung et al.， 2012)中看到的学生由于正常班级的高工作量而避免比赛。对于可能需要物理属性的部分(例如进入服务器机房)，竞赛主办方应该将其作为潜在的解决方案进行探索(Hassenfeldt et al.， 2020)。

结论:评分方法缺乏标准化。CTFTime试图通过提供基于每场比赛得分的球队评分来解决这个问题。参赛者可以自行对比赛的难度进行投票，并向主办方提供反馈。为了帮助比赛主持人给问题分配分值，应该有一个被广泛接受的尺度来确定每种问题的价值。例如，一个逆向工程(RE)问题，大多数大学都有400级或更高的逆向工程课程，应该比一个网络挑战更有价值，而大多数大学都有200级的网络课程。

结论:自动评分将有助于比赛的完整性。对于无法使用基于难度的分值来分析的问题，例如比赛中的最终报告，存在错误的空间，因为评分者可能:(1)遗漏关键信息，(2)对特定团队有偏见，(3)基于发现使用主观性。通过利用深度学习和语言处理技术，评分可以实现自动化。东道主将维护一个数据库，其中包含比赛中可能出现的结果，系统可以对其进行评分。已有研究提出了一个评估漏洞可利用性的框架(Moscovich et al.， 2020)，这可以进一步帮助评估研究结果的价值。这将有助于减少偏见，为评分者提供一个无偏见的分数作为参考，以确保他们的评分平等地适用于每一份提交。

结论:主办者和竞争者之间缺乏沟通。为了避免额外的成本，主机通常会拒绝发布有关基础设施的信息或在未来几年允许重复使用的竞争。随着我们继续开发新的最先进的系统，以帮助降低举办网络比赛的成本，我们将使主办方不需要重复使用尽可能多的材料，并就每场比赛进行公开讨论。CPTC通过向团队提供更多反馈，发布评分员的笔记，公开分享团队报告(Morris, 2020)，以及在会议上就他们的比赛发表演讲，朝着这个方向发展。这种开放性带来了更高的学习成果，而在早些年的反馈中，绝大多数人认为竞赛没有分享足够的细节来帮助学生学习。其他比赛应该采用这种方法来促进技能的发展。

结论:配置管理和IaC都很神秘，很难维护。当自动化变得难以部署时，它会阻止主机利用配置管理和IaC的许多好处。全国性的比赛必须依靠这些解决方案来部署足够的实例，供参赛者在比赛期间使用，但较小的比赛可能无法从这些系统中受益。应该鼓励成功使用配置管理和IaC的主持人发表他们的工作，不仅是如何设计比赛，而且是如何使用这些最先进的工具来取得成功。IaC工具也可以开发为直接支持网络竞赛，laforge (Levinson, 2020b)，一个安全竞赛基础设施自动化框架，为网络竞赛提供了基础设施的快速发展。更多诸如此类的出版物和项目将使更多的主持人受益于这些技术。

结论:网络范围没有被广泛采用。创建和维护网络靶场的高成本阻碍了它们被广泛用于网络竞赛。除了实施网络范围的初始成本外，场景的创建可能要花费数千美元。额外的自动化攻击框架，如MITRE ATT&CK，将通过减少手动添加攻击者活动的需要而使网络范围受益。这可以通过利用ML和AI来部署已经公开披露的cve并自动破坏系统来实现。在DEFCON上展示了Deep Exploit (Levinson, 2019a)，这是一种使用深度强化学习进行自动渗透测试的工具。开发后自动化也使用相同的人工智能技术进行了研究(Maeda & Mimura, 2020)。这些方法与最先进的工具相结合，将使维持网络范围的价格更低。

下载原文档：https://link.springer.com/content/pdf/10.1007/s10639-022-11451-4.pdf