Den 2 juni, enligt utländska medier, rapporterade avkodaren om den första, visade en serie cybersäkerhetstävlingar som nyligen innehas av Palisade forskning att AI-agenter har förmågan att tävla med mänskliga hackare och till och med vunnit i vissa tillfällen .}
The research team conducted actual combat tests on AI systems in two large-scale "capture the flag" (CTF) competitions, with thousands of players participating in the competition. In such competitions, participating teams need to solve security problems by cracking encryption, identifying vulnerabilities, and finding hidden "flags".
Syftet med testet är att testa om AI -agenter kan konkurrera med mänskliga lag . Resultaten visar att AI: s prestanda långt överträffade förväntningarna, och de flesta deltagande AIS överträffade den genomsnittliga nivån för mänskliga spelare .
Komplexiteten i de deltagande AI -systemen varierar . Vissa team, till exempel CAI, tillbringade cirka 500 timmar för att bygga sina egna system, och vissa team, till exempel oförstörbara, tillbringade bara 17 timmar för att delta genom att optimera instruktionerna från befintliga modeller gåtan och Claude -kod .}
I den första tävlingen, kallad "AI vs . Humans", tävlade sex AI -lag mot cirka 150 mänskliga lag . Alla spelare var tvungna att fylla 20 kryptografi och omvänd teknikfrågor inom 48 timmar .}
Four of the seven participating AIs successfully cracked 19 of the questions. The highest-ranked AI team ranked in the top 5% of the total list, and its overall performance was better than that of most human players. All competition questions can be run locally, which lowers the technical threshold for AI.
Trots detta föll vissa erfarna mänskliga spelare fortfarande inte bakom . Vissa spelare påpekade att de hade deltagit i många internationella lag, och deras rika CTF-praktiska erfarenhet och kännedom om vanliga problemlösningsstrategier var nyckeln till deras konkurrenskraft .}
Det andra spelet, "Cyber Apocalypse", var mycket svårare . AI -agenter var tvungna att möta nya typer av frågor och konkurrera med nästan 18, 000 mänskliga spelare . många av de 62 uppgifterna som krävs med externa servrar, som utmanade AI -system som huvudsakligen är på grund av lokalt beräkningar.}}}}}}}}}}}}}}}}.}}.}}}.}}}.}.}}}.}}.}} {5)
According to reports, there were four AI agents participating in the competition, of which CAI performed best, completing 20 tasks and ranking 859th, ranking in the top 10% of all participating teams and the top 21% of active teams. Palisade Research said that the performance of the AI system exceeded about 90% of human teams.
Forskarna analyserade också svårigheten med de frågor som lösts av Ai . Baserat på den tid som de bästa mänskliga teamen krävde för att lösa frågorna, konstaterades att AI hade en 50% framgångsrate i att lösa frågor som tog mänskliga mästare cirka 78 minuter att lösa . med andra ord har AI förmåga att lösa svåra problem {{4 {4} {. med andra ord, AI har förmågan att lösa svåra problem {{4 {4)