Vo štvrtok Biely dom oznámiť Úžasná spolupráca medzi špičkovými vývojármi AI, vrátane OpenAI, Google, Antropic, Hugging Face, Microsoft, Nvidia a Stability AI, s cieľom zdieľať verejné hodnotenie ich generatívnych systémov AI v DEFCON 31, hackerská konferencia, ktorá sa koná v auguste v Las Vegas. Podujatie bude moderovať Dedina umelej inteligencieKomunita hackerov s umelou inteligenciou.

Od minulého roka sa jazykové veľké modely (LLM) ako ChatGPT stali obľúbeným spôsobom, ako urýchliť písanie a komunikačné úlohy, no správcovia si uvedomujú, že so sebou prinášajú aj riziká. Problémy ako zdieľanie, útek z väzenia a predsudky predstavujú výzvy pre odborníkov v oblasti bezpečnosti a verejnosť. pre tento dôvod Úrad pre vedu, technológiu a politiku Bieleho domu Obhajuje posunutie týchto nových, generatívnych modelov AI až na ich hranice.

„Toto nezávislé cvičenie poskytne výskumníkom a verejnosti dôležité informácie o vplyvoch týchto modelov a umožní spoločnostiam a vývojárom AI podniknúť kroky na odstránenie problémov zistených v týchto modeloch.“ hovorí Bayan Od Bieleho domu, ktorý tvrdí, že podujatie je v súlade so zákonom o právach AI Bidenovej administratívy a Národným inštitútom pre štandardy a technológie Rámec riadenia rizík AI.

paralelne reklama Napísali organizátori AI Village Sven Kattell, Reman Choudhury a Austin Carson nazývajú nadchádzajúcu udalosť „najväčším červeným tímovým cvičením pre akúkoľvek skupinu modelov AI“. Na hodnotení modelu AI sa zúčastnia tisíce ľudí, ktorí budú využívať hodnotiacu platformu vyvinutú spoločnosťou Scale AI.

Red-teaming je proces, pri ktorom sa bezpečnostní experti snažia odhaliť slabé stránky alebo chyby v systémoch organizácie, aby zlepšili celkovú bezpečnosť a odolnosť.

Podľa Cattella, zakladateľa AI Village, „rôzne problémy s týmito modelmi sa nevyriešia, kým viac ľudí nebude vedieť, ako navrhnúť a vyhodnotiť tím.“ Uskutočnením najväčšieho červeného tímového cvičenia akéhokoľvek súboru modelov AI sa AI Village a DEF CON zameriavajú na rast komunity výskumníkov, ktorí sú vybavení na riešenie slabých stránok systémov AI.

Ukázalo sa, že LLM je prekvapivo ťažké čiastočne vypnúť kvôli technike nazývanej „okamžitá injekcia“, o ktorej sme informovali v septembri. Simon Willison, výskumník Amnesty International Podrobne napísané O nebezpečenstvách okamžitej injekcie, techniky, ktorá môže vykoľajiť jazykový model pri vykonávaní akcií, ktoré jeho tvorca nezamýšľal.

Počas podujatia DEF CON budú mať účastníci prístup k niekoľkým LLM prostredníctvom notebookov poskytnutých organizátormi. Bodový systém v štýle zachytávania vlajky vás povzbudí k testovaniu širokej škály potenciálnych poškodení. Nakoniec ten, kto získa najviac bodov, vyhrá high-end GPU Nvidia.

„Budeme zdieľať to, čo sme sa naučili z tohto podujatia, aby sme pomohli ostatným, ktorí chcú zažiť to isté,“ napísala AI Village. „Čím viac ľudí pozná najlepší spôsob práce s týmito modelmi a ich obmedzeniami, tým lepšie.“

DEFCON 31 Uskutoční sa 10. – 13. augusta 2023 v Caesar’s Forum v Las Vegas.