แม้ว่าความเสี่ยงและการควบคุมเดิมหลายอย่างจะสามารถนำไปใช้กับ AI กำเนิดได้ แต่เทคโนโลยีที่ก้าวล้ำนี้ก็มีความแตกต่างหลายอย่างที่ต้องการวิธีการใหม่ ๆ เช่นกัน

โมเดลเหล่านี้มีความเสี่ยงต่อการผลิตเนื้อหาที่ไม่ถูกต้อง หรือที่เรียกว่า "hallucinations" ความเสี่ยงอื่น ๆ ได้แก่ การรั่วไหลของข้อมูลสำคัญผ่านผลลัพธ์ของโมเดล การปนเปื้อนของโมเดลที่อาจทำให้เกิดการปรับแต่งพรอมต์และอคติอันเนื่องมาจากการเลือกข้อมูลการฝึกอบรมที่ไม่ดี หรือการปรับแต่งและการฝึกอบรมที่ไม่ได้รับการควบคุมอย่างเพียงพอ

ในที่สุด การตรวจจับและตอบสนองทางไซเบอร์แบบเดิมจำเป็นต้องขยายไปสู่การตรวจสอบการใช้ AI ในทางที่ผิด และในทางกลับกัน ควรใช้ AI เพื่อประโยชน์ในการป้องกัน Phil Venables CISO ของ Google Cloud กล่าว

"การใช้งาน AI ที่ปลอดภัย น่าเชื่อถือ และปลอดภัยครอบคลุมชุดเทคนิคที่หลายทีมไม่เคยนำมารวมกันมาก่อน" Venables กล่าวในเซสชันเสมือนจริงที่งาน Cloud Security Alliance Global AI Symposium
 

บทเรียนที่ได้เรียนรู้จาก Google Cloud

Venables ยืนยันถึงความสำคัญของการส่งมอบการควบคุมและกรอบงานทั่วไป เพื่อให้ทุก ๆ อินสแตนซ์หรือการปรับใช้ AI ไม่ต้องเริ่มต้นใหม่ทั้งหมดจากศูนย์

"โปรดจำไว้ว่า ปัญหาคือกระบวนการทางธุรกิจแบบ end-to-end หรือวัตถุประสงค์ของภารกิจ ไม่ใช่แค่ปัญหาทางเทคนิคในสภาพแวดล้อม" เขากล่าว

ปัจจุบันเกือบทุกคนคุ้นเคยกับความเสี่ยงมากมายที่เกี่ยวข้องกับการใช้ข้อมูลการฝึกอบรมและข้อมูลที่ปรับแต่งแล้วในทางที่ผิด "การลดความเสี่ยงของการปนเปื้อนข้อมูลมีความสำคัญเช่นเดียวกับการตรวจสอบความเหมาะสมของข้อมูลสำหรับความเสี่ยงอื่น ๆ" Venables กล่าว

ที่สำคัญคือ องค์กรควรตรวจสอบให้แน่ใจว่าข้อมูลที่ใช้สำหรับการฝึกอบรมและการปรับแต่งได้รับการล้างข้อมูลและป้องกัน และว่าสายการสืบเชื้อสายหรือที่มาของข้อมูลนั้นได้รับการรักษาไว้ด้วย "ความสมบูรณ์ที่แข็งแกร่ง"

"แน่นอน คุณไม่สามารถแค่หวังว่าจะเป็นจริงได้" Venables ยอมรับ "คุณต้องทำงานจริง ๆ เพื่อคัดเลือกและติดตามการใช้ข้อมูล"

สิ่งนี้จำเป็นต้องใช้การควบคุมและเครื่องมือเฉพาะพร้อมความปลอดภัยที่สร้างขึ้นเพื่อร่วมกันส่งมอบการฝึกอบรมโมเดล การปรับแต่ง และการทดสอบ สิ่งนี้มีความสำคัญอย่างยิ่งเพื่อรับรองว่าโมเดลไม่ได้ถูกดัดแปลง ไม่ว่าจะเป็นในซอฟต์แวร์ น้ำหนัก หรือพารามิเตอร์อื่น ๆ ของโมเดล Venables กล่าว

"หากเราไม่ดูแลเรื่องนี้ เราจะเปิดเผยตัวเองต่อความเสี่ยงประเภท backdoor หลายรูปแบบที่สามารถลดทอนความปลอดภัยและความปลอดภัยของกระบวนการทางธุรกิจหรือภารกิจที่ปรับใช้" เขากล่าว

การกรองเพื่อต่อสู้กับ prompt injection

อีกประเด็นใหญ่คือการใช้โมเดลในทางที่ผิดจากบุคคลภายนอก โมเดลอาจถูกปนเปื้อนผ่านข้อมูลการฝึกอบรมหรือพารามิเตอร์อื่น ๆ ที่ทำให้พวกมันทำงานผิดปกติจากการควบคุมที่กว้างขึ้น Venables กล่าว สิ่งนี้อาจรวมถึงกลยุทธ์การต่อต้าน เช่น การปรับแต่งพรอมต์และการล้มล้าง

Venables ชี้ให้เห็นว่ามีตัวอย่างมากมายของผู้คนที่ปรับเปลี่ยนพรอมต์ทั้งโดยตรงและโดยอ้อมเพื่อทำให้เกิดผลลัพธ์ที่ไม่ตั้งใจในโมเดลที่ "ป้องกันอย่างง่าย ๆ หรือไม่ได้รับการป้องกันเลย"

นี้อาจเป็นข้อความที่ฝังอยู่ในรูปภาพหรืออินพุตอื่น ๆ ในโมเดลแบบโมดอลเดียวหรือหลายโหมด โดยมีพรอมต์ที่มีปัญหา "รบกวนเอาต์พุต"

"ความสนใจที่ดึงดูดความสนใจส่วนใหญ่คือการกระตุ้นการสร้างเนื้อหาที่ไม่ปลอดภัย บางส่วนอาจดูตลกมาก" Venables กล่าว

สิ่งสำคัญคือการตรวจสอบให้แน่ใจว่าอินพุตถูกกรองสำหรับช่วงของเป้าหมายความปลอดภัย ความปลอดภัย และความน่าเชื่อถือ เขากล่าว สิ่งนี้ควรรวมถึง "การบันทึกแบบแพร่หลาย" และการสังเกตการณ์ ตลอดจนการควบคุมการเข้าถึงที่เข้มงวดซึ่งได้รับการบำรุงรักษาบนโมเดล รหัส ข้อมูล และข้อมูลทดสอบ

"ข้อมูลทดสอบสามารถส่งผลต่อพฤติกรรมของโมเดลในรูปแบบที่น่าสนใจและอาจเสี่ยงได้" Venables กล่าว

การควบคุมผลลัพธ์

ผู้ใช้ที่ทำให้โมเดลทำงานผิดปกติบ่งชี้ถึงความจำเป็นในการจัดการไม่เพียงแต่อินพุตเท่านั้น แต่ยังรวมถึงเอาต์พุตด้วย Venables ชี้ให้เห็น องค์กรสามารถสร้างตัวกรองและการควบคุมขาออก หรือ "เบรกเกอร์" รอบวิธีที่โมเดลสามารถจัดการข้อมูลหรือกระตุ้นกระบวนการทางกายภาพ

"ไม่ใช่แค่พฤติกรรมที่ขับเคลื่อนโดยการต่อต้าน แต่ยังรวมถึงพฤติกรรมของโมเดลโดยบังเอิญด้วย" Venables กล่าว

องค์กรควรตรวจสอบและแก้ไขช่องโหว่ด้านซอฟต์แวร์ในโครงสร้างพื้นฐานที่รองรับเอง Venables แนะนำ แพลตฟอร์มแบบ end-to-end สามารถควบคุมข้อมูลและวงจรชีวิตของซอฟต์แวร์ และช่วยจัดการความเสี่ยงในการดำเนินงานของการรวม AI เข้ากับกระบวนการทางธุรกิจและภารกิจที่สำคัญและแอปพลิเคชัน

"ในที่สุด ที่นี่เกี่ยวกับการลดความเสี่ยงในการดำเนินงานของการกระทำของผลลัพธ์ของโมเดล ในสาระสำคัญ เพื่อควบคุมพฤติกรรมของตัวแทน เพื่อให้การป้องกันเชิงลึกของการกระทำที่ไม่ตั้งใจ" Venables กล่าว

เขาแนะนำให้แซนด์บ็อกซ์และบังคับใช้สิทธิ์น้อยที่สุดสำหรับแอปพลิเคชัน AI ทั้งหมด โมเดลควรได้รับการควบคุมและป้องกัน และถูกป้องกันอย่างแน่นหนาผ่านตัวกรอง API การตรวจสอบอิสระหรือโครงสร้างเพื่อตรวจสอบและควบคุมพฤติกรรม แอปพลิเคชันควรทำงานในโหลดที่ล็อกดาวน์ และองค์กรจำเป็นต้องมุ่งเน้นไปที่การสังเกตการณ์และการบันทึกการกระทำ

ในท้ายที่สุด "ทั้งหมดนี้เกี่ยวกับการล้างข้อมูล การป้องกัน การควบคุมการฝึกอบรม การปรับแต่ง และข้อมูลทดสอบของคุณ เกี่ยวกับการบังคับใช้การควบคุมการเข้าถึงที่เข้มงวดบนโมเดล ข้อมูล ซอฟต์แวร์ และโครงสร้างพื้นฐานที่ปรับใช้ เกี่ยวกับการกรองอินพุตและเอาต์พุตไปยังและจากโมเดลเหล่านั้น จากนั้นตรวจสอบให้แน่ใจว่าคุณกำลังแซนด์บ็อกซ์การใช้งานและแอปพลิเคชันเพิ่มเติมในกรอบความเสี่ยงและการควบคุมบางอย่างที่ให้การป้องกันเชิงลึก"

แหล่งที่มา : https://venturebeat.com/security/google-clouds-security-chief-warns-cyber-defenses-must-evolve-to-counter-ai-abuses