เอกสารที่ AI อ่านมีคำสั่งแฝง แยกข้อมูลกับสิทธิ์ทำงานอย่างไร
เอกสารเป็นข้อมูล แต่ข้อความในนั้นอาจสั่งงาน
เมื่อองค์กรให้ AI อ่านอีเมล ไฟล์ PDF หรือเอกสารคู่ค้า งานไม่ได้มีเพียงการดึงข้อเท็จจริง เพราะข้อความบางส่วนอาจพยายามชี้นำให้ระบบทำสิ่งที่เจ้าของงานไม่ได้ขอ เช่น เปลี่ยนวิธีตอบหรือส่งข้อมูลไปยังผู้รับอื่น ก่อนเชื่อม AI กับระบบที่ทำงานแทนคนได้ จึงควรระบุให้ชัดว่าเอกสารใดเป็นข้อมูลประกอบ และใครมีสิทธิ์อนุญาตการกระทำจริง
รู้จักคำสั่งแฝงผ่านแหล่งข้อมูลภายนอก
OWASP เรียกความเสี่ยงจากคำสั่งที่แทรกอยู่ในเอกสาร เว็บไซต์ หรืออีเมลภายนอกว่า indirect prompt injection ตัวอย่างเชิงแนวคิดคือเอกสารเสนอราคาที่บอกให้ผู้ช่วยส่งข้อมูลภายในไปยังที่อยู่ใหม่ แม้ข้อความนั้นอยู่ในไฟล์ที่ AI ต้องอ่าน ก็ไม่ได้ทำให้ผู้ส่งไฟล์มีอำนาจสั่งใช้ข้อมูลขององค์กร ความเสี่ยงนี้ต่างจากการสรุปตัวเลขผิด เพราะเกี่ยวกับการเปลี่ยนงานหรือขอบเขตการกระทำ
กำหนดขอบเขตงานก่อนให้ระบบอ่าน
เขียนขอบเขตให้ตรวจได้ เช่น อ่านเอกสารเพื่อสรุปรายการที่ต้องตรวจสอบ โดยไม่เพิ่มผู้รับหรือแก้ข้อมูลต้นทางจากข้อความในไฟล์ แยกแหล่งข้อมูลที่นำเข้าจากคำสั่งที่ผู้ใช้งานอนุมัติ และกำหนดว่าหากเอกสารขอให้ทำงานนอกขอบเขตต้องส่งต่อให้ใครพิจารณา การบอก AI ให้มองข้ามคำสั่งแปลก ๆ เป็นเพียงมาตรการหนึ่ง ไม่ควรใช้ข้อความกำชับอย่างเดียวแทนการควบคุมสิทธิ์
คุมสิทธิ์ที่ระบบและเครื่องมือด้วย
เริ่มจากสิทธิ์อ่านเฉพาะชุดข้อมูลที่จำเป็น แล้วแยกเครื่องมือส่งอีเมล แก้รายการ หรือส่งออกข้อมูลออกจากงานอ่านเอกสาร ระบบที่เรียกเครื่องมือควรตรวจผู้รับ รายการ และขอบเขตกับงานที่ได้รับอนุญาต ไม่ปล่อยให้เนื้อหาในไฟล์ขยายสิทธิ์เอง งานที่กระทบข้อมูลหรือบุคคลอื่นมากควรมีผู้รับผิดชอบตรวจการกระทำจริงก่อนดำเนินการ ไม่ใช่ตรวจเฉพาะคำอธิบายที่ AI สรุปให้
ทดสอบจากผลที่เกิดขึ้นจริง
ก่อนเปิดใช้ ให้ทำชุดเอกสารจำลองและกล่องส่งออกทดสอบที่ไม่เชื่อมผู้รับจริง ใส่สถานการณ์ที่เอกสารพยายามเปลี่ยนผู้รับหรือขอข้อมูลนอกงาน แล้วตรวจว่ามีการเรียกเครื่องมือ ส่งข้อมูล หรือแก้รายการหรือไม่ คำตอบที่ดูเหมือนปฏิเสธยังไม่พอถ้าระบบเบื้องหลังทำงานไปแล้ว บันทึกรุ่นเอกสาร ผลที่คาดหวัง และผลจริง โดยหลีกเลี่ยงการใส่รหัสลับหรือข้อมูลอ่อนไหวลงบันทึกทดสอบ
เริ่มปรับจากหนึ่งงานขององค์กร
หากต้องการปรึกษา Chawinnix เรื่อง AI/Automation และความปลอดภัย IT ให้เลือกงานหนึ่งที่มีเอกสารเข้า ระบุแหล่งไฟล์ ข้อมูลที่ระบบอ่านได้ และการกระทำที่ต้องการให้ทำต่อ พร้อมรายชื่อผู้รับผิดชอบแต่ละช่วง ข้อมูลนี้ช่วยกำหนดขอบเขตระบบและการทดสอบให้ตรงกับงานจริง การแบ่งสิทธิ์และตรวจผลช่วยลดความเสี่ยง แต่ไม่ใช่คำรับรองว่าจะป้องกันคำสั่งแฝงได้ทุกกรณี
