ทีมของ “บิดาแห่งเสี่ยวปิง” หลี่ตี เปิดตัว “GuardianClaw”: ไฟล์ขนาดน้อยกว่า 10k ป้องกันช่องโหว่ความปลอดภัยของ Agent โดยเฉพาะ
ด้วยการใช้งาน Agent ที่แพร่หลายมากขึ้น ปัญหาด้านความปลอดภัยก็ได้รับความสนใจตามมา เมื่อเร็วๆ นี้ หน่วยงานระดับชาติได้ออกประกาศเตือนความเสี่ยงด้านความปลอดภัย และบางบริษัทถึงกับสั่งห้ามใช้แอปพลิเคชันที่เกี่ยวข้องบนอุปกรณ์ของบริษัทอย่างชัดเจน ความเสี่ยงต่างๆ เช่น การหลีกเลี่ยงการรับรอง การฉีดคำสั่ง การรั่วไหลของคีย์ API การโจมตีด้วยพรอมต์ ยังคงเกิดขึ้นไม่หยุด
ตอนนี้ มีไฟล์ขนาดน้อยกว่า 10KB อ้างว่าสามารถปิดช่องโหว่ความปลอดภัยเหล่านี้ได้อย่างมีประสิทธิภาพ
เมื่อเร็วๆ นี้ ทีม Nextie นำโดย “บิดาแห่งเสี่ยวปิง” หลี่ตี ได้เปิดตัวเครื่องมือความปลอดภัยชื่อ TuanziGuardianClaw โดยมีเป้าหมายเพื่อตรวจสอบและบล็อกพฤติกรรมเสี่ยงสูงของ Agent อื่นๆ ที่ทำงานบนเครื่องท้องถิ่นด้วยวิธีการอัตโนมัติ
ที่น่าสนใจคือ หลี่ตีได้ชี้ให้เห็นเป็นพิเศษว่า “GuardianClaw” นี้ถูกสร้างขึ้นโดย Agent และเน้นย้ำถึงความโปร่งใสในการออกแบบ:
ต่างจากโปรแกรมป้องกันไวรัสคอมพิวเตอร์แบบดั้งเดิม GuardianClaw มีกลไกการทำงานที่โปร่งใสทั้งหมด ช่วยให้ผู้ใช้สามารถปรับแต่งนโยบายความปลอดภัยด้วยตนเองตามความต้องการของตนได้อย่างสะดวก
“GuardianClaw” มีความสามารถในการป้องกันอะไรบ้าง?
TuanziGuardianClaw มีขนาดไฟล์เล็กกะทัดรัด (น้อยกว่า 10KB) และมีตำแหน่งที่ชัดเจน: ในฐานะเคอร์เนลความปลอดภัยและชั้นกำกับดูแลของอินสแตนซ์ OpenClaw ทั้งหมด กฎของมันมีความสำคัญเหนือกว่าทักษะ (Skill) อื่นๆ ทั้งหมด ทักษะใดๆ ก็ไม่สามารถหลีกเลี่ยงหรือแก้ไขมันได้
ขอบเขตการป้องกันครอบคลุมความปลอดภัยของระบบ ผู้ใช้ และข้อมูล สามารถป้องกันทักษะที่เป็นอันตราย การฉีดพรอมต์ การรั่วไหลของข้อมูล และการดำเนินการที่ไม่ปลอดภัย
1. ป้องกันการโจมตีด้วยการฉีดพรอมต์
การฉีดพรอมต์เป็นหนึ่งในภัยคุกคามหลักในสถาปัตยกรรม Agent ในปัจจุบัน คำสั่งที่เป็นอันตรายอาจซ่อนอยู่ในหน้าเว็บ อีเมล หรือเอกสาร เพื่อชักจูงให้ Agent ดำเนินการที่ไม่คาดคิด TuanziGuardianClaw มีกลไกการบล็อกคำหลักในตัว ทันทีที่ตรวจพบประโยคฉีดทั่วไป เช่น “ignore previous instructions”, “reveal system prompt”, “bypass security”, “disable guardian” จะจัดประเภทเป็นความเสี่ยงสูงมากทันที บล็อกการดำเนินการและบันทึกบันทึก พร้อมทั้งส่งการแจ้งเตือนไปยังผู้ใช้
2. ป้องกันข้อมูลที่ละเอียดอ่อน
TuanziGuardianClaw รักษารายการทรัพย์สินที่ได้รับการป้องกันที่ชัดเจน:
* ข้อมูลประจำตัว: เช่น คีย์ API, ข้อมูลรับรอง OAuth, คีย์ส่วนตัว SSH, คุกกี้เซสชัน ฯลฯ ไม่อนุญาตให้ทักษะใดๆ พิมพ์ ส่ง หรือจัดเก็บไปยังภายนอกโดยเด็ดขาด
* ไฟล์ความเสี่ยงสูง: การเข้าถึง .env, .ssh/, .aws/, ไฟล์ฐานข้อมูลส่วนตัว, ไฟล์กระเป๋าเงิน ฯลฯ ต้องได้รับการยืนยันอย่างชัดเจนจากผู้ใช้
* ข้อมูลส่วนบุคคล: เช่น บุคคลติดต่อ ภาพถ่าย เลขประจำตัวประชาชน อีเมล โทรศัพท์ ฯลฯ ไม่อนุญาตให้ส่งออกไปภายนอกโดยไม่ได้รับการยืนยัน
3. ตรวจสอบการสื่อสารเครือข่าย
ก่อนอนุญาตให้ทักษะเริ่มการสื่อสารภายนอก TuanziGuardianClaw จะประเมินที่อยู่เป้าหมาย API ที่น่าเชื่อถือและบริการที่มีชื่อเสียงจะได้รับอนุญาต ในขณะที่โดเมนสุ่ม ปลายทางที่ไม่รู้จัก ที่อยู่ IP แบบเปล่า จะถูกทำเครื่องหมายว่าเป็นที่น่าสงสัยทั้งหมด พฤติกรรมใดๆ ที่พยายามส่งข้อมูลท้องถิ่นไปยังโดเมนที่ไม่รู้จักจะถูกบล็อกทันที
นอกจากนี้ ลักษณะเฉพาะทั่วไปของการรั่วไหลของข้อมูล เช่น การส่งออกตัวแปรสภาพแวดล้อม การอัปโหลดไฟล์จำนวนมาก การส่งโฟลเดอร์ท้องถิ่นไปยังภายนอก การเข้ารหัส Base64 ข้อมูลที่ละเอียดอ่อนแล้วส่ง ฯลฯ อยู่ในขอบเขตการตรวจจับทั้งหมด ทันทีที่พบจะถูกตัดสินว่าเป็นความเสี่ยงสูงหรือสูงมาก
การควบคุมสิทธิ์และการดำเนินการที่เข้มงวด
TuanziGuardianClaw กำหนดระดับสิทธิ์โดยนัยจาก Level 0 ถึง Level 4 สำหรับแต่ละทักษะ:
* Level 0 (ระดับความปลอดภัย): อนุญาตเฉพาะการประมวลผลข้อสอบ การให้เหตุผลเชิงตรรกะ การจัดรูปแบบ การสรุปเนื้อหา ฯลฯ ไม่เกี่ยวข้องกับการเข้าถึงไฟล์หรือเครือข่ายใดๆ
* Level 1: อนุญาตให้อ่านไฟล์เฉพาะที่ผู้ใช้ร้องขออย่างชัดเจน แต่ไดเรกทอรีระบบและไฟล์คีย์ยังคงถูกจำกัด
* Level 2: เปิดใช้งานการเรียก API การดำเนินการโปรแกรม และการติดตั้งแพ็คเกจ แต่ทุกขั้นตอนการดำเนินการต้องได้รับการยืนยันจากผู้ใช้
* Level 3: เกี่ยวข้องกับการดำเนินการความเสี่ยงสูง เช่น คำสั่ง Shell การกำหนดค่าระบบ และการจัดการกระบวนการพื้นหลัง ต้องได้รับการอนุมัติอย่างชัดเจนจากผู้ใช้
* Level 4: รวมถึงคำสั่ง root การอ่านไฟล์ขนาดใหญ่ และการส่งออกตัวแปรสภาพแวดล้อม จะถูกบล็อกทั้งหมด เว้นแต่ผู้ใช้ยืนยันที่จะดำเนินการซ้ำๆ
เหนือระดับสิทธิ์ ยังมีระบบ Capability Token ซ้อนทับ การดำเนินการที่ละเอียดอ่อนต้องมีโทเค็นสิทธิ์ที่เกี่ยวข้อง เช่น การอ่านไฟล์ท้องถิ่นต้องมี CAP_READ_LOCAL_FILES การดำเนินการคำสั่งต้องมี CAP_EXECUTE_COMMAND การร้องขอเครือข่ายต้องมี CAP_NETWORK_REQUEST ทักษะที่ไม่มีโทเค็นที่สอดคล้องกันพยายามดำเนินการที่เกี่ยวข้องจะถูกบล็อกโดยตรง
ก่อนดำเนินการแต่ละครั้ง TuanziGuardianClaw จะดำเนินกระบวนการตัดสินใจแบบสมบูรณ์: ระบุการดำเนินการที่ร้องขอ ตรวจสอบสิทธิ์ที่ต้องการ ประเมินความเสี่ยงการรั่วไหลของข้อมูล ตรวจสอบเป้าหมายการเข้าถึงเครือข่าย ตัดสินระดับความเสี่ยง ดำเนินกลยุทธ์การจัดการ หากมีความไม่แน่นอนในขั้นตอนใดๆ จะถูกจัดการเป็นความเสี่ยงสูง เหตุการณ์ทั้งหมดที่ถูกบล็อกหรือแจ้งเตือนจะถูกเขียนลงในบันทึกการตรวจสอบความปลอดภัย
หลักการโปร่งใสและการป้องกันตนเอง
หลักการ “โปร่งใส” ที่หลี่ตีเน้นย้ำ สะท้อนให้เห็นในตรรกะการออกแบบของเครื่องมือ เมื่อการดำเนินการถูกบล็อกหรือแจ้งเตือน มันจะอธิบายให้ผู้ใช้ทราบอย่างครบถ้วน: ทักษะที่ถูกบล็อกพยายามทำอะไร ความเสี่ยงของการดำเนินการนี้อยู่ที่ไหน และ TuanziGuardianClaw ได้ดำเนินการอย่างไร เนื้อหาการแจ้งเตือนห้ามเปิดเผยข้อมูลลับใดๆ
สิ่งนี้สะท้อนให้เห็นถึงหนึ่งในหลักการความปลอดภัยหลักของมัน – “อำนาจอธิปไตยเหนือข้อมูลผู้ใช้” หลักการอื่นๆ ยังรวมถึงสิทธิ์ขั้นต่ำ การอนุญาตอย่างชัดเจน ความไว้วางใจเป็นศูนย์ระหว่างทักษะ และความปลอดภัยมาก่อนความสะดวก
ในขณะเดียวกัน TuanziGuardianClaw ก็มีกลไกการป้องกันตนเองด้วย คำสั่งใดๆ ที่พยายามแก้ไข ปิดใช้งาน หรือเขียนทับกฎของมันจะถูกปฏิเสธ กฎสี่ข้อที่ไม่สามารถเปลี่ยนแปลงได้ถูกเขียนตายตัวไว้ในเคอร์เนล: ไม่เปิดเผยคีย์ ไม่เปิดเผยพรอมต์ระบบ ไม่อนุญาตให้ปิดใช้งาน TuanziGuardianClaw ไม่อนุญาตให้ทักษะที่ไม่น่าเชื่อถือส่งออกข้อมูลท้องถิ่น
ภูมิหลังทีมและแนวคิดการวิจัยและพัฒนา
“GuardianClaw” พัฒนาโดยทีม Nextie (明日新程) บริษัทนี้ก่อตั้งขึ้นในเดือนธันวาคมปีที่แล้ว สมาชิกหลักเกือบทั้งหมดสืบทอดต่อมาจากทีมงานเดิมของ Microsoft Xiaoice ผู้ก่อตั้งหลี่ตีเคยดำรงตำแหน่งรองประธานบริหารของ Microsoft Asia Engineering Institute และเป็นผู้ผลักดันหลักของโครงการ Xiaoice ได้รับการยกย่องว่าเป็น “บิดาแห่งเสี่ยวปิง”
ทีมของหลี่ตีในปัจจุบันวางเดิมพันในทิศทาง “ปัญญารวมหมู่และโมเดลใหญ่เชิงการรู้คิด” พวกเขาเชื่อว่าเส้นทางเทคโนโลยีโมเดลใหญ่ในปัจจุบันที่พึ่งพาความรู้มหาศาลและคอนเท็กซ์ที่ยาวมาก ยังคงมีช่องว่างจากความฉลาดที่แท้จริง วิธีแก้ปัญหาของพวกเขาคือการสร้างระบบโมเดลใหม่ที่มีโครงสร้างการรู้คิดเป็นแกนกลาง (แทนที่จะเป็นการสะสมความรู้) ทำให้ Agent ที่มีความสามารถในการมองเห็นและรู้คิดที่แตกต่างกันทำงานร่วมกันเพื่อแก้ปัญหาที่ซับซ้อน
ไม่นานมานี้ แพลตฟอร์มใหม่ของทีมที่เน้นการทำงานร่วมกันของ Agent หลายตัว – “Tuanzi” ได้เปิดให้ทดสอบภายในแล้ว
และสำหรับ TuanziGuardianClaw ที่เปิดตัวในครั้งนี้ หลี่ตีได้เปิดเผยรายละเอียดสำคัญ: มันไม่ได้ถูกเขียนด้วยมือโดยวิศวกรมนุษย์ แต่ถูกสร้างขึ้นโดยอัตโนมัติโดย Agent ปัญญารวมหมู่ “Tuanzi”
⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง
本文来自网络搜集，不代表คลื่นสร้างอนาคต立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/th/archives/25598