OpenScholar เครื่องมือทบทวนบทความ AI ที่ได้รับการรับรองจาก Nature: ยุติการอ้างอิงเท็จ ความแม่นยำในการอ้างอิงเทียบเท่าผู้เชี่ยวชาญมนุษย์

เครื่องมือสรุปบทความวิจัย AI OpenScholar: จบการอ้างอิงปลอม ความแม่นยำในการอ้างอิงเทียบเท่าผู้เชี่ยวชาญมนุษย์

การเขียนบทความวิจัยด้วยความช่วยเหลือของ AI ไม่ใช่เรื่องใหม่ แต่ปัญหาการอ้างอิงปลอมที่รบกวนแวดวงวิชาการมายาวนานยังคงมีอยู่ การทบทวนวรรณกรรมที่สร้างโดยโมเดลขนาดใหญ่อาจดูเป็นมาตรฐาน แต่เมื่อตรวจสอบบรรณานุกรม มักพบว่าบทความ วารสาร หรือแม้แต่นักวิจัยล้วนถูกสร้างขึ้น

ปัจจุบัน ปัญหานี้อาจได้รับการแก้ไขแล้ว การศึกษาล่าสุดที่ตีพิมพ์ในวารสาร Nature แสดงให้เห็นว่า Allen Institute for Artificial Intelligence (AI2) ร่วมกับ University of Washington ได้เปิดตัวระบบ AI แบบโอเพ่นซอร์สชื่อ OpenScholar ซึ่งสามารถป้องกันการอ้างอิงที่แต่งขึ้นได้อย่างมีประสิทธิภาพเมื่อเขียนบททบทวนวรรณกรรม

ระบบนี้มีฐานข้อมูลขนาดใหญ่ที่ประกอบด้วยบทความวิทยาศาสตร์ 45 ล้านบทความ ช่วยลดอัตราการอ้างอิงปลอมที่สูงถึง 78%-90% ของโมเดลเช่น GPT-4o ลงอย่างมาก

แล้วในบริบทที่ปัญหาการ “หลอน” (Hallucination) มีอยู่ทั่วไป OpenScholar ทำไมถึงสามารถไม่สร้างเรื่องขึ้นมาได้?

กลไกการให้เหตุผลด้วยการสะท้อนกลับตนเอง

ตรรกะพื้นฐานของโมเดลภาษาขนาดใหญ่ (LLM) คือการทำนายคำถัดไปตามความน่าจะเป็น เมื่อถูกถามคำถามวิชาการที่หายาก เพื่อรักษาความต่อเนื่องของคำตอบและภาพลักษณ์ “รอบรู้” โมเดลอาจนำคำสำคัญเช่น นักวิจัย วารสาร ชื่อเรื่อง จากข้อมูลฝึกอบรมมาต่อกันเป็นบทความ “หลอน” ที่ดูเหมือนจริง

นอกจากนี้ AI ทั่วไปขาดจุดยึดความจริง ทำให้สับสนความรู้จากแหล่งที่มาต่างกันได้ง่าย ตัวอย่างเช่น เมื่อถูกถามเกี่ยวกับวัสดุตัวนำยิ่งยวด มันอาจสร้างบทความปลอมชื่อ “บทสนทนาระดับสูงระหว่าง ศ.จาง และ ศ.ลี เกี่ยวกับวัสดุตัวนำยิ่งยวด” การอ้างอิงปลอมที่เกิดจากการตัดข้อมูลฝึกอบรมและขาดกลไกการตรวจสอบวรรณกรรมจริง ส่งผลกระทบอย่างร้ายแรงต่อความน่าเชื่อถือทางวิชาการ

OpenScholar ใช้เส้นทางที่แตกต่าง มันไม่เพียงแค่ทำนายคำถัดไป แต่เชื่อมต่อกับฐานข้อมูลขนาดใหญ่ชื่อ ScholarStore ซึ่งเป็นดัชนีย่อหน้าทางวิทยาศาสตร์ที่ใหญ่ที่สุดที่เปิดเผยต่อสาธารณะในปัจจุบัน เป็นโอเพ่นซอร์สเต็มรูปแบบ สามารถดาวน์โหลดได้ และรองรับการติดตั้งและขยายในเครื่อง

ฐานข้อมูลนี้เก็บข้อความเต็มและบทคัดย่อของบทความวิจัย 45 ล้านบทความจริง ด้วยเทคโนโลยีการสร้างเสริมการค้นคืน (RAG) ระบบรับประกันว่าทุกประเด็นความรู้จะเชื่อมโยงกับบทความวิจัยที่มีอยู่จริง

เมื่อผู้ใช้ตั้งคำถามวิจัย OpenScholar จะทำการค้นหาเชิงลึกในฐานข้อมูลที่มีเวกเตอร์ฝัง 237 ล้านตัว ก่อน เพื่อค้นหาส่วนที่เกี่ยวข้องทั้งหมดของบทความวิจัย หลังจากสร้างร่างแรกแล้ว ระบบจะตรวจสอบตนเอง สร้างข้อเสนอแนะเช่น “ขาดการอภิปรายตรงนี้” “การอ้างอิงตรงนี้ไม่แม่นยำ” “ต้องการเพิ่มความก้าวหน้าล่าสุด” จากนั้นจึงค้นหาและแก้ไขต้นฉบับอีกครั้งตามข้อเสนอแนะเหล่านี้ ผ่านกระบวนการวงจรปิดของ “ค้นหา สร้าง ตรวจสอบตนเอง ค้นหาใหม่ แก้ไขใหม่” เพื่อตรวจสอบซ้ำว่าผลลัพธ์มีบทความวิจัยจริงรองรับหรือไม่

กลไกนี้ลดปรากฏการณ์ “หลอน” ลงอย่างเห็นได้ชัด และเพิ่มความครอบคลุมของเนื้อหาและความแม่นยำของการอ้างอิง ข้อมูลสังเคราะห์คุณภาพสูงที่สร้างจากกระบวนการทั้งหมดนี้ยังสามารถนำไปใช้เพื่อเสริมการฝึกโมเดลได้

ประสิทธิภาพ

หากเพียงแค่ค้นหาได้แม่นยำ OpenScholar อาจเป็นเพียงเครื่องมือค้นหาระดับสูง แต่จุดแข็งที่แท้จริงอยู่ที่ความลึกของการสังเคราะห์ความรู้ ซึ่งเริ่มแข่งขันกับผู้เชี่ยวชาญมนุษย์โดยตรงแล้ว

ทีมวิจัยสร้างชุดทดสอบชื่อ Scholar QABench ซึ่งครอบคลุมสาขาที่ต้องพึ่งพาตรรกะสูง เช่น วิทยาศาสตร์คอมพิวเตอร์ ฟิสิกส์ ชีวเวชศาสตร์ มีคำถาม 3,000 ข้อ และคำตอบยาวจากผู้เชี่ยวชาญ 250 ชุด

ในการประเมินอัตโนมัติ โมเดล OpenScholar-8B ที่มีพารามิเตอร์เพียง 8 พันล้านตัว มีความถูกต้องของคำตอบสูงกว่า GPT-4o 5% สูงกว่า PaperQA2 ที่เชี่ยวชาญ 7% และความแม่นยำในการอ้างอิงเท่ากับผู้เชี่ยวชาญมนุษย์

ทีมยังทำการทดลอง“สงครามมนุษย์กับเครื่อง” แบบดับเบิลบลายด์ โดยผสมคำตอบที่สร้างโดย AI กับคำตอบที่เขียนโดยผู้เชี่ยวชาญมนุษย์ เช่น ดุษฎีบัณฑิต นักวิจัย แล้วให้กลุ่มนักวิทยาศาสตร์ชั้นนำอีกกลุ่มหนึ่งให้คะแนนโดยไม่รู้ที่มา

ผู้เชี่ยวชาญ 16 คนเปรียบเทียบคำตอบวิชาการ 108 ชุดเป็นคู่ๆ ผลลัพธ์แสดงให้เห็นว่าคำตอบของ OpenScholar-8B ดีกว่านักวิจัยมนุษย์ใน 51% ของกรณี ส่วนรุ่นผสมอัพเกรด OpenScholar-GPT4o มีอัตราชนะสูงถึง 70% ในขณะที่ GPT-4o ทั่วไปมีอัตราชนะเพียง 32%

ผู้เชี่ยวชาญผู้ประเมินส่วนใหญ่เห็นว่า ข้อได้เปรียบของ OpenScholar อยู่ที่การครอบคลุมข้อมูลที่กว้างขวางกว่า โครงสร้างที่ชัดเจนกว่า ความต่อเนื่องทางตรรกะที่แข็งแกร่งกว่า จึงมีคุณค่าทางปฏิบัติที่สูงกว่า

ทีมผู้เขียน

Akari Asai ผู้เขียนหลักของการศึกษานี้ เป็นนักวิทยาศาสตร์วิจัยที่ Allen Institute for Artificial Intelligence และจะดำรงตำแหน่งผู้ช่วยศาสตราจารย์ที่ Carnegie Mellon University ตั้งแต่ฤดูใบไม้ร่วงปี 2026 เธอจบการศึกษาระดับปริญญาตรีจาก University of Tokyo สาขาวิศวกรรมไฟฟ้าและวิทยาศาสตร์คอมพิวเตอร์ จากนั้นได้รับปริญญาเอกจาก University of Washington ทิศทางการวิจัยมุ่งเน้นที่การประมวลผลภาษาธรรมชาติและการเรียนรู้ของเครื่อง โดยเฉพาะโมเดลภาษาขนาดใหญ่

Jacqueline He ปัจจุบันเป็นนักศึกษาปริญญาเอกสาขาการประมวลผลภาษาธรรมชาติที่ University of Washington จบการศึกษาระดับปริญญาตรีจาก Princeton University เคยเป็นสมาชิกกลุ่ม Princeton NLP โดยมี Danqi Chen เป็นอาจารย์ที่ปรึกษาหลัก ก่อนศึกษาปริญญาโท เธอเคยเป็นวิศวกรซอฟต์แวร์ที่ Meta

Rulin Shao จบการศึกษาระดับปริญญาตรีจาก Xi’an Jiaotong University ได้รับปริญญาตรีสาขาคณิตศาสตร์ จากนั้นได้รับปริญญาโทสาขาการเรียนรู้ของเครื่องจาก Carnegie Mellon University ปัจจุบันเป็นนักศึกษาปริญญาเอกที่ University of Washington และเป็นนักวิจัยรับเชิญที่ Meta

สมาชิกทีมคนอื่นๆ มาจากมหาวิทยาลัยและสถาบันที่มีชื่อเสียง เช่น University of Illinois Urbana-Champaign, Carnegie Mellon University, Meta, University of North Carolina at Chapel Hill, Stanford University

ที่อยู่บทความวิจัย: https://arxiv.org/abs/2411.14199

ติดตาม “Whale Habitat” Mini Program เพื่อรับข่าวสาร AI ล่าสุด

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง