EmotionThinker: กรอบการเรียนรู้แบบเสริมกำลังแรกสำหรับการอนุมานอารมณ์ที่สามารถอธิบายได้ ทำให้ SpeechLLM เรียนรู้ที่จะ ‘อธิบายอารมณ์’

ในการสื่อสารของมนุษย์ การตัดสินอารมณ์ไม่เคยเป็นกระบวนการ “การเลือกป้ายกำกับ” แต่เป็นการให้เหตุผลที่อิงจากการบูรณาการหลักฐาน เราจะพิจารณาร่วมกันระหว่างการเปลี่ยนแปลงน้ำเสียง ความผันผวนของระดับเสียง ความเร็วในการพูด ตำแหน่งการเน้นเสียง เนื้อหาความหมาย รวมถึงลักษณะเฉพาะตัวของผู้พูด เพื่ออธิบาย “ทำไม” นี่คือความโกรธ “ทำไม” นี่คือความเศร้าโศก

ดังนั้น คำถามพื้นฐานยิ่งขึ้นจึงปรากฏขึ้น: SpeechLLM มีความสามารถในการอธิบาย “ทำไม” จึงตัดสินอารมณ์เช่นเดียวกับมนุษย์หรือไม่?

เพื่อจุดประสงค์นี้ ทีมวิจัยได้เสนอ EmotionThinker — กรอบการเรียนรู้แบบเสริมแรงแรกที่มุ่งสู่การให้เหตุผลทางอารมณ์ที่สามารถอธิบายได้ (Explainable Emotion Reasoning) โดยพยายามยกระดับ SER จาก “งานจำแนกประเภท” ไปสู่ “งานให้เหตุผลที่ขับเคลื่อนด้วยหลักฐานหลายรูปแบบ”

• ชื่อบทความวิจัย: EmotionThinker: Prosody-Aware Reinforcement Learning for Explainable Speech Emotion Reasoning

1. จาก “การจำแนกอารมณ์” สู่ “การให้เหตุผลทางอารมณ์”

EmotionThinker เริ่มต้นด้วยการนิยามงานการรู้จำอารมณ์จากเสียงพูดใหม่ โดยขยายมันออกไปเป็นงานการให้เหตุผลทางอารมณ์ (Emotion Reasoning) ภายใต้การตั้งค่าใหม่นี้ โมเดลไม่เพียงแต่ต้องทำนายป้ายกำกับอารมณ์เท่านั้น แต่ยังต้องสร้างคำอธิบาย一段 ที่ระบุชัดเจนว่า:

• เบาะแสทางเสียงใดที่สนับสนุนการตัดสินนี้
• เบาะแสทางความหมายใดมีบทบาทสำคัญ
• เบาะแสเหล่านี้ร่วมกันประกอบเป็นข้อสรุปสุดท้ายได้อย่างไร

การเปลี่ยนแปลงกระบวนทัศน์นี้หมายความว่า ผลลัพธ์ของโมเดลได้รับการอัปเกรดจาก “ป้ายกำกับ” เป็น “ป้ายกำกับ + การให้เหตุผลตามหลักฐาน” ความหมายของมันไม่ใช่เพียงการทำให้ผลลัพธ์ยาวขึ้น แต่เป็นการเขียนเป้าหมายการปรับให้เหมาะสมใหม่ โมเดลไม่จำเป็นต้องแค่ “ทำนายให้ถูกต้อง” อีกต่อไป แต่ต้องเรียนรู้วิธีบูรณาการสัญญาณหลายรูปแบบ เช่น จังหวะภาษา (Prosody) ความหมาย และคุณลักษณะของผู้พูด และแสดงกระบวนการจัดแนวหลักฐานในคำอธิบาย การรู้จำอารมณ์จึงเปลี่ยนจากปัญหาการจำแนกประเภทไปเป็นปัญหาการให้เหตุผลที่มีโครงสร้าง

2. EmotionThinker: กรอบงานสำหรับการให้เหตุผลทางอารมณ์ที่สามารถอธิบายได้

เป้าหมายของ EmotionThinker ไม่จำกัดอยู่เพียงการเพิ่มความแม่นยำสุดท้าย แต่ยังเพิ่มความสามารถสามด้านพร้อมกัน:

1. ความแม่นยำในการรู้จำอารมณ์ที่สูงขึ้น
2. ความสามารถในการบูรณาการเบาะแสทางอารมณ์และการให้เหตุผลที่แข็งแกร่งขึ้น
3. ความสามารถในการอธิบายเสียงที่มีความละเอียดระดับเม็ด (fine-grained) มากขึ้น คลุมถึงลักษณะผู้พูด เบาะแสทางจังหวะภาษา และข้อมูลความหมาย

เพื่อสนับสนุนเป้าหมายนี้ ทีมวิจัยได้สร้าง EmotionCoT-35K ก่อน ซึ่งเป็นชุดข้อมูลสไตล์ Chain-of-Thought ที่มีตัวอย่างมากกว่า 35,000 ราย แตกต่างจากข้อมูล SER แบบดั้งเดิม โดยไม่เพียงให้ป้ายกำกับอารมณ์ แต่ยังให้คำอธิบายจังหวะภาษาระดับเม็ดและการอธิบายเหตุผลที่มีโครงสร้าง ตัวอย่างเหล่านี้ระบุชัดเจนว่าเบาะแสต่างๆ เช่น ระดับเสียง พลังงาน ความเร็วในการพูด การเน้นเสียง รูปแบบน้ำเสียง สนับสนุนการตัดสินอารมณ์ได้อย่างไร ทำให้โมเดลสามารถเรียนรู้ความสัมพันธ์ระหว่าง “หลักฐาน — การให้เหตุผล — ข้อสรุป”

ในขณะเดียวกัน ทีมวิจัยสังเกตว่า: หากความสามารถในการรับรู้จังหวะภาษาของโมเดลไม่เพียงพอ ความสามารถในการให้เหตุผลทางอารมณ์จะถูกจำกัดอย่างเป็นระบบ ดังนั้น ทีมวิจัยจึงสร้าง EmotionThinker-Base เพิ่มเติม EmotionThinker-Base เสริมความสามารถในการรับรู้โครงสร้างต่างๆ เช่น การเปลี่ยนแปลงระดับเสียง ความผันผวนของพลังงาน รูปแบบความเร็วในการพูด และการเน้นเสียงของโมเดลผ่านการปรับแต่งแบบมีผู้สอน (supervised fine-tuning) เพื่อให้พื้นฐานที่มั่นคงสำหรับการปรับให้เหมาะสมด้านการให้เหตุผลในขั้นตอนต่อไป

3. GRPO-PTR: ทำให้การเรียนรู้แบบเสริมแรงปรับปรุง “ความสามารถในการอธิบาย” ได้จริง

หลังจากนิยามงานการรู้จำอารมณ์จากเสียงพูดใหม่เป็นการให้เหตุผลทางอารมณ์แล้ว ปัญหาการปรับให้เหมาะสมใหม่ก็ปรากฏขึ้น: ในสถานการณ์การสร้างข้อความแบบเปิด (open-ended generation) จะทำการเสริมแรงการเรียนรู้ (reinforcement learning) ต่อ “คุณภาพของการให้เหตุผล” อย่างมั่นคงได้อย่างไร? การรวมรางวัลการให้เหตุผลและรางวัลการทำนายอารมณ์เข้าด้วยกันโดยตรงจะนำมาซึ่งปัญหาสัญญาณรบกวนที่ชัดเจน ด้านหนึ่ง โมเดลอาจสร้างคำอธิบายที่ดูสมเหตุสมผลทางภาษาแต่ไม่สอดคล้องกับการตัดสินอารมณ์สุดท้าย อีกด้านหนึ่ง ในช่วงเริ่มต้นของการฝึก โมเดลยังไม่มีความสามารถในการจัดแนวสัญญาณเสียง-ความหมายที่มั่นคง รางวัลการให้เหตุผลที่เข้มข้นเกินไปอาจขยายความเบี่ยงเบนแบบสุ่มในระยะเริ่มต้น ทำให้เกรเดียนต์ของกลยุทธ์ (policy gradient) เกิดการแกว่งกวัด เพื่อแก้ปัญหานี้ ทีมวิจัยได้เสนอ GRPO-PTR (Progressive Trust-aware Reasoning)

ประการแรก ทีมวิจัยใช้การกำหนดตารางรางวัลการให้เหตุผลแบบก้าวหน้า (progressive) ในช่วงเริ่มต้นของการฝึก จุดเน้นของการปรับให้เหมาะสมอยู่ที่ความมั่นคงของการทำนายอารมณ์ เมื่อกลยุทธ์ของโมเดลค่อยๆ ลู่เข้า (converge) จะค่อยๆ เพิ่มน้ำหนักของรางวัลการให้เหตุผล ทำให้โมเดลเปลี่ยนจาก “ทำนายให้ถูกต้อง” ไปสู่ “อธิบายให้สมเหตุสมผล” การกำหนดตารางรางวัลนี้ช่วยลดผลกระทบของสัญญาณความแปรปรวนสูง (high variance) ในระยะเริ่มต้นต่อความมั่นคงของการฝึก

ประการที่สอง ทีมวิจัยได้นำกลไกการให้น้ำหนักความน่าเชื่อถือตามความสอดคล้อง (consistency-based trust weighting) เข้ามา เมื่อการให้เหตุผลที่โมเดลสร้างขึ้นสอดคล้องกับการทำนายอารมณ์สุดท้าย รางวัลการให้เหตุผลจะถูกนำมาคิดตามน้ำหนักเต็มที่ เมื่อทั้งสองสิ่งขัดแย้งกัน รางวัลการให้เหตุผลจะลดลงโดยอัตโนมัติ กลไกนี้ช่วยบรรเทาปัญหาการไม่ตรงกันของรางวัล (reward misalignment) ที่พบบ่อยในงานสร้างข้อความแบบเปิดได้อย่างมีประสิทธิภาพ ทำให้การปรับให้เหมาะสมคำอธิบายรับใช้การตัดสินอารมณ์เองเสมอ

จากมุมมองของการปรับให้เหมาะสม GRPO-PTR แก้ปัญหาทั่วไปมากขึ้นคือ: ในงานสร้างข้อความหลายเป้าหมายแบบ “การทำนาย + การอธิบาย” จะทำให้การให้เหตุผลที่มีโครงสร้างและการตัดสินใจสุดท้ายคงการจัดแนวกันไว้ได้อย่างไร และลู่เข้าได้อย่างมั่นคงภายใต้กรอบการเรียนรู้แบบเสริมแรง

4. ผลการทดลองและข้อคิดจากงานวิจัย

บนเกณฑ์มาตรฐานการรู้จำอารมณ์จากเสียงพูดหลายชุด EmotionThinker บรรลุผลพร้อมกันดังนี้:

• ความแม่นยำในการรู้จำอารมณ์ที่สูงขึ้น
• คุณภาพการอธิบายที่ดีกว่า
• ความสามารถในการบูรณาการเบาะแสทางจังหวะภาษาที่มั่นคงกว่า

ที่สำคัญกว่านั้น การวิจัยสังเกตเห็นปรากฏการณ์สำคัญ: เมื่อโมเดลได้รับการฝึกฝนอย่างชัดเจนเพื่อจัดแนวเบาะแสทางเสียงกับการตัดสินอารมณ์ ความสามารถในการทนทาน (robustness) ของโมเดลในสถานการณ์อารมณ์ที่ซับซ้อนจะเพิ่มขึ้นอย่างมีนัยสำคัญ นี่แสดงให้เห็นว่า คอขวดของการเข้าใจอารมณ์ไม่ได้อยู่ที่ระดับความหมายเพียงอย่างเดียว แต่อยู่ที่ความสามารถในการสร้างแบบจำลองร่วมกันของสัญญาณเสียงและความหมาย กล่าวอีกนัยหนึ่ง: หากโมเดลไม่สามารถเข้าใจ “วิธีการพูด” ได้อย่างแม่นยำ มันก็ไม่สามารถเข้าใจ “ว่าอารมณ์คืออะไร” ได้อย่างมั่นคง

สรุป

EmotionThinker ไม่เพียงแต่เพิ่มความแม่นยำในงานการรู้จำอารมณ์เท่านั้น แต่ยังทำให้เกิดการเปลี่ยนแปลงในระดับการนิยามงานอีกด้วย การรู้จำอารมณ์ไม่ควรเป็นเพียงการทำนายป้ายกำกับ แต่ควรเป็นกระบวนการให้เหตุผลที่มีโครงสร้างตามหลักฐานหลายรูปแบบ จาก “การจำแนกประเภท” สู่ “การอธิบาย” จาก “ป้ายกำกับ” สู่การจัดแนวความสอดคล้องของ “หลักฐาน — การให้เหตุผล — ข้อสรุป” การเข้าใจอารมณ์กำลังเข้าสู่ขั้นตอนที่เน้นความสามารถในการอธิบายได้และการทำงานร่วมกันของโครงสร้าง

เมื่อโมเดลเรียนรู้ที่จะอธิบายอารมณ์ มันไม่เพียงแต่ให้การตัดสิน แต่ยังแสดงให้เห็นว่ามันบูรณาการเบาะแสทางเสียงและความหมายได้อย่างไร นี่อาจเป็นก้าวสำคัญของโมเดลขนาดใหญ่หลายรูปแบบ (multimodal large models) ในการก้าวไปสู่ความสามารถในการเข้าใจอารมณ์ที่แท้จริง

ติดตามข่าวสาร AI ล่าสุดผ่าน “Whale Habitat” Mini Program

⚠️ หมายเหตุ: เนื้อหาได้รับการแปลโดย AI และตรวจสอบโดยมนุษย์ หากมีข้อผิดพลาดโปรดแจ้ง

☕ สนับสนุนค่ากาแฟทีมงาน

หากคุณชอบบทความนี้ สามารถสนับสนุนเราได้ผ่าน PromptPay

SCAN TO PAY WITH ANY BANK