OpenAI Codex อัปเดตสุดบ้า: จับหน้าต่างแอปพลิเคชันได้ในคลิกเดียว ควบคุมระยะไกลแม้หน้าจอล็อก ผู้ใช้ Windows ถึงกับร้องไห้

หากทวีตนี้ได้รับไลก์หนึ่งครั้ง ข้อจำกัดโควต้าของ Codex จะถูกรีเซ็ต

นี่เป็นการรีเซ็ตโควต้าครั้งที่เท่าไหร่ในปีนี้ก็ไม่รู้แล้ว สองวันที่ผ่านมา Altman โพสต์บน X ให้ Tibo หัวหน้า Codex รีเซ็ตขีดจำกัดการใช้งานอีกครั้ง ชาวเน็ตทำมีมว่า เมื่อไหร่ก็ตามที่มีคนอยากเปลี่ยนไปใช้ Anthropic หรือ Gemini อัลท์แมนจะยืนอยู่ข้างหลังแล้วกดปุ่มรีเซ็ตโควต้า Codex อย่างเงียบๆ คนนั้นก็จะหันกลับมาแล้วถูกดึงกลับไปที่ OpenAI

ในช่วงครึ่งปีที่ผ่านมา OpenAI ได้รับผู้ใช้ใหม่จำนวนมากจาก Codex ที่โด่งดัง สื่อต่างประเทศรายงานว่ารายได้ไตรมาสแรกของ OpenAI สูงถึง 5.7 พันล้านดอลลาร์สหรัฐ มากกว่า Anthropic ถึง 1 พันล้านดอลลาร์สหรัฐ โดย Codex เป็นแรงขับเคลื่อนหลัก

ข้อมูลรายได้ของ OpenAI แสดงให้เห็นว่ารายได้ไตรมาสแรกอยู่ที่ 5.7 พันล้านดอลลาร์สหรัฐ รายได้ต่อปีอยู่ที่ 25,000 ล้านดอลลาร์สหรัฐ และอัตรากำไรจากการดำเนินงานที่ปรับแล้วในไตรมาสแรกอยู่ที่ -122% ผู้ใช้ที่ใช้งานรายสัปดาห์เฉลี่ยในไตรมาสนี้อยู่ที่ประมาณ 905 ล้านคน และในเดือนกุมภาพันธ์เคยสูงถึงประมาณ 920 ล้านคน จำนวนผู้ใช้ที่ชำระเงินในไตรมาสแรกอยู่ที่ 55 ล้านคน เพิ่มขึ้นจากประมาณ 47 ล้านคนเมื่อสิ้นปีที่แล้ว เราเคยแนะนำ คู่มือเริ่มต้นใช้งาน Codex ไปก่อนหน้านี้ ตั้งแต่ดาวน์โหลดและติดตั้งจากเว็บไซต์ ChatGPT ไปจนถึงเชื่อมต่อกับแอป ChatGPT บนโทรศัพท์เพื่อควบคุมระยะไกล มีขั้นตอนโดยละเอียด ผู้อ่านหลายคนแสดงความคิดเห็นว่า Codex ใช้งานได้ดีจริง แต่ก็มีข้อเสนอแนะปัญหามากมาย เช่น หลังจากดาวน์โหลด Codex แล้วยังต้องผูกหมายเลขโทรศัพท์จึงจะใช้งานได้ การทดสอบของเราก็พบว่าเมื่อออกจากระบบแล้วเข้าสู่ระบบอีกครั้ง จะถูกขอให้ผูกหมายเลขโทรศัพท์

ในกรณีนี้ แนะนำให้เข้าสู่ระบบในเบราว์เซอร์ก่อน กล่าวคือ เปิด URL https://auth.openai.com/log-in เพื่อเข้าสู่ระบบล่วงหน้า จากนั้นกลับมาเข้าสู่ระบบใน Codex ลิงก์เข้าสู่ระบบที่ปรากฏจะแสดงเพียงขออนุญาตเท่านั้น จะไม่มีข้อความให้ผูกหมายเลขโทรศัพท์อีก บัญชีที่แตกต่างกันอาจพบสถานการณ์ที่แตกต่างกัน ซึ่งน่าจะเป็นเพราะตอนนี้ OpenAI กำลังทุ่มทรัพยากรการคำนวณจำนวนมากให้กับ Codex และไม่ต้องการให้ผู้ใช้ใช้ประโยชน์ได้ง่ายเกินไป

เช้าวันนี้ Codex ได้เพิ่มฟีเจอร์ใหม่มากมาย ตอนนี้ เพียงกดปุ่ม Command-Command บนคีย์บอร์ด ก็สามารถแนบหน้าต่างแอปพลิเคชันเข้ากับเธรดการสนทนาของ Codex ได้ Codex จะจับภาพหน้าจอและข้อความของหน้าต่างโดยอัตโนมัติ รวมถึงเนื้อหาที่มองไม่เห็นบนหน้าจอ เพื่อใช้เป็นบริบทของการสนทนา

เมื่อก่อนต้องจับภาพหน้าจอด้วยตนเอง ตอนนี้ Codex ไม่เพียงแค่จัดการภาพหน้าจอ แต่ยังสามารถอ่านข้อมูลทั้งหน้าต่างแอปพลิเคชันได้โดยตรง นอกจากนี้ ฟีเจอร์ที่อัปเดตครั้งก่อนในการควบคุม Codex บนคอมพิวเตอร์จากภายในแอป ChatGPT ก็ได้รับการอัปเกรดเช่นกัน ตัวเลือกก่อนหน้านี้คือให้ Codex เปิดอยู่ตลอดเวลา ตอนนี้แม้คอมพิวเตอร์จะล็อกหน้าจอ ChatGPT ก็ยังสามารถควบคุม Codex จากระยะไกลได้

คำสั่ง /goal ครั้งนี้ก็ได้ย้ายจากเวอร์ชันห้องปฏิบัติการมาสู่การเปิดตัวอย่างเป็นทางการ ก่อนหน้านี้เมื่อเราแชร์การทำงานร่วมกันของหลาย Agents มีผู้อ่านกล่าวว่าฟังก์ชัน /goal คล้ายกับการทำงานร่วมกันของหลาย Agents ทั้งสองอย่างจัดการงานเป็นโปรเจกต์ มีวงจรชีวิตเป้าหมายที่สมบูรณ์ และทำงานซ้ำผ่านกลไกที่แตกต่างกัน

/goal ปรากฏครั้งแรกใน Codex CLI เมื่อปลายเดือนเมษายน เมื่อมีมันแล้วก็สามารถจัดการงานยาวๆ ที่เพิ่มขึ้นได้ดีขึ้น แต่น่าเสียดายที่ทั้งการกด command และการควบคุมระยะไกลต่อหลังจากล็อกหน้าจอ ล้วนเป็นการอัปเดตสำหรับแพลตฟอร์ม macOS สำหรับผู้ใช้ Windows ต้องรอให้ OpenAI ดำเนินการต่อไป

มีชาวเน็ตกล่าวว่า “ผู้ใช้ Mac มักจะได้ของดีเสมอ ส่วนผู้ใช้ Windows ทำได้แค่มองตาปริบๆ ฮ่าๆ” ต้องบอกว่า Mac mini ในฐานะ AI PC มีคุณค่าเพิ่มขึ้นเรื่อยๆ ฟังก์ชันสแนปชอตแอปพลิเคชันที่ช่วยลดความยุ่งยากมากมายเรียกว่า Appshots วิธีเปิดใช้งานง่ายมาก: อัปเดต Codex จากนั้นไปที่ “แอปพลิเคชันสแนปชอต” ภายใต้การตั้งค่าแอปพลิเคชัน จะมีวิดีโอสอน และสามารถกำหนดปุ่มลัดเองได้

อย่างไรก็ตาม ต้องทราบว่าการกดปุ่ม command หมายถึงการกดปุ่ม command สองปุ่มที่อยู่ด้านซ้ายและขวาของแป้นเว้นวรรคบนคีย์บอร์ดพร้อมกัน ไม่ใช่การคลิกสองครั้ง เมื่อกดปุ่ม command ทั้งสองปุ่มพร้อมกันในอินเทอร์เฟซใดๆ Codex จะจับภาพหน้าจอโดยอัตโนมัติ และเปิด Codex อย่างรวดเร็วเพื่อวางภาพหน้าจอในช่องป้อนข้อมูล เราสามารถตั้งคำถามเกี่ยวกับสแนปชอตหน้าต่างนี้ได้ แต่ด้วยความสามารถของ Codex สแนปชอตหน้าต่างนี้ไม่ใช่แค่การแยกข้อความ OCR จากรูปภาพเท่านั้น Codex สามารถใช้ฟังก์ชัน Computer Use และ Chrome automation เพิ่มเติมบนพื้นฐานของหน้าต่างนี้

ในภาพ แค่กด command ที่จุดเริ่มต้นของบทความใน Codex แต่ Codex ไม่เพียงแค่ประมวลผลภาพหน้าจอนี้ แต่จะอ่านทั้งหน้าต่างตามความสามารถของ Chrome ตัวอย่างเช่น เรากดปุ่ม command พร้อมกันที่จุดเริ่มต้นของเอกสาร Feishu แล้วบอก Codex ให้ดูว่าหน้าต่างนี้พูดถึงอะไร Codex จะใช้เครื่องมือ Google Chrome เพื่อเรียกดูหน้าเว็บโดยอัตโนมัติเพื่อรับบริบทเพิ่มเติม นี่คือความแตกต่างที่ใหญ่ที่สุดจากภาพหน้าจอทั่วไป: นอกจากการใส่เนื้อหาภาพหน้าจอลงในบริบทแล้ว Codex ยังจะส่งข้อมูลของหน้าต่าง เช่น สถานะว่าแอปพลิเคชันใด เป็นต้น ไปยัง Codex โดยอัตโนมัติ

Codex ระบุเนื้อหาบทความหลังจากจุดเริ่มต้นได้ ตัวอย่างเช่น เมื่อเราอ่านบทความใน WeChat ก็สามารถกดปุ่ม command สองปุ่มเพื่อเปิด Appshots ได้ แต่มีบั๊กเล็กน้อย: เมื่อ Codex ใช้ Computer Use เพื่อควบคุมหน้าต่าง WeChat เลื่อนขึ้นลงในบทความ และออกจากการแสดงตัวอย่างรูปภาพ มันทำให้ WeChat ถูกออกจากระบบโดยตรง

ยังไม่ทราบว่าเป็นเพราะ WeChat ตรวจจับการทำงานของบอท หรือเป็นความผิดพลาดของ Codex ที่เมื่อออกจากการแสดงตัวอย่างรูปภาพแล้วออกจาก WeChat โดยตรง แนะนำให้ลองใช้ Computer Use ใน WeChat ด้วยบัญชีรอง ในวิดีโอโปรโมทอย่างเป็นทางการเมื่อแนะนำ Appshots ก็ไม่ได้ใช้มันเป็นแค่ภาพหน้าจอธรรมดา แต่ใช้ร่วมกับ Computer Use และ Google Chrome

เช่น การขอให้มันแก้ไขเนื้อหาบันทึกของเราโดยตรง

ใช้เวลาสองนาที ช่วยแก้ไขเนื้อหาบันทึกของฉันให้แสดงเป็นสองภาษา (จีน-อังกฤษ) โดยแก้ไขในบันทึกต้นฉบับโดยตรง นอกจากนี้ ไม่ต้องคัดลอกรูปภาพอีกต่อไป แค่ command+command แล้วบอกพรอมต์สร้างรูปภาพเพื่อแก้ไขรูปภาพ

เปิดรูปภาพในเบราว์เซอร์แล้วบอกให้สร้างเวอร์ชันลายเส้น นี่คือความรู้สึกที่แอปพลิเคชันทำเพิ่มอีกขั้น เราลดภาระการใช้งาน AI ลงมาก ทำให้ประสบการณ์ของ Codex ราบรื่นยิ่งขึ้น

คู่มือการใช้งาน /goal แบบละเอียด

พิมพ์เครื่องหมายทับในกล่องโต้ตอบ เราจะเห็นตัวเลือกด่วน “เป้าหมาย” “ตั้งค่าเป้าหมายที่ Codex จะพยายามทำให้สำเร็จอย่างต่อเนื่อง”

คุณค่าของเป้าหมายคือการเป็นคำจำกัดความของงานที่เป็นอิสระ ไม่ใช่พรอมต์การสนทนาทั่วไป Codex จะตัดสินซ้ำๆ ตามเป้าหมายว่า “ควรทำอะไรอีก” และ “เสร็จหรือยัง” โดยดำเนินการต่อเนื่องเป็นรอบๆ โดยอัตโนมัติ จนกว่างานจะเสร็จ หยุดชั่วคราว หรือถึงขีดจำกัด Token การตัดสินสองอย่างนี้เป็นกลไกหลักของเป้าหมาย นั่นคือ “การดำเนินต่อ” และ “การตรวจสอบความสำเร็จ” “การดำเนินต่อ” คือการฉีดพรอมต์โดยอัตโนมัติหลังจากแต่ละรอบสิ้นสุด เพื่อให้โมเดลตัดสินใจขั้นตอนถัดไป “การตรวจสอบความสำเร็จ” คือการให้โมเดลตรวจสอบทีละข้อเทียบกับเป้าหมาย

จุดที่พลาดได้ง่ายที่สุดของโมเดล Goal คือการเขียนประโยคสั้นๆ ใส่เข้าไปแบบไม่คิด การเขียน Goal ที่ดี หลักการสำคัญคือ Codex ต้องสามารถตัดสินได้ว่างานเสร็จหรือไม่ เอกสารช่วยเหลืออย่างเป็นทางการยังกล่าวว่าเป้าหมายที่ดีควรมีผลลัพธ์ที่เฉพาะเจาะจง ตัวชี้วัดที่วัดได้ หรือเกณฑ์การทดสอบ พวกเขาให้ตัวอย่าง เช่น การย้ายโปรเจกต์จากภาษาการเขียนโปรแกรมหนึ่งไปยังอีกภาษาหนึ่ง “ย้ายโปรเจกต์นี้จาก JavaScript ไป TypeScript ข้อกำหนด: คอมไพล์ผ่านในโหมด strict ไม่อนุญาตให้มีประเภท any ที่ชัดเจน” และข้อกำหนดที่ตรงไปตรงมามากขึ้น “ลดเวลาโต้ตอบของหน้าแรกให้ต่ำกว่า 1 วินาที” ตัวอย่างเหล่านี้มีเกณฑ์ที่ตรวจสอบได้เฉพาะเจาะจง ไม่ใช่คำที่คลุมเครือเช่น “ปรับปรุงหน่อย” “ทำให้ดีขึ้นหน่อย”

คู่มือการใช้งาน Goal อย่างเป็นทางการ｜ที่มารูปภาพ: https://developers.openai.com/cookbook/examples/codex/using_goals_in_codex

หากนึกเกณฑ์เฉพาะไม่ออก Codex แนะนำให้รัน /plan ก่อน ให้ Codex หารือกับเราสักรอบ กำหนดเกณฑ์การยอมรับให้ชัดเจน แล้วกลับไปใช้ /goal ในโหมดปกติ เคล็ดลับที่เป็นประโยชน์อื่นๆ คือ สามารถเพิ่ม “Use a token budget of 80000 tokens for this goal” ต่อท้ายข้อความ Goal เพื่อตั้งงบประมาณ Token และไม่ควรส่ง /goal ตอนเริ่มต้นเซสชัน แต่ควรให้ความต้องการอื่นๆ ของโปรเจกต์ก่อน มีโครงร่างแล้วค่อยให้เป้าหมาย

ล็อกหน้าจอแล้ว Codex ยังควบคุมคอมพิวเตอร์ของคุณได้

นอกจากการอัปเดตใหญ่ๆ เหล่านี้ Codex Thursday ยังนำฟังก์ชันที่ปรับปรุงประสบการณ์การใช้งานมากมาย Locked Computer Use เป็นสิ่งที่ควรกล่าวถึงมากที่สุด พูดง่ายๆ คือมันช่วยให้ Codex ยังคงทำงานแอปพลิเคชันบนเดสก์ท็อปเบื้องหลังได้หลังจาก Mac ล็อกหน้าจอ ชาวเน็ตประเมินฟังก์ชันนี้ว่ามันเป็นการก้าวกระโดด ดูมีอนาคตและน่ากลัวในเวลาเดียวกัน หาก Codex สามารถรันแอป Mac โดยไม่มีเซสชันผู้ใช้ที่ใช้งานอยู่ นี่อาจเป็นก้าวแรกสู่โครงสร้างพื้นฐาน Agent ที่คงทน ในการใช้ฟังก์ชันทำงานต่อหลังจากล็อกหน้าจอ เราต้องเปิดใช้งานด้วยตนเองและป้อนรหัสผ่าน วิธีเปิดก็เหมือนกันคือไปที่การตั้งค่า ค้นหาการควบคุมคอมพิวเตอร์ แล้วเปิดการทำงานเมื่อล็อกหน้าจอ

Computer Use ปกติต้องให้หน้าจอปลดล็อก Codex จึงจะ “มองเห็น” และควบคุมอินเทอร์เฟซได้ ฟังก์ชันนี้ทำลายข้อจำกัดนั้น เราสามารถปิดหรือล็อก Mac แล้วเริ่มงาน Codex จากระยะไกลจากโทรศัพท์ iPad หรืออุปกรณ์อื่น มันจะปลดล็อกชั่วคราวโดยอัตโนมัติ ดำเนินการเสร็จ แล้วล็อกใหม่อีกครั้ง Codex ติดตั้ง Apple Authorization Plug-in (ปลั๊กอินการรับรองความถูกต้องที่ได้รับอนุญาตจาก Apple) เพื่อเชื่อมต่อกับกระบวนการปลดล็อกของ macOS เมื่อมีงาน Computer Use ที่ทำงานอยู่ ปลั๊กอินอนุญาตให้ Codex ปลดล็อกหน้าจอชั่วคราว นอกหน้าต่างงาน การอนุญาตปลดล็อกจะถูกปฏิเสธโดยตรง

OpenAI ยังกำหนดข้อจำกัดหลายชั้นสำหรับฟังก์ชันนี้ เพื่อป้องกันไม่ให้กลายเป็นช่องทางสำหรับการดำเนินการอันตรายอื่นๆ:
– หน้าต่างปลดล็อกสั้นมาก ใช้ได้เฉพาะในช่วงการทำงาน Computer Use ปัจจุบันเท่านั้น
– ครอบคลุมจอภาพทั้งหมด เนื้อหาหน้าจอระหว่างการปลดล็อกชั่วคราวจะมองไม่เห็นสำหรับผู้สังเกตการณ์ทางกายภาพ
– ตรวจจับการป้อนข้อมูลในพื้นที่แล้วล็อกทันที หากมีคนแตะคีย์บอร์ดหรือเมาส์ จะหยุดชั่วคราวโดยอัตโนมัติและขอให้ปลดล็อกด้วยตนเอง
เส้นทางนี้เปิดให้เฉพาะ Codex เท่านั้น แอปพลิเคชันอื่นหรือกระบวนการในเครื่องไม่สามารถใช้ทางผ่านได้

อีกฟังก์ชันการทำเครื่องหมายขั้นสูงคือ เมื่อเราใช้ Codex Vibe Coding หน้าเว็บใดๆ ผ่านเบราว์เซอร์ในตัวของ Codex ยังมีเครื่องมือทำเครื่องหมายสำหรับแก้ไขบนเนื้อหาเว็บโดยตรง

นอกจากการอัปเดตชุดนี้ของ Codex วันนี้ ChatGPT ก็มีฟังก์ชันใหม่เช่นกัน: ChatGPT สามารถสร้างและแก้ไขงานนำเสนอใน PowerPoint ได้โดยตรง และยังสามารถใช้ GPT Image 2 เพื่อสร้างรูปภาพสำหรับใช้ใน PPT

ในขณะที่ Codex ใช้งานได้ดีขึ้นเรื่อยๆ ความเร็วในการเผาเงินในกระเป๋าก็เพิ่มขึ้นเช่นกัน บัญชี Pro ของเรา ขีดจำกัดการใช้งานรายสัปดาห์จะรีเซ็ตในวันที่ 27 แต่วันนี้ (วันที่ 22) เหลือเพียง 10% แล้ว ทำได้แค่ “สวดมนต์” ในใจ ขอให้มันรีเซ็ตอีกครั้ง หากบทความนี้ได้รับไลก์หนึ่งครั้ง Codex ของคุณอาจรีเซ็ตขีดจำกัดโควต้า 🐶