การปฏิวัติในการสร้างวิดีโอ: VideoPoet โดย Google
VideoPoet โดย Google Research เป็นโปรแกรมชั้นนำที่แปลงโมเดลภาษาเป็นตัวสร้างวิดีโอที่มีพลัง. มันใช้ส่วนประกอบขั้นสูงเช่น MAGVIT V2 วิดีโอโทเคไนเซอร์และ SoundStream ออดิโอโทเคไนเซอร์เพื่อแปลงภาพถ่าย วิดีโอ และคลิปเสียงเป็นลำดับของโค้ดแบบไม่ต่อเนื่อง. โค้ดเหล่านี้ที่รวมกับโมเดลภาษาที่ใช้ข้อความ ช่วยให้เครื่องมือสามารถทำนายโทเคนวิดีโอหรือเสียงถัดไปในลำดับ. VideoPoet มีวัตถุประสงค์ในการเรียนรู้แบบสร้างสรรค์ที่หลากหลาย เช่น ข้อความเป็นวิดีโอ ภาพเป็นวิดีโอ การทำสไตล์วิดีโอ และอื่น ๆ โดยโชว์ถึงความหลากหลายในการสังเคราะห์วิดีโอ
VideoPoet โดดเด่นด้วยความสามารถในการสร้างวิดีโอคุณภาพสูงในรูปแบบพื้นที่สี่เหลี่ยมหรือตั้งภาพ, ตอบสนองความต้องการเนื้อหารูปแบบสั้น. ด้วยคุณสมบัติเช่น การปฏิบัติหน้าที่พร้อมกันบนข้อมูลที่เน้นวิดีโอ การอนุรักษ์เอกลักษณ์วัตถุ และความสามารถในการแก้ไขวิดีโอแบบโต้ตอบ, VideoPoet สาธิตถึงวิธีการใช้โมเดลภาษาเพื่อสร้างวิดีโอที่มีความสอดคล้องในเชิงเวลาที่น่าประทับใจ
