به گفته شرکت OpenAI جوک باکس یک شبکه عصبی است که توانایی تولید موزیک و همچنین خوانندگی ابتدایی در طیف متنوعی از سبک‌های موسیقی و خوانندگی را داشته و با استفاده از فرمت صوتی خام (RAW) آموزش دیده است.
محققان شرکت OpenAI برای توسعه این هوش مصنوعی ابتدا از شبکه عصبی پیچشی (CNN) برای رمزگذاری و فشرده سازی فرمت RAW استفاده کردند. آن‌ها سپس با استفاده از ابزاری که ترنفسورمر نامیده شده فرمت صوتی فشرده جدید ایجاد کرده و آن را برای بازگردانی به فرمت خام به حالت نمونه برداری نشده (Unsampled) در آوردند. با این کار شبکه عصبی قادر به تولید آهنگ‌هایی است که وجود خارجی ندارند.
با وارد کردن سبک، هنرمند و متن ترانه به عنوان ورودی، جوک باکس قادر به تولید آهنگ کاملاً جدید است. در این لینک نزدیک به 8 هزار آهنگ تولید شده توسط این هوش مصنوعی با آلات موسیقی کامل و صداهای مختلف برای متن آهنگ از هنرمندان مختلف قرار گرفته‌اند.
محققان OpenAI قصد دارند با توسعه هوش مصنوعی خود امکان تولید آهنگ به کمک فایل‌های MIDI و Stem را فراهم کنند. به عقیده آن‌ها با این کار آهنگ سازان می‌توانند کنترل بیشتری روی تولید قطعات موسیقی داشته باشند. این هوش مصنوعی پتانسیل دگرگون کردن شیوه آهنگسازی را دارد.
