ساخت زیرنویس با هوش مصنوعی

یک زمانی هست فقط یک صوت یا ویدئو داریم اما زیرنویسش رو نداریم. اینجا هم بهترین روش اینه که با هوش مصنوعی یک زیرنویس بسازیم. سایت های زیادی برای اینکار هستند اما متاسفانه رایگان نیستند. اونایی هم که رایگانه یا مدت زمان محدودی داره یا خروجی srt نمیده. پس باید بریم سراغ مدل های رایگان.

یک مدل رایگان و متن باز هست به اسم Whisper که توسط OpenAI توسعه داده شده و وظیفه اش تبدیل گفتار به متنه. نیاز به اینترنت نداره و روی کامپیوتر خودتون اجرا میشه.

برای استفاده از Whisper روش های مختلفی وجود داره:

• اینکه با پایتون نصبش کنید و توی محیط ترمینال ازش استفاده کنید. اینجا راهنمای نصبش هست.
• از رابط های کاربری تحت وب استفاده کنید مثل Whisper-WebUI.
• از نرم افزار Subtitle Edit استفاده کنید. همونطور که قبلا گفتم این نرم افزار امکانات زیادی داره. یکی دیگه از امکاناتش تبدیل صدا به متنه که با مدل whisper انجام میشه.

نرم افزار subtitle edit ساده تره من هم همین روش رو توضیح میدم. البته این نرم افزار علاوه بر مدل Whisper از مدل vosk هم پشتیبانی میکنه ولی من برای زیرنویس از همون whisper استفاده میکنم. چون دقت و عملکرد بهتری داره.

برای استفاده از مدل Whisper در نرم افزار مراحل زیر رو انجام بدید:

1. نرم افزار رو اجرا کنید. از منوی video گزینه open video file رو انتخاب کرده و فایل صوتی یا ویدئویی رو وارد کنید.
2. از همون منوی video گزینه Audio to text(whisper) رو انتخاب کنید. (اولین بار باید ffmpeg رو دانلود کنید. روی yes بزنید تا دانلود بشه)
3. در پنجره باز شده از بخش Engine گزینه Faster-whisper-XLL رو انتخاب کنید. حالا خودش مدل رو براتون نصب میکنه.
4. بعد از بخش choose model باید مدل‌ها رو دانلود کنید. روی اون سه نقطه بزنید. از فهرست یکی از مدل‌ها رو انتخاب کنید و دانلود بزنید. مدل ها رو که دانلود کردید به لیست choose model برید و یکی از مدل هایی که دانلود کردید رو انتخاب کنید.

کدوم مدل رو دانلود کنیم؟

در کل 6 تا مدل داره. 4 مدل هم داره که آخرش en داره و فقط از زبان انگلیسی پشتیبانی میکنند. هر چه مدل کوچک تر باشه سرعتش بیشتره اما به نسبت دقتش کمتر میشه. توی جدول زیر توضیحات کامل و سخت افزار مورد نیاز مشخص شده:

Size	Parameters	English-only model	Required VRAM	Relative speed
tiny	39 M	tiny.en	~1 GB	~10x
base	74 M	base.en	~1 GB	~7x
small	244 M	small.en	~2 GB	~4x
medium	769 M	medium.en	~5 GB	~2x
large	1550 M	N/A	~10 GB	1x
turbo	809 M	N/A	~6 GB	~8x

اگر سیستم ضعیفی دارید یا سرعت براتون مهمه از همون مدل های کوچک استفاده کنید. اگر سخت افزارش رو دارید و دقت ساخت براتون مهمه از مدل های large استفاده کنید. مدل turbo هم نسخه بهینه شده large-v3 است که حداقل کاهش دقت رو با بیشترین سرعت ارائه میده. (+)

5. از بخش choose language زبان فایل تون انتخاب کنید. فایل من انگلیسی هست پس English رو انتخاب می کنم.
6. روی Generate بزنید تا زیرنویس ساخته بشه. بعد از اتمام ساخت زیرنویس اگر نیاز بود میتونید هر بخش رو ادیت کنید.
7. برای گرفتن فایل srt از منوی file گزینه save رو بزنید.

تمام! حالا که زیرنویس انگلیسی رو داریم میتونیم از روش هایی که قبلا گفتم زیرنویس رو ترجمه کنیم. توی همین نرم افزار هم میتویند ترجمه کنید.