VEGA'dа тирүү үн режимине: GPT-Live 1 менен чын убакыттагы сүйлөшүүлөр

Биз VEGA платформасында AI менен чын убакыттагы үн сүйлөшүүлөр үчүн жаңы Live режимин ишке киргиздик. OpenAI'дын GPT-Live 1 (openai/gpt-live-1) модели менен кубатталган Live режиминде өз тилиңизде табигый сүйлөп, жазуу промпттарын тербей же өзүнчө сүзүү-текстке которуу агымын күтпөй, жоопторду дароо уга аласыз.

Live'дын үн диктовкадан айырмасы эмнеде

Үн диктовка сөздөрүңүздү кирүү туткасындагы тексти айлантат, андан кийин жөнөкөй жазма билдирүү жөнөтө аласыз. Live — бул толук дуплекстүү үн сессиясы: модель үзгүлтүксүз 24 кГц PCM аудио агымында угуп да, сүйлөй да берет.

• Өз тилиңизде сүйлөңүз: GPT-Live 1 сүйлөгөн тилиңизди аныктап, табигый темп жана интонация менен ошол тилде жооп берет.


• Тынымсыз бөгүлтүү (барж-ин): VEGA дагы сүйлөп жатканда сүйлөй баштасаңыз, ойнотуу дароо токтойт, модель угууга кайтат — чыныгы телефон чалууга окшош.


• Чат ичинде тирүү эквалайзер: 20 саптуу аудио визуализаторы сиздин микрофон деңгээлиңизге да, VEGA'нын үн чыгаруусуна да чын убакытта реакция берет, ошондон улуу сессия угуп жатабы, ойлонуп жатабы же сүйлөп жатабы — дайыма көрө аласыз.


• Тирүү субтитрлер жана чат тарыхы: Сүйлөшүү учурунда сүйлөнгөн айлар сөзмө-сөз жазылып, чат тарыхына түз сакталат, чалуу аяктандан кийин окууга же экспорттоого ыңгайлуу.

Бул кантип иштейт

Live куралдар тобундагы Сүйлөшүүнү баштоо баскычын басканыңызда:

• VEGA серверде бир жолук колдонуучу сыр жаратып, AI Gateway Live чекитине түз WebSocket сессиясын ачат.


• Браузериңиз микрофон аудиосун AudioWorklet аркылуу тартып алат, аны 24 кГц моно PCM16'га кайра өлчөп, минималдуу кечигүү менен агымга жөнөтөт.


• openai/gpt-live-1'ден келген аудио дельталар Web Audio API аркылуу кадам сайын жарыяланат, ал эми тирүү транскрипциялар чат интерфейсине агып турат.


• Микрофонуңузду каалаган учурда үнсүз кылсаңыз же кайра күйгүзсөңүз болот, же чалууну токтотуп, сессияны так бүтүрүүгө болот.

Секундасына эсептөө

Live сессиялары VEGA депозитиңизден чын убакыттын негизинде, толук мүнөткө чейин жогорулатпай, секундасы менен эсептелет. Чалууну токтоткондо, кармоо провайдердин так берген сессия убактысы боюнча жабылат.

VEGA'да Live'ди сыноо

vega.chat сайтын ачып, курал тандалгыч тилкесинен Live'ди тандаңы же Сүйлөшүүнү баштоо баскычын басыңыз. Куулкиңарды кийин же түзмөгүңүздүн микрофонун колдонуп, каалаган тилде VEGA менен сүйлөшүңүз.