Կենդանի ձայնային ռեժիմ VEGA-ում՝ իրական ժամանակի զրույցներ GPT-Live 1-ի հետ
Մենկ թողարկեցինք Live-ը՝ նոր ռեժիմ VEGA-ում AI-ի հետ իրական ժամանակի ձայնային զրույցների համար։ Գործարկված OpenAI-ի GPT-Live 1 (openai/gpt-live-1)-ով՝ Live ռեժիմը թույլ է տալիս բնական կերպով խոսել ձեր մայրենի լեզուներով և անմիջապես լսել խոսակցական պատասխաններ՝ առանց prompt-ներ մուտքագրելու կամ առանձին խոսք-տեքստ վերածման pipeline-ի սպասելու։
Ինչով է Live-ը տարբերվում ձայնային թեքստավորումից
Ձայնային թեքստավորումը վերածում է ձեր խոսքը տեքստի մուտքագրման դաշտում, որպեսզի կարողանաք ուղարկել սովորական գրավոր հաղորդագրություն։ Live-ը ամբողջական երկկողմ ձայնային նստաշրջան է՝ մոդելը լսում է և խոսում է անընդհատ 24 kHz PCM աուդիո հոսքի վրա։
- Խոսեք ձեր մայրենի լեզուներով. GPT-Live 1 հայտնաբերում է ձեր խոսած լեզուն և պատասխանում նույն լեզվով՝ բնական տեմպով և ինտոնացիայով։
- Հարթ ընդհատում (barge-in). Եթե սկսեք խոսել, քանի դեռ VEGA-ն դեռ խոսում է, վերարտադրումը անմիջապես կանգնում է, իսկ մոդելը վերադառնում է լսելու ռեժիմին՝ ճիշտ այնպես, ինչպես իրական հեռախոսազրույցում։
- Ուղիղ եթերի վիզուալիզատոր զրույցի մեջ. 20-շերտանոց աուդիո վիզուալիզատորը իրական ժամանակում արձագանքում է ինչպես ձեր միկրոֆոնի մակարդակին, այնպես էլ VEGA-ի ձայնային ելքին, որպեսզի միշտ տեսնեք՝ նստաշրջանը լսում, մտածում թե խոսում է։
- Ուղիղ ենթագրեր և զրույցի պատմություն. Խոսակցական փուլերը գրանցվում են որպես տեքստ, քանի դեռ զրույցը ընթանում է, և պահվում են ուղիղակի զրույցի թրեդում՝ զրույցից հետո հեշտ ընթերցման կամ արտահանման համար։
Ինչպես է աշխատում ներքում
Երբ դուք սեղմում եք Սկսել զրույցը Live գործիքային խմբում.
- VEGA-ն սերվերում գեներացնում է մեկ անգամ օգտագործվող client secret և բացում ուղիղ WebSocket նստաշրջան AI Gateway Live endpoint-ին։
- Ձեր դիտարկիչը բռնում է միկրոֆոնի աուդիոն
AudioWorklet-ի միջոցով, վերանամուսնացնում 24 kHz մոնո PCM16-ի և հոսքում է նվազագույն ուշացմամբ։ - Մուտքային աուդիո delta-ները
openai/gpt-live-1-ից պլանավորվում են կադր-առ-կադր Web Audio API-ի միջոցով, մինչդեռ ուղիղ գրանցումները հոսքով են մտնում զրույցի ինտերֆեյս։ - Դուք կարող եք ցանկացած պահի անջատել կամ միացնել միկրոֆոնը, կամ ավարտել զանգը՝ նստաշրջանը մաքուր ավարտելու համար։
Վարկյանով վճարում
Live նստաշրջանները վճարվում են իրական տևողությամբ՝ վարկյանով, ձեր VEGA հաշվից՝ առանց կլորացման ամբողջ րոպեների։ Երբ դուք ավարտում եք զանգը, պահումը հաշտեցվում է տրամադրողի կողմից հաղորդված ճշգրիտ նստաշրջանի ժամանակի դիմաց։
Փորձեք Live-ը VEGA-ում
Բացեք vega.chat, ընտրեք Live-ը գործիքների ընտրողի տողում և սեղմեք Սկսել զրույցը. Դրեք ականակիրները կամ օգտագործեք սարքի միկրոֆոնը և խոսեք VEGA-ի հետ ցանկացած լեզուներով։