Realtime media¶

參與者之間的音訊和視訊媒體交換。

Overview¶

LiveKit 使用軌道為參與者提供即時媒體交換。每位參與者都可以發布和訂閱盡可能多的適合您的應用程式的軌道。

音軌通常從您的麥克風發布並在其他參與者的揚聲器上播放。您也可以製作自訂音軌，例如添加背景音樂或其他音訊效果。

AI 代理可以使用音軌執行語音轉文本，並可以發布帶有合成語音或其他音頻效果的自己的音軌。

視訊軌道通常從網路攝影機或其他視訊來源發布，並在應用程式 UI 內的其他參與者的螢幕上呈現。 LiveKit 還支援螢幕分享，這通常會導致同一參與者產生兩個視訊軌道。

AI代理可以訂閱視訊軌道來執行基於視覺的任務，並且可以發布具有合成視訊或其他視覺效果的自己的視訊軌道。

以下範例示範如何針對不同的用例對應用程式進行建模。

每個房間有兩個參與者：一個最終用戶和一個 AI 代理。他們可以透過以下設定進行自然的對話：

UI 可能是一個簡單的音訊視覺化器，顯示 AI 代理正在說話。

每個房間都有多個用戶。每個用戶發布音訊和/或視訊軌道並訂閱其他人發布的所有軌道。在使用者介面中，房間通常顯示為視訊區塊網格。

每個房間都有一名 broadcaster 和大量觀眾。Broadcaster 發布音訊和視訊。觀眾訂閱 broadcaster 的軌道，但不發布自己的軌道。互動通常透過聊天元件進行。

人工智慧代理也可以加入房間發布即時字幕。

每個房間都有一個發布其視訊軌道的攝影機參與者，以及一個監視攝影機饋送並調用外部 API 根據視訊饋送的內容採取行動（例如發送警報）的代理。

或者，一個房間可以有多個攝影機和一個監控所有攝影機的代理，或者最終用戶也可以選擇加入房間與代理一起監控影片。