VideoDBスキル
ビデオ、ライブストリーム、デスクトップセッションのための知覚 + 記憶 + アクション。
ユースケース
デスクトップ知覚
- デスクトップセッションを開始/停止し、画面、マイク、システムオーディオをキャプチャする
- リアルタイムコンテキストをストリーミングし、セグメント化されたセッション記憶を保存する
- 言われた内容と画面上で起きていることに対してリアルタイムアラート/トリガーを実行する
- セッションサマリー、検索可能なタイムライン、再生可能な証拠リンクを生成する
ビデオ取り込み + ストリーミング
- ファイルまたはURLを取り込み、再生可能なウェブストリームリンクを返す
- トランスコード/正規化：コーデック、ビットレート、フレームレート、解像度、アスペクト比
インデックス + 検索（タイムスタンプ + 証拠）
- ビジュアル、音声、キーワードインデックスを構築する
- タイムスタンプと再生可能な証拠で正確なモーメントを検索して返す
- 検索結果から自動的にクリップを作成する
タイムライン編集 + 生成
- 字幕：生成、翻訳、バーンイン
- オーバーレイ：テキスト/画像/ブランドロゴ、動的キャプション
- オーディオ：バックグラウンドミュージック、ナレーション、吹き替え
- タイムライン操作によるプログラマティックなコンポジションとエクスポート
ライブストリーム（RTSP）+ 監視
- RTSP/ライブストリームに接続する
- リアルタイムのビジュアルと音声理解を実行し、監視ワークフロー向けにイベント/アラートを発する
仕組み
一般的な入力
- ローカルファイルパス、公開URL、またはRTSP URL
- デスクトップキャプチャリクエスト：開始 / 停止 / セッションのサマリー作成
- 目的のアクション：理解コンテキストの取得、トランスコード仕様、インデックス仕様、検索クエリ、クリップ範囲、タイムライン編集、アラートルール
一般的な出力
- ストリームURL
- タイムスタンプと証拠リンク付きの検索結果
- 生成されたアセット：字幕、オーディオ、画像、クリップ
- ライブストリーム向けイベント/アラートペイロード
- デスクトップセッションサマリーと記憶エントリ
Pythonコードの実行
VideoDBコードを実行する…
