ゲームの中身は、声だけではありません。画面翻訳は、ゲームチャット、クエストの文章、メニューなど画面に表示された文字を読み取り、新しい行が表示されるたびに翻訳します。翻訳はオーバーレイと Unitra のメイン画面に、音声の翻訳と並んで表示されます。
自動画面翻訳はデイパスと Champion に含まれ、Windows で利用できます。一度だけ翻訳するスクリーンショット翻訳（手順 7）は、無料プランを含むすべてのプランで使えます。読み取れるのは中国語、日本語、韓国語、英語と、ラテン文字で書かれた言語です。Unitra AI Desktop 0.15 以降が必要です。
スクリーンショットと動画は Windows 版 Unitra AI Desktop 0.15 のものです。
動画で見たい方はこちら：
1. ツールバーの画像ボタンを長押しする
ツールバーで、小さな更新マークが付いた画像ボタンを探します。名前は文字の自動認識です。長押しすると設定が開きます。
同じボタンを 1 回クリックすると、自動画面翻訳のオンとオフが直接切り替わります。これは手順 5 で使います。設定は設定 > 一般 > 文字の自動認識 > 文字認識の設定からも開けます。
2. 読み取る内容を選ぶ
認識する内容で、文字の種類を選びます。
- ゲームチャット（Beta）は「プレイヤー名：メッセージ」形式の行だけを翻訳します。キルログや HUD など、範囲内のほかの文字は無視されます。改善を続けているため、ゲームによって結果が異なる場合があります。
- 画面の文字が既定です。範囲内にある通常の文字をすべて読み取るので、クエストログ、アイテムの説明、メニュー、字幕に向いています。
自分の言語の文字も表示は既定でオンです。オフにすると、もともと自分の言語で書かれた行は表示されず、外国語の行だけが表示されます。
3. チャットを囲むように範囲を選ぶ
範囲を選択をクリックします。画面が静止するので、チャットや翻訳したい文字を囲むようにドラッグします。ゲーム画面全体を含む大きな枠より、文字だけを囲む小さな枠のほうがうまく読み取れます。
画面全体を翻訳したい場合は、画面のカード（画面 1、画面 2など）かすべての画面を選びます。
4. 枠の端を調整して確定し、完了をクリックする
枠そのものか、8 つのハンドルのどれかをドラッグして調整します。矢印キーで少しずつ動かすこともできます。Enterを押すか確定をクリックすると保存され、Escでキャンセルできます。設定に戻ったら完了をクリックします。
画面翻訳の実行中にここを変更した場合は、完了をクリックした時点で反映されます。
5. オンにしてから翻訳を開始する
画像ボタンを 1 回クリックして画面翻訳をオンにし、翻訳を開始をクリックします。音声の翻訳と画面翻訳が一緒に始まります。すでに翻訳中なら、画面翻訳をオンにした時点ですぐに始まります。
新しいチャットは表示されるたびに翻訳され、オーバーレイとメイン画面の履歴に表示されます。履歴では画面翻訳のタグが付きます。排他的フルスクリーンのゲームでは、代わりに Xbox Game Bar のウィジェットに表示されます（全画面ゲームでも字幕を表示する を参照）。
6. 全画面ゲームで使うショートカットキー
範囲はゲームごとに記憶される（最大 32 本）ので、次に同じゲームを開いたときには範囲が設定済みです。
全画面のゲームでも、ゲームを離れずに変更できます。
- Alt+Bでゲーム画面の上に範囲選択が直接開きます。確定すると「翻訳範囲を保存しました」と表示されます。
- Alt+Cで画面翻訳のオンとオフを切り替えます。
- Alt+Tで翻訳を開始、停止します。
これらのショートカットは設定 > 一般で変更できます。
7. 一度だけのスクリーンショット翻訳
一度だけ翻訳したいときは、Alt+Xを押すか画面キャプチャをクリックして、文字を囲むだけです。すべての画面の上に同じ選択画面が開きます。文字の言語は Unitra が自動で判別し、画像内の文字をすべて翻訳します。
画像をアップロードをクリックするか、メイン画面でCtrl+Vを押してコピーした画像を貼り付けることもできます。これらはすべて無料プランでも使えます。翻訳にはサインインが必要です。
うまくいかないとき
- 翻訳範囲の選択を先に終えるよう表示される。範囲の選択がまだ開いています。確定で終えるかEscでキャンセルしてから、もう一度試してください。
- 範囲を選び直すよう求められる。範囲を保存した後に、ディスプレイが変更、切断、または並べ替えられました。範囲を選び直してください。ゲームのウィンドウを動かしたときも同じです。
- HDR の画面だと遅く感じる。 HDR のディスプレイでは、Unitra は処理の遅い取り込み方法に切り替えます。結果はそのまま表示されます。
- 全画面のゲームで翻訳が表示されない。排他的フルスクリーンはオーバーレイを覆ってしまいます。全画面ゲームのサポート を設定すると、結果がゲーム バー ウィジェットに表示されます。
- ゲームチャットで読み取れない行がある。ゲームチャットは「プレイヤー名：メッセージ」形式の行だけを読み取ります。チャットの形式が違うゲームでは、画面の文字に切り替えてください。
その他の Unitra チュートリアル
- Unitra の始め方：初回起動からリアルタイム翻訳まで
- Unitra オーバーレイ スタジオの使い方：字幕を自分好みにデザイン
- Unitra 音声出力の使い方：仲間に、仲間の言葉であなたの声を届ける
- Unitra 全画面ゲームで字幕を表示する方法：Xbox Game Bar ウィジェットの設定
- 配信にリアルタイム翻訳字幕を出す
うまく動かないときは Discord で教えてください。