ゲーム動画をAIに解析させた記録|事実は全部出たのに、手でノートを書く方が早かった

AIとWeb制作

ゲームのプレイ動画を撮って、それをブログ記事にする、ということを続けている。工程はだいたい決まっていて、録画を見返しながら自分の言葉でメモを作り、そのメモをAIへ渡して記事に組み立ててもらう。このメモを、自分ではフィールドノートと呼んでいる。

フィールドノートを書く時間だけが、どうしても減らなかった

記事の質は、ほぼこのノート次第だ。ただ、一番時間がかかるのもここだった。40分の録画を見返すのに、実際には1時間以上かかる。

工程そのものについては、以前に書いている。

それで今回は、ノートを書く部分を飛ばして、動画そのものをAIに解析させてみることにした。うまくいけば、見返す時間がそのまま消える。

38分の動画から、事実は驚くほど出てきた

やったのは、録画を10秒ごとに静止画として切り出し、一覧できるように並べて、画面に表示されている情報を読ませることだった。

結果は予想以上だった。レベルの推移、所持している通貨の数、拾った武器の名前、戦った敵の名前、死んだ時刻、最後に負けた時刻まで、時系列で並んだ。

この回は、2分でレベル2、7分で4、18分で8まで上がっていた。22分で一度死んで、復帰後の表示は7に落ちている。26分で10まで戻り、そこからは11のまま、最後の竜に負けて終わっていた。

面白かったのは、5と9が一度も画面に出てこなかったことだ。最初は抽出の漏れかと思った。でも見直すと、レベルを上げる場所では何段階かまとめて上げているので、その中間の数字は画面に映る時間がない。飛ばしたのではなく、写る隙がなかっただけだった。

武器の追加効果を並べたら、自分の思い違いが出てきた

このゲームの武器には、「〜が上昇する」という追加効果が付いていることがある。今回、特に拾ってほしかったのがここだった。

並べてみると、二刀持ちの攻撃力上昇、被ダメージ時の防御上昇、致命の一撃の強化、ジャンプ攻撃の強化といった効果が、順番に手に入っていた。

引っかかったのは、自分の声との食い違いだ。終盤、自分は「ジャンプ攻撃強化も乗っている」と喋っていた。ところが同じ頃の所持品の画面には、その効果が付いた武器が入っていない。途中で手放していたのだ。

つまり最後のボス戦では、自分が数えていた効果のひとつが、たぶん切れていた。これは映像と自分の発言を突き合わせて初めて見えたことで、今も「たぶん」としか言えない。

そして、AIが出した一覧そのものにも間違いがあった。防御上昇の大きい大盾について、必要レベルが足りないまま持ち歩いていた、と書かれていた。実際には、その盾は手に入れていない。画面に映ったことと、自分の持ち物になったことは別なのに、並んだ情報だけを見ると同じように見えてしまう。ここは自分で確かめないと分からなかった。

音声の文字起こしは、固有名詞で崩れた

マイクの音声は、ゲーム音と同じトラックに録音していた。そのせいで、文字起こしをすると固有名詞がどんどん別の言葉になる。「失地騎士」が「湿地騎士」になり、武器名は意味の分からない単語になった。

対策として、攻略サイトのページ名から敵や武器や技の名前を集めて、千数百語の置き換え辞書を作った。読み取った文章を後から直す方式だ。これは効いた。

それより厄介だったのが、無音を飛ばす機能だった。後半の6分がまるごと一つの塊として扱われていて、ボス戦の発言がほとんど消えていた。その区間だけ機能を切って取り直したら、「これが避けられないんだよな」「この技は効くからな」といった実況が出てきた。

しかも、自分が戦闘の序盤に言ったと思っていた一言は、実際には倒した直後の発言だった。記憶の順番が違っていた。

マイクを別トラックに録るだけで、ここは解決した

ここまで来て、そもそも音を分けて録ればいいと気づいた。

録画ソフトの設定で、トラック1にはゲーム音とマイクの両方、トラック2にはマイクだけを入れる。動画サイトへ上げるときは先頭のトラックが使われるので、公開用はそのままで済む。解析には2本目だけを使う。

テストで10分ほど録って確かめた。自分が黙っている区間で2本目だけが静かになっていたので、ちゃんと分離できている。マイクだけの文字起こしは数十秒で終わり、固有名詞もほとんど崩れなかった。最初からこうしておけばよかった、という類の話だ。

録画データそのものの扱いは、少し前に整理している。

それでも、記事は手で書いたほうが早かった

材料が揃ったので、実際に記事のドラフトまで作らせてみた。

大きな事実は合っている。レベルの推移も、負けた場面も、間違っていない。それでも読んでみると、これは自分の文章ではなかった。

足りないのは全部「なぜ」の部分だ。なぜその武器を残したのか。なぜ一度死んだ相手にもう一度挑んだのか。ボスの前で、勝てると思っていたのか、無理かもしれないと思っていたのか。画面にもマイクにも、そこはほとんど残っていない。

そしてAIにそこを埋めさせると、材料にない気持ちが、もっともらしい物語として足されてしまう。

直す場所を数えているうちに、これは最初からノートを書いたほうが早いと思った。同じ壁には、以前マイク音声だけで記事を作ろうとしたときにも当たっている。

今のところの結論と、次に試すこと

動画解析は、記事の本文を書くためではなく、事実の下調べに使うことにした。レベルがいつ上がったか、何分で死んだか。ここを自分で数える時間は、たしかに減る。ただし今回のように読み違いが混じるので、最後は自分の目で確認する。

ノートは手で書く。今回いちばんはっきりしたのは、時間がかかっていたのは事実の書き取りではなく、判断を思い出す作業だったということだ。数字を写す手間が減っても、そこは減らない。

次はマイクだけのトラックで、ノートの下書きまで作れるか試したい。固有名詞が崩れない状態なら、プレイ中に口に出した判断をもっと拾えるかもしれない。ただ、それで「なぜ」が増えるのか、それとも自分がプレイ中にそこまで言葉にしていないだけなのかは、まだ分からない。

たぶん後者な気もしている。だとすると次に変えるのは録音の設定ではなく、プレイ中に何を口に出すか、という話になる。

こうして試行錯誤しているゲームのソロ攻略そのものは、こちらにまとめている。

この記事を読んで、何か感じるものはありましたか?
読んで何か感じるものがあったら、そっと「いいね」を押してもらえると嬉しいです。

関連記事

目次