生成AIを使ってWordPressの記事を分類し、関連記事をまとめたHubを自動更新する仕組みを作っている。
最初はゲームの記事で試していたが、ある程度動くようになったので、今度は自分が運営している旅行サイトにも同じ仕組みを持っていこうとしている。
ゲームの記事なら「ボス攻略」「ファーム」「操作」といった分類だった。
旅行サイトでは少し違う。
「旅程をどう組むか」「予算をどう考えるか」「移動手段をどう選ぶか」といった、旅行者の意思決定を助ける記事をHubへまとめたい。
ここで私は、生成AIならかなりの部分を自動で判断できると思っていた。
実際、かなりのところまではできた。
でも最後には、記事を一つずつ自分で読むという、思っていた以上に泥臭い作業へ戻ってきた。
「意味を読めるAI」なら分類できると思っていた
以前作ったHub自動化では、最初はキーワードなどを使ったルールベースで記事を分類していた。
ただ、記事にはいろいろな話題が混ざる。
キーワードだけでは判断しにくい記事も多い。
そのため、次の段階として生成AIに文章の意味を読ませ、
「この記事はHubに載せるべきか」
「載せるなら、どのセクションなのか」
を判断させる仕組みを作り始めた。
Hub自動化そのものを作った経緯については、以前の記事に書いている。
生成AIは文章を読める。
だったら、キーワードよりずっと賢く分類できる。
この考え自体は間違っていなかったと思う。
実際、それらしい分類結果はかなり返ってきた。
問題は「それらしい」の先だった。
どちらも間違いではない記事が一番難しかった
たとえば、ある記事を読んで、
「これは旅程の記事なのか、それとも予算の記事なのか」
と迷うことがある。
AIが出した答えを見ても、別のAIに検証させても、どちらも完全な間違いには見えない。
でも、自分で記事を読むと、
「主題は予算にも触れているけれど、この記事を読む人が一番判断したいのはルートだな」
と感じることがある。
逆に、Hubに入れる価値はありそうなのに、用意したセクションのどこにもきれいに入らない記事もあった。
AI同士で情報を引き継ぐ過程では、この微妙なニュアンスが少しずつ落ちていく。
記事の要約は合っている。
分類理由も一応筋が通っている。
それでも、元の記事を読んだときに感じる「この記事は結局、読者の何を助ける記事なのか」という感覚と少し違う。
そこで結局、いくつかの記事は自分で全文を読んだ。
結局、人間がやったのは「意味の境界」を決めることだった
以前、大量のWordPress記事を移行したときにも、似たことを考えた。
AIに大量処理は任せる。
でも、何を残すか、何を変えるか、どこで実行するかという判断までは渡さない。
今回も同じ話なのだが、少し違うところもある。
以前は、安全性のために人間の判断を残していた。
今回は、意味そのものを決めるために人間の判断が必要だった。
AIには、
記事を読む。
要約する。
候補を出す。
分類案を出す。
別のAIに検証させる。
そこまでかなり任せられる。
でも、
「この文章は、結局どの読者のどんな判断を助けるのか」
という境界になると、私自身が記事を読んだ方が早いことがあった。
これは少し意外だった。
AIを導入すれば、人間が記事を読む作業そのものをかなり減らせると思っていたからだ。
自動化の完成形は「人間がゼロ」ではないのかもしれない
もちろん、だから自動化が失敗したとは思っていない。
何十、何百という記事を全部自分で読み直すのは現実的ではない。
AIが明らかな記事を先に分類してくれれば、人間が読む必要があるのは曖昧な記事だけになる。
これはかなり大きい。
最近は、このHub基盤を一つのサイトだけの専用品にせず、別サイトにも持っていける形にしようとしていた。
その過程で分かってきたのは、自動化のゴールを「人間が一切判断しない状態」に置かない方がよい、ということだった。
AIに任せられるところは徹底的に任せる。
その代わり、曖昧な境界だけ人間のところへ戻す。
その方が、全部をAIに決めさせようとして複雑なルールを積み上げるより、結果的には仕組みも単純になるかもしれない。
泥臭く記事を読む時間も、なくさなくていい
今回、自分で記事を読みながら分類しているとき、
「ここまでAIで作ったのに、結局手で読むのか」
と少し思った。
でも、今はそれでいいと思っている。
AIを使う目的は、自分が何も考えなくなることではない。
大量の単純作業を減らし、本当に判断が必要なところに自分の頭を使えるようにすることなのだと思う。
Hubへ載せるか。
載せるならどこか。
その判断を数件だけ自分でするのであれば、それは自動化の失敗ではない。
むしろ、そこまで仕事を絞り込めたこと自体が、自動化の成果なのかもしれない。
まだ仕組みは開発途中だ。
今後さらにAIの分類精度が上がれば、人間が読む件数も減るかもしれない。
それでも、最後の数件くらいは、自分で記事を読みながら決めてもいい。
今のところは、そんな形が一番しっくりきている。
