- 0. 簡単な自己紹介
- 1. はじめに：「LLMの出力はそれらしいのに、承認が下りない」という壁
- 2. 結論：足りなかったのはモデル性能ではなく「暗黙知の形式知化」
- 3. プロジェクトを成功に導いた実践ポイント
- 4. うまくいかなかった打ち手
- 5. 今後の展望
0. 簡単な自己紹介
こんにちは！パーソルキャリア株式会社で企画職をしている林田と申します。新卒入社後、新規事業の企画を担当してきました。その後、FY25から人材紹介事業/求人広告事業を対象に、転職希望者の方向けの「求人の件名・要約などを出力するLLM開発」の企画を担当してきました。
本記事では、求人情報の「件名・要約」生成において出力品質を上げたのは、
- 「LLMの技術環境の向上」ではなく「暗黙知を形式知にしてスキーマを作成すること」だった
という実践知についてお伝えします。
1. はじめに：「LLMの出力はそれらしいのに、承認が下りない」という壁
1-1.何度改修しても承認されない・・・
今回のプロジェクトは、求人情報から転職希望者にお送りする「件名と要約」をLLMで自動生成する取り組みです。従来は営業担当が手作業で制作していた業務のAI自動化を目指し、スタートしました。
FY25の4〜6月に開発チームでPoC（概念実証）を行い、7月〜翌1月にかけて事業部の企画・営業担当と検証を重ねました。LLMはすぐに「それらしい文面」を出力するものの、何度改修を重ねても、企画・営業担当の方の顔は曇ったまま。そして、FY26の1月には、プロジェクトは一時停止となりました。
ところが、現場の判断基準（暗黙知）を構造化して組み込んだ結果、FY26年4月には現場から以下のような絶賛の声が届きました！
- 「3件とも非常に素晴らしく、自分が制作担当ならそのまま使いたい」
- 「この品質なら、職種や企業ブランドを問わず、人間の書き手に遜色ないクリエイティブになる」
技術環境は一切変えていないにもかかわらず、なぜ評価が一変したのか。その裏側を紐解いていきます。
1-2.評価で指摘された3大問題「ペルソナ」「訴求要素の選定」「文字数を目一杯に利用したストーリー構成」
事業部の企画・営業担当の方からの指摘は、大別すると3つです。
- ペルソナの問題：「件名と要約が、どんな転職希望者の方をペルソナ(メインターゲット)とするかが曖昧で、読み手の困りごとから逆算されていない」
- 求人から抽出した訴求要素の問題：「記載要素が訴求に繋がっていない。ただの情報の羅列になっている。
- 文字数を使い切るストーリー構成の問題： 件名（94文字）や要約（1文につき30文字前後）の指定枠を目一杯使えておらず、訴求機会を損している。
1-3.業界職種を問わない「汎用プロンプト」の限界
当初のプロンプトは、業界や職種、転職希望者を限定しない「汎用版」でした。一定の品質には届きますが、変数ごとに固有の文脈は拾いきれません。
例えば営業職の場合、無形か有形か、ソリューション型かプロダクト型か、新規かルートかによって重視される要素は全く異なります。現場の営業担当はこれを暗黙知として理解していますが、形式知（マニュアルやデータ）化されていないため、LLMにも開発チームにも伝わっていませんでした。
形式知がない状態では、いくらモデルの性能を上げても限界にぶつかってしまいます。
2. 結論：足りなかったのはモデル性能ではなく「暗黙知の形式知化」
しかし、後にして思えば、LLMのモデル性能の問題でも、システム構成の問題でもありませんでした。
1番の問題は、「現場の暗黙知を、形式知化できていなかったこと」にあったのです。
出力品質に必要だったのは、LLMの「よしな」に任せることでも、技術進歩を待つことでも、エンジニアの技能を高めていただくことでもなく、「企画が現場の暗黙知を形式知にすること」だったのです。
3. プロジェクトを成功に導いた実践ポイント
3-1.インタビューと資料から形式知を炙り出す
進め方は、
現場ヒアリング→構造化→レビュー→修正のループの反復
です。
営業担当の方への「インタビュー」と、「営業現場での議事録」や「ナレッジシェア資料」から、形式知を炙り出していきます。
「インタビュー」では、質問の型を固定しました。
- 正解例の提示：「この読み手に対して、実際にはどんな文面を書きますか？」
- 着眼点の言語化：「いま、どこを見てそう判断しましたか？」
- NG基準の掘り下げ： LLMの出力を見せながら「どこを直したいですか？それはなぜですか？」
この問いかけにより、本人たちも無意識に行っていた判断基準（暗黙知）が次々とクリアになっていきました。
3-2.現場・企画・開発の三位一体でプロジェクトを進める
「事業部（企画・営業） ⇔ 開発企画 ⇔ エンジニア」が密に連携する体制を構築しました。
開発側でOKでも現場からはNGが出たり、両者でOKでも保守運用が難しかったりするため、3者が一丸となって「実運用に耐えうる仕様」を模索しました。
3-3.なぜコンテキスト注入だったのか
実装方式は、モデルの追加学習(ファインチューニング)ではなく、プロンプトに背景情報を埋め込む手法(プロンプトへのコンテキスト注入)を選びました。
使っているのは、
- 一般的なLLMとプロンプト
- 構造化した形式知の入力データ
- 求人情報
だけで、特別なモデルや独自の学習は行っていません。
今回の形式知は、なるべく汎用的でクリティカルな部分に絞った分量にしています。
改修点を特定しやすく、現場の判断基準が変わっても形式知のドキュメントを書き換えれば改修できます。
注入するコンテキストが人の読める文書のままなら、それ自体を承認・差し戻しの対象にできる共通言語になるのです。
弊社には経験豊富な営業担当の方がいらっしゃるからこそ、そのスペシャリストに形式知の品質を評価し、改修いただける状態にしていきました。
また、事業判断も現時点ではヒトが承認・否認をしており、AIの出力はヒトが管理し承認できる状態にしておくことが重要です。
3-4.コンテキストの構成と内容
コンテキストの構成は3層です。
- 職種や業界を問わない共通の処理仕様「汎用部」
- 職種や業界ごとに中身が入れ替わる実データ「変数部」
- 両者をつなぐ鍵「プレースホルダー」
からなります。
特殊な基盤は不要で、同じ構成を再現するハードルは高くないはずです。
また、変数部に格納する形式知は、以下のように設定しました。
- ペルソナごとの困りごとと訴求パターンの分類
- 訴求要素の訴求になる/ならないの基準を定量的にも定性的にも設定
- ペルソナの困りごとに対する、訴求要素のストーリーの組み方
- 規定の文字数を使い切るための、情報量と要素数の基準
- これらを機械的に判定するのか、文脈で判定するのか
さらに、上記はOKのみならず、NGも設定しています。
良い表現は無数にありますが、「書かない/書いてはいけない」表現は、相対的に少ないです。
そして、事業部の企画・営業担当の方からの評価は、「書かない/書いてはいけない」の方が多くあります。営業担当の方の評価でも、「〇〇がよい」よりも「△△がダメ」という評価の方が明確で、担当者によるブレも小さくなります。
4. うまくいかなかった打ち手
4-1.汎用版とLLMの「よしな」頼りだけでは、出力品質を満たせない
今回は、具体的に赤裸々に書きたいので、期待した効果が得られなかったアプローチも紹介します。
職種や業界による個別最適化をしない汎用版で、FY25は終了しました。
しかし、評価で指摘された課題の7割は、この汎用版で対応する設計思想が原因でした。
職種や業界によって、定量面／定性面ともに魅力になる要素や水準は変わってきます。
転職希望者の方のペルソナによって、転職活動で感じる課題や求める解決策は異なるのです。
汎用版にする際に意図的に削減したペルソナの設定や、対応する魅力となる要素こそ、求人の魅力の源泉の1つだったのです。
4-2.文字数の制約を強めると、ただでさえ少ない94文字から、70文字程度の出力になってしまう
システム仕様上、文字数上限を、絶対に超えない指示を足していました。
その結果、文字数超過は減りましたが、70文字/94文字の出力となる傾向にあり、訴求要素が1〜2つ減ってしまいます。
- 目一杯の文字数で、魅力になりやすい要素を抽出し、ストーリーを作る指示
- 文字数を超えない指示
がバッティングし、苦戦しました。
文字数と品質の1文字単位の差し引きは、ヒトにはできても、現在のLLMには困難なことの代表格でした。対策として、プロンプトで文字数を埋めるまでループする指示を出しましたが、解決できず、引き続き検証を進めています。
5. 今後の展望
5-1.他事業部への展開
現在は、同じ事業部内での拡大と、他事業部への横展開を進めています。
開発チームで、事業部間の形式知をシェアし、時に相互レビューを行い、汎用的な部分と変数的な部分を更新していきます。形式知をドキュメント中心に開発しているため、事業部間の連携のしやすさも利点です。
5-2.Human in the Loopへの展開
もう1つの展開先は、Human in the Loop（ヒトが判断を介在させる仕組み）です。
現在のシステムには、次のような弱点があります。
- 現場の営業担当の方の暗黙知にバイアスがある可能性
- 転職希望者の方が求める品質は、社内想定より低く、過剰な品質向上に工数をかけてしまう可能性
- ドキュメントの書き換えで改修できるものの、書き換えで出力品質が向上するわけではない可能性
これらを打破すべく、その設計と導入を進めています。
林田 昂大 Hayashida Akihiro
データ・AIソリューション本部 AIプロダクト統括部 AIプロダクトソリューション部 AIソリューショングループ 企画
新卒でパーソルキャリア株式会社に、新規サービス企画職で新卒入社。HRtechやキャリア教育の領域で新規事業の起案・改修に従事。FY25から人材紹介事業/求人広告事業で、転職希望者の方向けの求人の件名・設計レポ要約などを出力するLLM開発の企画を担当。現在は、現場の暗黙知を形式知にするアプローチで、該当事業部とのAI開発や、他事業部への横展開を進めている。
Y.M
データ・AIソリューション本部 データ・AIインフラ統括部 AIプラットフォーム部 AIインフラ・アーキテクトグループ リードエンジニア
2021年にパーソルキャリア入社。生成AIを活用した新規サービスや社内プロダクトの案件を担当。AI機能の設計開発に加え、プロジェクト進行管理、関係者との調整など幅広く担当している。現在は社内向け生成AIサービスや、LLM活用の安全性・統制を支える共通基盤構築などを担当している。
※2026年9月現在の情報です。
