こんにちは、LIFULL QAエンジニアの木住野（きしの）です。
普段はQAエンジニアやUXリサーチャーチームのマネジメントを行っています。
2026年3月20日に開催されたJaSST'26 Tokyoへ、QAエンジニア3名（星野、鐘、木住野）が参加しました。
本記事では、印象的だったセッションの紹介と、そこから得た学びを自社QAにどう活かすかについて考察します。
参加の目的
今回の参加目的は、生成AIが急速に普及する中でのテスト技術動向の把握と、自社QAプロセスへの還元です。
特に2026年は、AI駆動開発（AIDD）やLLMを活用した開発が本格化しており、QAエンジニアの役割や品質保証の在り方が大きく変わりつつあります。
この変化の波の中で、私たちが何を観測し、どう行動すべきかを学ぶことが今回の最大の狙いでした。
各メンバーが選んだ注目セッション
今回のJaSSTでは、AI時代のQAをテーマにした学びあるセッションが盛りだくさんでした！
その中から、各メンバーが特に印象的だった1つをチョイスして紹介します。
鐘：AIDD・SDD時代のQA対応 ―QAは何を品質として観測するのか―
セッション概要
登壇者：小川 椋徹氏（2WINS）、久保 雅之氏（ポールトゥウィン）、後藤 香織氏（ポールトゥウィン）
AIが実装だけでなく設計やテストまで担う時代に、QAエンジニアは何を観測すべきか。このセッションでは、4つの議題を通じてAI時代の品質保証について議論されました。
1. 品質が保証されていることの意味
AIは次に来る単語を予測する性質上、必ず一定の割合で不具合を含むコードを生成します。AIがコードを書き、AIがテストしても、それだけで品質を担保することは困難です。95%の正解率を99%に引き上げるという考え方が重要で、そのためには上流工程の段階からしっかり設計しておく必要があります。
2. AIツールのできること、できないこと
AIが日進月歩で進化する中でも、変わらず重要なのはドメイン知識やノウハウをちゃんと残すことです。
- AIのできること：コード生成、コード解析など
- AIのできないこと：非機能要件、設計レベルのセキュリティ欠陥、環境依存の問題、ビジネスロジック
3. 品質のエビデンスの再定義
AIで開発スピードが飛躍的に上がっている今、「なぜこのような実装をしたのか」を追跡できるようにすることが重要です。
大規模・長期間プロジェクトでは仕様書が古くなり、小規模・短期間プロジェクトではエビデンスをスキップしがちです。AI開発が早すぎて仕様書が追いつかない問題を解消するには、自動でエビデンスを残すしくみが必要です。
4. QAエンジニアの役割の変化
下流はAIが得意ですが、上流はよく間違えます。QAエンジニアはAIツールを駆使して、コードから逆算した仕様の把握や、仕様書の作成・更新を自動化し、AIが苦手とする上流工程をもっと考える役割が求められます。
QAEとしての気付き
AIはビジネスロジックやユーザーの利用シーンを考えにくいため、開発のベースである上流の設計をQAがレビューすることで、根本から欠陥を防ぐことが重要だと感じました。
実務への適用案
小規模開発・個人開発でエビデンススキップによる属人化が起きていますが、「属AI化」も起きているのではないでしょうか。AIに要件を伝えた後、AIが実装し、AIがテストし、開発者は何を実装したか詳細まで把握していない状態です。
対策として、開発後に必ずAIでドキュメント化させ、依頼した要件と照らし合わせて確認・更新することが必要だと考えています。
星野：AIと品質保証のこれまでとこれから
セッション概要
登壇者：須原 秀敏氏（ベリサーブ）、松木 晋祐氏（ベリサーブ）、山﨑 崇氏（ベリサーブ）
台本なしのスペシャルトークセッションとして、AI品質保証の技術的変遷と今後の展望が語られました。
従来の検証技術の限界
LLMのプロダクトにそのまま適用するのはとても難しいと語られていました。
- メタモルフィックテスティング：入力内容を変異させても出力に同じ関係性が維持されているかを検証する手法ですが、出力が多様化しているLLMではルールベースなどのシンプルな評価は難しい。
- ニューロンカバレッジ：内部構造の網羅性に着目しテストデータが内部ロジック（ニューロン）を網羅した（発火させた）か評価する手法ですが、これもLLMに対しては巨大すぎるために適用させるのは難しい。
テストの在り方は変わるのか
実はあまり変わらないのかもしれません。日本の製造業で培われたのは統計的品質管理です。
かつてバラツキを制御して抜取検査で品質を評価してきたように、LLMを搭載したプロダクトには決定論的な正誤ではなく、確率的な精度で評価をする必要性があるだけです。 先進的な技術のキャッチアップだけでなく、古典として評価されているような技術書に立ち返り基礎となる考え方と技術を学習する必要性を再認識しました。
サービスの自由度を狭める必要性
サービスの使われ方が多様化しないよう、自由度を狭める必要があります。たとえばIRページにチャットbotを設置する場合、ハルシネーションは法的なリスクがあります。サービスが想定外の利用方法をされないように縛りが必要です。
フライホイール型のQAと継続的な監視
LLMを搭載したプロダクトの場合、リリース後にも精度が下がっていないことを継続的に監視する必要があります。テスト環境よりもコンテキストが明らかに広くなり、外部環境の変化によって使われ方や求められる出力も変化します。だして終わりではなく、フィードバックループを構築する技術が必要です。
QAEとしての気付き
- 仕様の引き算・制限することの重要性を能動的に広め、リスクヘッジが必要
- LLMの精度を保ち続けるための監視（メトリクスの設計）
- 自身が社内に提供するツールや開発プロセスにLLMを活用する場合もこれらを意識しなければ、生産性や成果物の質に影響が出そう
- 基礎となる考え方は変わらない。品質保証の古典やソフトウェア工学についてあらためて知識と技術を深めることが重要
実務への適用案
「AIに何をさせないか」の意識を持つことが大切です。社内に配布するツールも同様で、意図しない用途での利用により問題のあるハルシネーションを起こす可能性があります。
木住野：Beyond Quality Assurance -AIと拓くQAの未来像-
セッション概要
登壇者：池之上 あかり氏（LINEヤフー）、平田 香織氏（LINEヤフーコミュニケーションズ）
AI導入におけるQA組織の現状と課題について、コーチングの技術を用いた組織変革の事例が紹介されました。
対策のアプローチ
- チームのAIに対する価値観（不安や恐ろしさ）を変える
- 新しい価値観をチームにインストール
- 余力による改善活動が増えたなどの効果が見え始めた
QAEとしての気付き
私自身はAIを活用することを推進することに躊躇はなく、拡張するツールである認識でしたが、一方でこの発表のようにAIに脅威や不安を感じている人もいるということがわかりました。
組織横断的な改善も多いので、こういった考え方を知れたことが大きかったです。価値観・信念の摩擦といった言語化しづらい障壁についても知れたのが良かったです。
実務への適用案
AIに限らず新しい技術・思想、あらゆる事象は人によって受け入れること自体に障壁がある可能性もあるため、それを考慮してQAチーム、ひいてはLIFULLの開発組織によい変化を作っていきたいと考えています。
セッションから見えたチーム内での振り返り
自社とのギャップ：現在の体制と比較した不足点や強み
不足点・課題
以下の点については改善の余地があると感じました：
- エビデンス管理の自動化：AI開発のスピードに仕様書が追いつかない問題に対して、自動でエビデンスを残すしくみが不足しています。
- 上流工程へのシフト：QAエンジニアがより上流工程に関与し、設計レビューを強化する体制が必要です。
- 組織的な心理的障壁への配慮：AIに対する不安や恐れを持つメンバーへの配慮と、組織全体での価値観の共有が必要です。
- リリース後の継続的監視：LLMを活用したプロダクトにおいて、リリース後の精度監視とフィードバックループの構築が課題です。
今後の注力領域
各メンバーが挙げた「明日から変えたいこと」
- AI開発後のドキュメント（鐘）：AIで開発した後、必ずドキュメント化し、要件と照らし合わせて確認する習慣をつける
- AIに何をさせないかの意識（星野）：社内ツールでも、意図しない用途で利用されることを防ぐ設計を意識する
- 新技術受け入れの障壁への配慮（木住野）：新しい技術や思想を導入する際、人によって受け入れに障壁があることを考慮する
まとめ
JaSST '26 Tokyoを通じて、AI時代におけるQAエンジニアの役割が大きく変わりつつあることを実感しました。しかし同時に、テストの本質は変わらず、品質保証の基本的な考え方が今後も重要であることを確認できました。
本記事で紹介したセッションをベースにすると以下のような視点で学びがありました。
- 鐘 : 技術的視点から、上流工程の重要性とエビデンス管理の課題を指摘
- 星野 : 検証技術の変遷と本質から、テストの統計的性質とフィードバックループの必要性を強調
- 木住野 : 組織・人的視点から、AIに対する心理的障壁とコーチング手法の重要性を学んだ
私たちが得た最大の気付きは、「AIの進化に合わせてQAも進化しなければならない」という危機感と、「基本を押さえていれば対応できる」という自信の両立でした。
JaSSTで得た外部知見を、自社の品質向上につなげていきます。
最後に、LIFULL では一緒に働く仲間を募集しています。
よろしければこちらのページもご覧ください！
