グループデータ本部データサイエンスグループの嶋村です。
グループデータ本部は、LIFULLグループで生まれる新たなデータを安全かつ効果的に活用できるようにし、事業の変化と持続的な成長を促進することを目指している組織です。その中で、データサイエンスグループは研究開発組織として、「活用価値のあるデータを創出」し、「データを活用した新たな機能やサービス」の研究開発に取り組んでいます。
事業を革進し続けて様々な社会課題を解決していくために、データを最大限に活用できる状態にしていきたいと考えています。その一環として、不動産情報・住宅サイトであるLIFULL HOME'Sに掲載される不動産広告画像を定量的に評価（数値化）し、その評価結果をプロダクトの改善に活用できる状態にするための取り組みを続けています。
2024年4月27日に弊社が協賛している「第88回 Machine Learning 15minutes! Hybrid」が開催され、今回の取り組みについて登壇をしました。
画像品質の定量評価とは
画像品質の定量評価をするためには、画像品質の良し悪しを数値で表現する必要があります。しかし、感覚的に画像品質の良さがわかったとしても、その品質を厳密に数値化することは簡単ではありません。
たとえば、以下の2つの画像は生成AIを用いて作成した架空の物件の内観写真です。2つの画像を見比べてみて下さい。
おそらく多くの方は、左の写真①の方が右の写真②よりも、以下の観点で「良い」と感じるのではないでしょうか。
- 画像の明るさが適切である（暗すぎない、明るすぎない）
- 画像がぼやけておらず鮮明に見える
- 画像の撮影画角が良く広々と見える
など
しかし、それらを点数（数値）で表現しようとすると、100点満点中、100点なのか、50点なのか、0点なのか、点数を付けるのは難しいと感じるのではないでしょうか。
そこで、データサイエンスグループは深層学習や画像処理技術を用いて不動産広告画像の見栄えの定量化を試みました。
画像品質情報の算出と蓄積、そして活用
画像品質に関する情報を作成する取り組みの詳細は前述したスライドでご説明していますが、画像品質の定量化には基盤モデルCLIP（Contrastive Language-Image Pre-Training）の派生であるCLIP-IQA（Image Quality Assessment）を用いました。CLIP-IQAはテキストラベルで指定した品質評価の観点に対して、品質評価結果を数値で出力する仕組みです。
ここでの難しさはどのような評価観点を定め、どのようなテキストラベルで評価値を算出するか、でした。
まず、弊社のコラムで公開している写真撮影のコツなどを参考に、評価観点を定めました。そして、テキストラベルは様々な表現方法があるため、生成AIを用いて半自動的にベストなラベルを決定する仕組みを作りました。
実験時は膨大な写真画像に対して評価値算出の処理を実行しましたが、弊社のアプリケーション実行基盤KEELを最大限に活用することで、効率良く実験環境を構築し実験を進めることができました。
画像品質の定量評価は以下のように活用できるのではないかと考えており、今後も新たなデータを創出してサービスを革進させていきたいと熱意を持って取り組んでいます。
- 画像品質評価結果が良い画像を優先的に表示する
- 画像品質評価結果に基づいて自動で画像を修正する
など
おわりに
今回は不動産広告画像を定量的に評価する取り組みを紹介しました。今後も研究開発に関する取り組みをどんどん発信していきたいと思います。
その一環として、データサイエンス系の自社イベント「LIFULL AI Hub 100ミニッツ」を定期的に開催しています。当日の様子はtogetterでのまとめをご覧下さい。次回は7月頃の実施を予定しており、少しでも興味を持ってくださった方は、弊社のconnpassアカウントに登録していただけるとイベントのご案内をお届けできます。是非、気軽にご参加いただけると嬉しいです。
最後になりますが、データサイエンスグループでは「活用価値のあるデータを創出」し「データを活用した新たな機能やサービス」の研究開発を加速して下さるシニアデータサイエンティストを募集しています。
興味お持ちいただける方は、カジュアル面談も行っていますのでお気軽にご連絡ください。
