Shiseido Beauty Park AIシミュレーター

資生堂が運営するShiseido Beauty Parkの「Shiseido Beauty Diagnosis Lab」で体験できる、未来の肌シミュレーションAIの開発を支援しました。肌・身体・心の測定データから資生堂が予測した「肌状態の変化」を、来場者本人の顔写真の上に自然な形で再現するシステムです。

課題

資生堂の研究から、肌状態の変化の度合いは、その人の肌・身体・心の状態によって一人ひとり大きく異なることが分かっていました。どの測定指標をもとに顔画像を変化させるかは決まっていたものの、その指標を「どの部位を、どのように、どの程度変化させるか」という画像処理のパラメータにどう結びつけるかは白紙でした。

個人情報保護の観点から、学習に使える顔画像データはほとんどなく、体験の場で使うための生成時間の制約もあります。期日までに確実に体験を届けたいという要望と、研究知見に忠実な精度の高いシミュレーションを実現したいという要望。両方に応えるため、実現可能な手法とアウトプットの品質を具体的に提示し、合意形成をリードする役割が求められていました。プロジェクトは2024年7月にスタートしています。

アプローチ

キックオフ直後から、顔のランドマーク検出、画像処理による色調補正やテクスチャ付与、Stable Diffusionを用いた部分的な画像編集、追加学習の手法などを並行して調査し、実際に動かして検証しました。シワ、ほうれい線、くすみ、シミといった変化を分解し、「画像処理で再現できるもの」と「生成AIが必要なもの」に整理したうえで、検証結果をもとに週次でクライアントと議論を重ねています。

数年後の肌の変化は、本人の顔立ちを保ったまま、気になる部位だけが変わって見えることが重要です。顔の特徴点を検出して部位を特定し、色調補正やシワのテクスチャ付与を部位ごとに適用。境界をなじませる処理を加え、加工感の少ない仕上がりを目指しました。早い段階で操作可能なプロトタイプを用意し、変化の強さを調整しながら確認できるようにしたことで、認識合わせとフィードバックの反映を速めています。

長期の変化は、輪郭やたるみなど顔全体に及ぶため、画像処理だけでは表現できません。拡散モデルを用いた年齢変換の研究手法をベースに、Null-text InversionやPrompt-to-Promptを組み合わせ、元の顔の特徴を保ちながら年齢を段階的に変化させる仕組みを構築しました。権利面をクリアするため、AI学習用途で商用利用可能な日本人の顔画像データセットを用いてモデルを再構築し、男女・年代ごとの出し分けも検証しています。

検証では、髪の色や量が変わる、顔の向きが変わるといった課題が見つかりました。顔領域のマスクで変化の対象を肌に限定し、崩れやすい目元や口元は変化の度合いを抑えるマスクを設計。プロンプトの調整も重ね、本人だとわかる自然さと、変化の伝わりやすさを両立しています。

店頭では、来場者を待たせない生成時間が欠かせません。当初の手法では1人分の生成に数分を要していたため、より高速な画像編集手法を実装し、品質を保ったまま生成時間を約3分の1に短縮しました。あわせて、非同期で画像生成を行うAPIと、GPUを用いたクラウド環境を設計・構築し、本番環境での安定稼働まで伴走しています。運用コストを見据えたインフラ構成の提案も行いました。

成果

開発したシステムは「Shiseido Beauty Diagnosis Lab」に導入され、来場者が自分の未来の肌状態を体験できるコンテンツとして稼働しています。本取り組みは、playknotと資生堂の共同開発としてプレスリリースでも発表しました。