1: 名無しさん 2019/06/04(火) 13:21:24.39 ID:kmGUVTGT0
左が本人
右が音声を元にAIが描写した人物画像
no title

https://ai-scholar.tech/others/speech2face-159/

3: 名無しさん 2019/06/04(火) 13:21:55.18 ID:kmGUVTGT0
声から顔を予測するSpeech2faceモデルとは?

提案された「Speech2Face」は、”音声のみから顔を予測し、画像を自動生成”することができるモデルです。
発話と外観には相関関係があるといわれており、年齢、性別、口の形、顔の骨の構造など、すべてが音声に影響を与えると考えられています。また、言語、アクセント、スピードなどは国、地域、文化などのアイデンティティを反映しています。

これらの音と顔の相関関係をYoutubeなどの動画から人物が話している様子を”顔”と”声”に分けて学習データとし、声から正確に顔が予測できるようにモデルを訓練します。

話者の年齢、性別、人種などの複数の属性を短い話セグメントを通して推測し、その後話者の顔を再構築することができます。

例えば以下のような、一見関連がなさそうな音声データから外観を推測することが可能になります。

5: 名無しさん 2019/06/04(火) 13:22:12.36 ID:kmGUVTGT0
これまでも、音声データを元に性別や年齢などの人物を特定する研究や、音声を元に画像を生成する提案はいくつかありました。しかしそれらの多くは与えられた画像から適切なものを選び出すだけで、画像を生成するというアイデアは再現不可能でした。

“音声データのみ”を元に異なるデータ型である”顔の画像”を生成する研究は今回が初めてと言えます。

本モデルの重要なアイデアとして計算過程では、”顔全体を予測するための計算”を行う訳ではなく、下記のように”顔の各パーツの特徴量の相関係数を計算し再現する”ことで予測を行なっています。

これにより、顔の各パーツに特徴を精密に表現することができ、”似ている”人物像を作り上げることができます(パーツが似ている人を作るイメージ)。

11: 名無しさん 2019/06/04(火) 13:23:10.72 ID:p93NEbSGM
>>1
凄すぎやろ

2: 名無しさん 2019/06/04(火) 13:21:44.82 ID:SxUj2lYJM

7: 名無しさん 2019/06/04(火) 13:22:33.86 ID:pQKROevL0
精度低い...

9: 名無しさん 2019/06/04(火) 13:23:07.10 ID:kmGUVTGT0
こんなんほぼ正解だろ
no title

18: 名無しさん 2019/06/04(火) 13:24:12.17 ID:3cWoDHS90
>>9
髪は予測できないぞ
髪は後付や

10: 名無しさん 2019/06/04(火) 13:23:08.38 ID:pThrFV6b0
これって萌え声でも通用するんか

12: 名無しさん 2019/06/04(火) 13:23:13.49 ID:GqO34QT+d
館山と石川でやってほしい

13: 名無しさん 2019/06/04(火) 13:23:14.94 ID:djQqNMRGa
似てないやんけ

14: 名無しさん 2019/06/04(火) 13:23:22.04 ID:vifJ1Okzr
いや全然

17: 名無しさん 2019/06/04(火) 13:23:48.60 ID:H5tuCr7G0
すごい

19: 名無しさん 2019/06/04(火) 13:24:17.44 ID:kciXD2Lfr
アジアンってやっぱ白人と声違うよな

20: 名無しさん 2019/06/04(火) 13:24:17.68 ID:wMxZc06x0
しけたばかうけ

21: 名無しさん 2019/06/04(火) 13:24:26.62 ID:spI4IYIgM
髪型やメイクまでは見抜けんからな
この精度はヤバすぎる

22: 名無しさん 2019/06/04(火) 13:24:30.94 ID:Yyd0CacVa
山本浩二と池谷公二郎でやってほしい

23: 名無しさん 2019/06/04(火) 13:24:37.82 ID:nHuhjEHe0
すげぇ

26: 名無しさん 2019/06/04(火) 13:25:15.48 ID:+hB727730
凄いな
釘宮の声から釘宮の顔が生成されるのか試してほしいわ

27: 名無しさん 2019/06/04(火) 13:25:28.80 ID:WiHD5F08a
韓国人には使えないなwwwwwwwwwwwwwwwwwwwwwwwwwwww

30: 名無しさん 2019/06/04(火) 13:25:59.67 ID:xSjoGtjMd
サンプル白人に偏っていそう

32: 名無しさん 2019/06/04(火) 13:26:15.02 ID:UrUXUufg0
ぜってー嘘だわ
似た声質で全然顔違うやつおるやろ

34: 名無しさん 2019/06/04(火) 13:26:23.86 ID:y/3cvsjZ0
美形かどうか顔の系統は分かるな

35: 名無しさん 2019/06/04(火) 13:26:33.82 ID:jym/Fzbm0
全くの別人で草

33: 名無しさん 2019/06/04(火) 13:26:20.77 ID:g7AhWnxW0
みくさんで試そうぜ!!

引用元:【悲報】vtuber業界ガチで終わる 音声だけで顔面を認識するAIが発達し全員中の人がバレる時代に
http://swallow.5ch.net/test/read.cgi/livejupiter/1559622084/