株式会社ネクストシステムは、スマートフォンのカメラに写した人物の動きを、人工知能エンジンで捉えて3DCGキャラクターに反映し、キャラクターの変更、モーションデータの書き出し等に対応した全身リアルタイムモーションキャプチャアプリ「ミチコンPlus」のアップデートを2019年11月1日（水）に実施したことを発表しました。
「ミチコンPlus」アップデート内容
今回のアップデートでは、動画読み込み機能 と 縦ブレ軽減機能 が追加されました。
動画読み込み機能
従来のミチコンPlusでは、カメラ映像からリアルタイムでのモーションキャプチャに対応していましたが、アップデートにより端末に保存された動画ファイルを取り込むことで簡単にモーションキャプチャが可能になりました(最大15秒)。
例えば、ダンスが苦手な人でもこの機能を利用することで、自分では難しかったダンス動作をキャラクターに反映させることができるようになります。
また、端末により、リアルタイムでのモーションキャプチャが難しかった場合でも、あらかじめ動画で撮影したものをアプリに取り込むことで、推奨端末外でもモーションキャプチャを利用することが可能です。
動画配信素材としてや、CSVでの書き出し(PRO版機能)も可能なため、簡易的なモーションキャプチャツールとしても利用できます。
※端末によっては読み込みに時間がかかる場合があります
※全身が写っている動画を利用ください
ミチコンPlus動画読込イメージ
縦ブレ軽減
ユーザーより意見が寄せられていた、“撮影時にキャラクターが縦方向へ小刻みに揺れる現象”が改善されました。
立ち姿勢時の安定性を優先して調整を行ったことで、より自然で安定したモーションキャプチャが実現されています。
「ミチコンPlus」について
ミチコンPlus利用風景
「ミチコンPlus」とは、スマートフォンのカメラに写した人物の動きを、人工知能エンジン「VisionPose」で捉えて3DCGキャラクターに反映する、全身リアルタイムモーションキャプチャアプリです。
・キャラクターの変更
・モーションデータの書き出し
に対応しており、スマホカメラに映した人の動きを3DCGキャラクターにリアルタイムで反映できます。
通常、モーションキャプチャを行う際はカメラを複数台用意して対象にデバイスを装着する必要がありますが、ミチコンPlusではカメラ1台で3D座標を取得可能なため、特別なデバイスを体には一切装着せず、従来よりも手軽なモーションキャプチャを楽しむことができます。
また、ミチコンPlusではVRoid Hubと連携することで、VRoid Hub内にアップロードされた任意のキャラクターに変更して遊ぶことができます。
主な機能
ミチコンPlusには、以下のような機能が搭載されています。
キャラセレクト
キャラクターが選択でき、VRoid Hubと連携するとVRoid Hub上に投稿されたキャラクターの追加が可能です
位置リセット機能
キャラクターの位置を画面中央に戻します。
リップシンク切替
キャラクターの口を動かすかどうか選択します。
プレビュー切替
カメラ映像のON/OFFを切り替えます。
カメラ切替
前面カメラ、もしくは背面カメラを選択します。
モーション書き出し録画
モーション録画しCSVで書き出しします。
グリーンバック切替
グリーンバックのON/OFFを切り替えます。
動画読み込み機能
端末に保存された動画を読み込み、モーションキャプチャが可能です。
アプリ概要
アプリ名：ミチコンPlus
カテゴリ：仕事効率化
価格：無料(有料コンテンツあり)
アプリダウンロード：App Store
WEBサイト：ミチコンPlus
推奨端末：iPhone 11／11Pro／11ProMAX、iPhone XR、iPhone XS／XS Max、
iPad Air(第3世代)、iPad mini(第5世代)、iPad Pro(第3世代)
※A12以上のプロセッサ搭載端末を推奨。
「VisionPose(R)」について
同社では、カメラのみで複数人の骨格の深度情報を検出可能なAIエンジンを含む、国内唯一のSDKパッケージ製品「VisionPose(R)」を提供しており、リハビリテーション支援用ロボットの姿勢確認機能などに利用されるほか、スポーツのフォームチェックアプリへの利用、工場や店舗での人の流れや動作の確認、医療、エンタメなど、幅広い分野で導入されています。
ミチコンPlusでは、VisionPoseシリーズの1つで、カメラ1台だけで骨格を検出できる「VisionPose Single3D for iOS」を利用することで、モーションキャプチャを可能にしています。
また、最近ではVisionPoseを時系列に対応させて特定の動作を検出させるなど、骨格の位置情報を検出するだけではなく、さらに発展させたソリューションも展開されています。
VisionPose骨格解析イメージ(野球)
VisionPose骨格解析イメージ(ダンス)
まとめ
2019年5月に公開された「ミチコン-VisionPose Single3D-」がAppleのエンターテインメント分野のランキングに入るなどして多くの反響がある話題のアプリ。
今回のアップデートでは動画読み込み機能が追加され、実際の風景にお気に入りのキャラクターをモーションキャプチャしながら重ねて表示できる『AR機能』も近日リリースされる予定です。
また、表情の反映・UI変更・ハンドサインの追加・カメラレンズの指定などについてもアップデートが進めてられており、ユーザーの意見を迅速に反映し、使いやすいアプリとして進化しつづけています。
ソース：「ミチコンPlus」アップデートに関するプレスリリース[atPress]
Copyright © 2019 VR Inside All Rights Reserved.