Koemotion

デモ/アプリ

料金

利用ガイド

よくある質問

利用規約

会社概要

お問い合わせ

User guide
利用ガイド

ブラウザ上でKoemotionのデモ/アプリを試してみる

当サイトでは、「コエ」「エモーション」「モーション」を扱う生成AIサービスKoemotionを、ブラウザ上で手軽にご利用いただけます。

Koemotion Sample

Koemotion Sampleタブでは、①入力テキスト・②感情・③話者マップから座標を選択することで、事前に用意された合成音声のサンプルを再生することができます。皆さんもぜひ、自分好みの声色を探してみてください。

Koemotion Demo

Koemotion Demo※1タブでは、④任意のテキストを入力することで音声を合成することができます。Koemotion Sampleタブで選んだ声色で、好きなテキストの音声を合成してみてください。

※1: 20リクエスト/日のリクエスト制限

Koemotion Trial, Light, Standard

Koemotion Trial※2, Koemotion Light※3, Koemotion Standard※3タブでは、ご登録いただいたプランのAPIキーを用いて音声を合成することができます。Koemotionの登録・APIキーの取得方法はこちらをご覧ください。ご登録いただいたプランのタブで⑤APIキーを入力し※4オプションを選択することで、様々な条件に対応した音声を合成することができます。

※2: 100リクエスト/月のリクエスト制限
※3: 1リクエストあたり1円課金
※4: 右図はKoemotion Standardをご登録の場合

KoemotionのAPIを試してみる

Koemotion Trial, Koemotion Light, Koemotion Standardプランのご利用には、rinna Developersへの登録及びAPIキーの発行が予め必要となります。登録方法はこちらをご覧ください。 Koemotionの各プランの詳細は、プラン一覧よりご確認ください。

KoemotionのAPI利用

Koemotion Trial, Koemotion Light, Koemotion Standard, Koemotion Businessプランをご利用の方は、KoemotionをAPI利用することができます。

KoemotionのAPIは、一般的なREST APIとして実装されているため、curlのようなコマンドやPythonのようなプログラミング言語を用いて、簡単に利用することができます。

右のコードスニペットは、curlコマンドを使用して、Koemotion APIを利用する例です。
プランによって、設定可能なパラメータが異なります。APIの詳細は、こちらからご覧いただけます。

curl -X POST "https://api.rinna.co.jp/koemotion/infer" \
  -H "Content-Type: application/json" \
  -H "Cache-Control: no-cache" \
  -H "Ocp-Apim-Subscription-Key: <your Koemotion API key>" \
  -d '{"text": "今日はいい天気ですね", "speaker_x": -3.0, "speaker_y": 2.0}' \
  > response.json
cat response.json | jq -r ".audio" | cut -d "," -f 2 | base64 -d > audio.mp3

KoemotionのGitHubリポジトリでは、Koemotionをご活用いただくための、CLIツール及びPythonライブラリを提供しています。
右のコードスニペットは、Python上でKoemotion APIを利用する例になります。
インストール方法や利用方法については、こちらをご覧ください。

from koemotion import Koemotion

client = Koemotion(api_key="<your Koemotion API key>")
params = {"text": "今日はいい天気ですね", "speaker_x": -3.0, "speaker_y": 2.0}
response = client.request(params)
response.save_audio("audio.mp3")

フェイスモーションの生成

Koemotion Standard及びKoemotion Businessプランでは、合成音声と同期したフェイスモーションを生成することができます。

Koemotionでは、3次元キーポイントのフェイスモーションデータがjson形式で出力されます。
API利用の場合、"facemotion": trueと指定することで、フェイスモーションの生成が可能です。

出力されたjsonファイルから動画ファイルを作成するためのCLIツールを用意しております。
インストール方法は、KoemotionのGitHubリポジトリをご参照ください。
CLIツールの使い方は、こちらをご参照ください。

curl -X POST "https://api.rinna.co.jp/koemotion/infer" \
  -H "Content-Type: application/json" \
  -H "Cache-Control: no-cache" \
  -H "Ocp-Apim-Subscription-Key: <your Koemotion API key>" \
  -d '{"text": "フェイスモーションの生成もできます。", "facemotion": true}' \
  > response.json
cat response.json | jq -r ".audio" | cut -d "," -f 2 | base64 -d > audio.mp3
cat response.json | jq -r ".facemotion" > facemotion.json

# install Koemotion python library before running the following command
koemotion-visualize -i facemotion.json -a audio.mp3 -o video.mp4

合成音声のストリーミング再生

Koemotion Standard及びKoemotion Businessプランでは、API利用により合成音声のストリーミング再生が可能です。
ストリーミング再生では、音声全体の合成が完了する前にダウンロードと再生を開始できるため、リアルタイム性が求められる音声アプリケーションに最適です。

API利用時に、"streaming": trueを指定することで、ストリーミング再生を行うことができます。
なお、ストリーミング再生の利用時は、以下の制約があります。

ストリーミング再生では、対応する音声ファイルの出力形式はwav形式のみのため、"output_format": "wav"を指定する必要があります。
合成音声の音量の指定することができません。
フェイスモーション生成を行うことができません。

APIについての詳細は、こちらからご確認いただけます。

右のコードスニペットのように、Koemotionのライブラリを利用することで、Python上で簡単にストリーミング再生をお試しいただけます。

from koemotion import Koemotion

client = Koemotion(api_key="<your Koemotion API key>")
params = {
    "text": "ストリーミング再生もできます。",
    "speaker_x": -3.0,
    "speaker_y": 2.0,
    "output_format": "wav",
    "streaming": True,
}
response = client.request(params)
response.stream_audio()

Koemotion APIを活用したアプリケーション開発

Koemotion APIとテキスト対話のAPIと組み合わせることで、音声対話システムのような合成を活用したアプリケーションを開発することができます。
以下のブログ記事で、ストリーミング合成が可能なKoemotionをOpenAI社が提供するGPT-4oと接続することで、高速な音声応答システムを構築する方法を紹介しています。

GPT-4oとKoemotionのストリーミング合成を用いて高速な音声応答システムを作る記事とその動画です。
GPT-4oとKoemotionをつないで高速な音声応答システムを作る｜Kentaro Mitsuihttps://t.co/8e4pCNJoMa #zenn pic.twitter.com/EyS2R5W9yd
— Koemotion (@rinna_koemotion)June 24, 2024