TextからAI楽曲制作 Mubert-Text-to-Music #mubert

曲を作ってくれるAI『Mubert』と、

テキストから『Mubert』にわたすプログラム『Mubert-Text-to-Music』を利用する。

Github から Mubert-Text-to-Music ダウンロード

https://github.com/MubertAI/Mubert-Text-to-Music

 

Google Colaboratory から開く…。

Python やJupyter なども不要…。

https://colab.research.google.com/

Githubからダウンロードしたファイルをアップロード

 

環境をインストールする。

 

Mubert のトークンを取得したメールアドレスが必要

https://mubert.com/

に Sign upする。

https://mubert.com/render/pricing?via=toshiaki

 

https://huggingface.co/

からも、Access Token を取得する

 

prompt の呪文をボブ・マーレーからポールマッカートニーへ変えてみた…。

vladimir lenin smoking weed with paul mccartney

できた!

 

さらにバッチファイルを開けてみるといっぱいの楽曲が…すごい時代だぞ…。

‘kind beaver guards life tree, stan lee, epic’,
    ‘astronaut riding a horse’,
    ‘winnie the pooh cooking methamphetamine’,
    ‘vladimir lenin smoking weed with bob marley’,
    ‘soviet retrofuturism’,
    ‘two wasted friends high on weed are trying to navigate their way to their hostel in a big city, night, trippy’,
    ‘an elephant levitating on a gas balloon’,
    ‘calm music’,
    ‘a refrigerator floating in a pond’

Promt次第でイメージが変わるのは、Stable Difusion のAI画風と一緒。

1分の楽曲が6曲も、たったの14秒で完成してしまった…。


これはAIを使って何をするかの時代へ突入だ。

prompt の勝負だから、いっそのこと、絵をAIに解析してもらって、それをインポートすればよい。

完成した mp3 のファイルを、Stable Diffusion で作成した画像をオンライン映像編集サイトでまとめて、YouTubeにアップロードした。

https://online-video-cutter.com/

■ replicate.com

AI にプロンプトを打ち込むと、画像が生成される。…であれば、画像をAIに分析させると画像が出てくる…
それを今度は、音楽AIのMubertに食べさせてみる…。

Githubのアカウントで利用できる

https://replicate.com/

 

ハードウェアとあわせてもおもしろそうだ。

来場者の顔の表情を見て、作曲するとかも。

■AIカメラで動くハードウェアの可能性

キーボード 魔界鍵盤製作所

ASDFG の5つ

ソレノイド 電磁石

画像認識AIカメラ M5StickV

デレステ ? をプレイする。