首頁?學習  »   正文

機器學習”玩”起來:自制兩個小游戲

機器學習”玩”起來:自制兩個小游戲

這就是我創建的游戲截圖。左邊的是runn,右邊的是sornting。

人工智能和機器學習絕對是強大的技術。然而,對于那些沒有太多相關背景知識的人(大概是所有人了)來說,有些行業術語通常是抽象的和模糊的。

去年,我開始在中國科學院的音樂和人工智能實驗室研究音樂機器學習。雖然取得了令人興奮的進展,但研究重點主要集中在模型開發部分,而不是生成結果的呈現。

我發現我的很多藝術家和音樂家的朋友,都有意愿想去更多地了解這些技術。然而,面對生澀的知識,他們仍然很難邁出第一步。

機器學習的游戲化

我想揭開用機器學習創作音樂的抽象概念的神秘面紗。玩游戲是向人們介紹新技術的一種更有趣、更吸引人的方式。我認為游戲化與適當的設計可以使音樂機器學習更容易理解。

在我調查之前是否有相關作品的時候,我發現了一個叫做Semantris的項目。它是由谷歌人工智能開發的,以展示他們的自然語言處理(NLP)算法。

機器學習”玩”起來:自制兩個小游戲

Semantris

這是一個由這項技術支持的單詞聯想游戲。當你輸入一個單詞或短語時,游戲會對屏幕上的所有單詞進行排序,并根據它們對你輸入內容的反應程度對它們進行評分。

——谷歌人工智能

我被他出色的表現所鼓舞,并開始為音樂機器學習算法開發我的程序。

機器學習”玩”起來:自制兩個小游戲

Source Code?|?Demo

一些機器學習算法可以學習如何用較低的維數再現數據集中的數據。使用相同的映射,算法可以以某種方式猜測兩個現有數據之間的樣本是什么樣子的,這就是“插值”。我在音樂機器學習中使用游戲化的第一個項目是Sornting。這是一個基于音樂機器學習算法的益智游戲,可以插入不同的歌曲。玩家必須計算出兩種不同旋律之間插值的原始順序,隨著游戲的進行難度也會增加。

機器學習”玩”起來:自制兩個小游戲

基于機器學習算法的人臉插值(來源)

我不想證明插值的結果是完美的。用戶在玩游戲和仔細聽旋律的時候會發現一些奇怪的插值效果。它不僅可以幫助用戶了解模型,而且可以幫助用戶發現模型的弱點。

Sornting

另一方面,游戲也可以作為研究人員的分析工具。例如,如果更多的玩家能夠找到答案,這可能意味著插值對人類來說更有音樂意義,反之亦然。同時,對于一些認為自己有很好的聽力技巧的音樂家來說,這個游戲也是一個挑戰。

. source code:?https://github.com/vibertthio/runn
. demo:?https://vibertthio.com/runn/

機器學習”玩”起來:自制兩個小游戲

Source Code?|?Demo

機器學習”玩”起來:自制兩個小游戲

runn

然而,對于大多數人來說,仍然會有一個障礙來阻止他們享受Sornting。他們必須知道一些插值并對聽音樂有信心。這讓我思考了一個問題:如何讓每個人都想聽機器生成的音樂?當我和我的一個朋友克里斯·多納休(Chris Donahue)討論時,他告訴我,音樂的分數與橫屏游戲相似。我想這可能是一種把新音樂介紹給能玩橫屏游戲的人的方式,幾乎所有人都能玩橫屏游戲。我把這個想法分享給了臺灣人工智能實驗室的同事們,他們也給了我很多有用的反饋。

第二個項目是RUNN。它是“運行”(橫屏游戲)加上RNN(循環神經網絡)。RNN用于生成序列數據,如語言和音樂。用戶可以使用生成的輸出播放,而無需事先了解任何關于音樂機器學習的知識。每個人都可以玩游戲,享受生成的音樂。此外,他們可以通過控制他們的化身來保持良好的氛圍(背景節拍)。所有級別都是使用MusicRNN模型實時生成的。

. source code:?https://github.com/vibertthio/runn
. demo:?https://vibertthio.com/runn/

結論

這兩個項目并不局限于特定的機器學習模型。此外,有許多形式的游戲可能都抱有類似的目的。我想讓每個人都能用音樂來表達自己。游戲化的理念只是一種接近視覺的實驗方法。如果你對未來的音樂技術和可能性有任何想法,可以留言告訴我。

歡迎關注ATYUN官方公眾號,商務合作及內容投稿請聯系郵箱:[email protected]

發表評論