Unity：使用ML-Agents訓(xùn)練的足球機器人
Unity Machine Learning Agents Toolkit（簡稱ML-Agents）工具套能幫助用戶在Unity中輕松入門強化學(xué)習(xí)（RL）。ML-Agents本身帶有多種樣例環(huán)境和模型架構(gòu)，可讓用戶利用現(xiàn)成的環(huán)境和架構(gòu)上手RL，再通過調(diào)整超參數(shù)來測試和改進結(jié)果模型。所有這些都不需新建Unity場景或?qū)胭Y源，且初期不涉及任何編程。本文介紹的項目由日本公司Ghelia Inc.創(chuàng)立，他們使用了ML-Agents的soccer訓(xùn)練環(huán)境來訓(xùn)練人工智能足球賽。由Ghelia訓(xùn)練出的RL模型被部署到索尼的toio機器人上，在真實世界中踢起了足球。這是一個用ML-Agent訓(xùn)練機器人、從“虛擬到現(xiàn)實”的絕佳實例。
Ghelia的CEO兼總裁清水亮以及公司創(chuàng)新和品牌戰(zhàn)略辦公室的首席程序員布留川英一及創(chuàng)新部經(jīng)理Masatoshi Uchida在下文中向我們解釋了Ghelia是如何使用ML-Agents Toolkit來訓(xùn)練一個真實機器人完成踢足球的。
通過ML-Agents和索尼t(yī)oio制作的足球機器人
Ghelia是一家專注于強化學(xué)習(xí)應(yīng)用的公司。Ghelia的創(chuàng)始人北野弘明在索尼任職期間創(chuàng)辦了RobocupSoccer足球賽，并開發(fā)出了AIBO機器人。我們的團隊曾制作過一個空氣曲棍球演示，但過于繁雜的部件使其變得不夠輕便。接著為了向客戶們解釋強化學(xué)習(xí)的概念，我們開始討論制作另一個便于展示的演示場景。鑒于ML-Agents已經(jīng)有了一個足球訓(xùn)練環(huán)境，我們完全可以用輕便小巧的索尼t(yī)oio機器人來開發(fā)一個足球游戲，這種游戲甚至有可能會大火。
為了將強化學(xué)習(xí)應(yīng)用到真正的機器人上，我們需要將機器人本身導(dǎo)入到模擬環(huán)境中。幸好，toio已經(jīng)有一個稱為toio SDK for Unity的模擬程序。我們能直接將程序與ML-Agents軟件包結(jié)合使用，即刻開始培訓(xùn)。toio SDK僅包含了機器人模型，而足球需要另外制作。我們使用了Unity的物理引擎在模擬程序中重現(xiàn)了逼真的足球，還在現(xiàn)實中搜尋能準(zhǔn)確還原模擬情景的小球。結(jié)果，高爾夫球的運動可準(zhǔn)確匹配訓(xùn)練的成果。球的位置在Unity中以transform值表示，在現(xiàn)實里則使用相機進行拍攝、用OpenCV進行識別。
實際運行硬件配置
我們使用一個高爾夫球來代表足球，并將其涂成紅色以提高辨識度。不可思議的是，我們僅用一部iPhone就能完成足球的探測，控制所有八個機器人（這是一場四對四的足球比賽），再使用ML-Agents模型進行推導(dǎo)。
關(guān)于如何設(shè)置獎勵
一開始，代理機器人們各自為政，于是我們試著給個人進球設(shè)置了負面獎勵，但這又導(dǎo)致了守門員不會去主動防守球門。而如果為運球設(shè)置積極獎勵，兩隊又只會來回運球，不會積極射門，基本上就是在拖時間。最后，我們決定把獎勵設(shè)置為進球得一分，被進球則扣一分。
項目中最具挑戰(zhàn)的地方
有時實機機器人并不會像模擬的那樣行動，其背后原因有時讓人捉摸不透。比方說，如果機器人在一個稍微傾斜的地板上運動時，有時會導(dǎo)致推導(dǎo)失敗；另外，如果球的反彈與模擬不同，機器人也無法做出訓(xùn)練好的反應(yīng)。并且，機器人對攝像機位置的要求十分嚴(yán)苛，需要達到毫米級的精度，這使得每次線下活動的鏡頭調(diào)整異常困難。在每一次大型修改后，模型還需要三天左右的訓(xùn)練時間來適應(yīng)，我們總共進行了約六次的訓(xùn)練環(huán)節(jié)來實現(xiàn)如今的成果。
對于那些想在項目中用上機器學(xué)習(xí)的Unity創(chuàng)作者們的建議
AI，特別是深度學(xué)習(xí)雖然讓人癡迷，但人們尚未充分理解它。除非親手嘗試過，否則你將無法欣賞該技術(shù)的難度與美，所以我們建議來自全球的Unity開發(fā)者親自上手體驗一下AI技術(shù)。我想特別指出機器學(xué)習(xí)非常有趣，而Unity ML-Agents工具能幫你輕松地上手機器學(xué)習(xí)這一技術(shù)并將其應(yīng)用到項目中。
打印本文
關(guān)閉窗口