輸入簡單的關鍵字，就能給 3A 大作找 Bug。

好，先來看看《GTA5》，輸入 A car flying in the air:

隨手點開一個視頻。 這牛逼的物理引擎，不愧是你！

就用這種簡單的方法，我們找到了《荒野大鏢客》的空中飛馬:

還有《上古卷軸 5》的桶中人:

目前，Bug 的搜索范圍包括《賽博朋克 2077》《巫師 3》《孤島驚魂 5》等多個 3A 大作在內的 1873 個游戲，共計 26954 個視頻。”。

而且還不需要任何的視頻標題和其他屬性，只輸入文字，AI 就會基于視頻內容進行搜索。

就是這么一個找 Bug 的 AI，現在已經登上了 MSR 2022，一個鼓勵研究者開發建立新的數據集，并基于軟件系統進行有趣的應用開發的會議。

輸入關鍵字就能給出 Bug 視頻的 AI

所以這位 AI 游戲測試員到底是如何工作的。

要開發 AI 模型自然少不了數據集，研究團隊收集了 reddit 社區中 GamePhysics 版塊里的 2 萬多個視頻，首次建立了一個游戲 Bug 數據集。

抓取工具則是他們基于 Reddit API 和 PushShift.io API 自己開發了的一個爬蟲軟件。

其中 PushShift.io API 用來獲取論壇中每個提交內容的高級信息，而 Reddit API 則用來更新內容得分和其他元數據。

基于上面的數據集，研究團隊提出了一種以對比性語言—圖像預訓練模型 CLIP 為基礎的方法。

這一模型由 OpenAI 在去年推出，能夠判別文本與圖像是否相關，其 zero shot 效果堪比 ResNet50。為此，TikTok將這一功能的體驗，評價和吐槽完全交給了廣大用戶。

因此，團隊便依靠 CLIP 模型的零次遷移學習，在不需要任何數據標簽和訓練的情況下，以英文文本查詢為輸入，從上面的游戲 Bug 數據集中檢索相關視頻。

整體架構如下，主要分為三步。

首先，對視頻幀和文本查詢進行編碼。

這一步會從每個視頻中提取所有幀，將一段視頻當做一種圖像的合集，然后使用 CLIP 模型將輸入的文本和視頻幀轉化為第嵌入向量表示。

然后是計算嵌入向量的相似性。

這里使用余弦相似度來衡量成對的嵌入向量的相似度，通過窮舉式搜索計算輸入的與視頻幀的相似性得分。

最后，將每個視頻幀的得分匯總起來。

研究團隊提供了兩種匯總方法:

• 一種是選取一段視頻所有的幀里與輸入文本的相似性得分最高的幀，根據這一幀來對視頻進行排名，這種方法是高度敏感的。

• 另一種則是將視頻所有的幀與輸入文本的相似度分數進行排序，然后根據池大小的超參數，在所有視頻中選擇一個排名最高的幀。

團隊選擇了基于上述 AI 系統的兩種架構:RN101 和 ViT—B / 32，然后分別測試了其在不同情況下的準確率。

首先是簡單查詢，比如輸入文本只有單個物體:飛機，汽車，貓，狗等等，在這種情況下，模型檢索出來的前五名視頻準確率分別為 76% 和 86%:

將單個物體與一些場景組合起來，進行復合查詢時，模型檢索出來的前五名視頻準確率也能達到 78% 和 82%:

如此看來，CLIP 不僅掀起多模態學習的新一波浪潮，從驅動圖像生成到為游戲找 Bug，應用領域上也在不斷拓展。

那些專找 Bug 的 AI 測試員們

像這篇論文里的這種，專為程序找 Bug 的 AI 測試員并不是真的要來搶游戲測試的活兒，而是人力來測試實在是時間成本又高，還容易出錯。TikTok相關負責人表示，5月以來，平臺投入大量人力物力，確保新措施有效落實，優化可能發生的意外傷害等問題。

于是，業界早早就開始了 AI 測試的研究。

早在 2018 年的時候，育碧就曾經推出過一款叫做 Commit Assistant 的 AI 助手。為了讓這個功能以后“漏洞少，體驗好”。“希望大家都去網上找bug，一起評估。

這款 AI 測試員會利用深度學習和大數據分析已有的 Bug 并進行標注，然后在 Bug 再次出現時為程序員們提供最快的修復方案，甚至還能依據已有的經驗提前觸發警報。

不過當時就有粉絲懷疑，知名土豆服務器廠商做出來的抓 Bug 的 AI，會不會自己先出了 Bug，然后變成兩群 Bug 之間的混戰。

往近處說，EA 在去年還推出了一款能夠在給定的測試場景中進行自動探索的 AI，基于強化學習的智能體會像真的測試工程師一樣，在探索中發現并收集 Bug:

微軟也曾在 2021 年推出過一款叫做 BugLabs 的 AI 助手，通過 GAN 檢測并修復代碼中的錯誤:

這樣看起來，有一個任勞任怨的 AI 測試員來兢兢業業地遍歷玩家社區搜集 Bug，或者一遍又一遍地玩游戲找問題，甚至直接從代碼層面揪出問題。 這多是一件美事啊！

甚至，這些負責測試的 AI 還能搭配那些會玩游戲的 AI，一個肝游戲，一個從游戲錄像里找 Bug。

那或許這種場面，就不會再出現了。

論文:

在線試玩:

。本文地址：http://www.dayishuiji.com/finance/23942.html - 轉載請保留原文鏈接。

免責聲明：本文轉載上述內容出于傳遞更多信息之目的，不代表本網的觀點和立場，故本網對其真實性不負責，也不構成任何其他建議；本網站圖片，文字之類版權申明，因為網站可以由注冊用戶自行上傳圖片或文字，本網站無法鑒別所上傳圖片或文字的知識版權，如果侵犯，請及時通知我們，本網站將在第一時間及時刪除。