日常機器人內部:Google如何嘗試創造人工智慧助理機器人

Unlocking the Potential of Data at Australia Data Forum
Post Reply
subornaakter9
Posts: 12
Joined: Wed Dec 04, 2024 4:20 am

日常機器人內部:Google如何嘗試創造人工智慧助理機器人

Post by subornaakter9 »

谷歌啟動了Everyday Robots項目,目標是創造一款基於人工智慧的通用機器人,能夠與人類一起生活和工作。團隊被鼓勵盡可能創造性地思考——它成功地教會了機器自主攀爬,甚至即興跳舞。該計畫的前副總裁漢斯·彼得·布隆德莫 (Hans Peter Brondmo) 向《連線》雜誌講述了「內部廚房」的情況。以下是該資料的重述。



X項目是什麼
Google X 專案稱為 Everyday Robots,於 2010 年啟動。它基於這樣的想法:谷歌可以解決世界上一些最困難的問題。

該團隊特意被安置在距離主校區幾英里 澳大利亞手機號碼列表 的獨立建築中,以發展自己的文化並盡可能跳出框框思考。我們投入了大量精力來鼓勵參與者承擔大風險、快速實驗,甚至接受失敗——這顯示團隊設定了極高的標準。

當 Brondmo 加入這個計畫時,Waymo、Google眼鏡和其他科幻想法已經在醞釀中(其中包括空中能源風車和為服務不足地區提供網路存取的平流器)。

X 計畫與矽谷新創公司的不同之處在於,它們鼓勵員工進行長遠思考。該項目必須滿足一個特殊的「公式」:

解決影響數億甚至數十億人的問題;
使用突破性技術,讓您以新的方式解決問題;
提出一個可能看起來很瘋狂的激進的業務或產品解決方案(從這個詞的良好意義上來說)。
為什麼創造人工智慧的身體如此困難
Project X 由 Astro Teller 領導,根據 Brondmo 的說法,很難想像還有誰比他更適合這個角色。 Astro只在廣告中出現在辦公室,他的馬尾辮、友善的微笑和不尋常的名字讓他看起來像HBO連續劇《矽谷》中的角色。

Image


Brondmo 說:「當 Astro 和我第一次討論如何處理谷歌收購的九家機器人公司時,我們決定必須採取一些措施。但什麼?當時,大多數有用的機器人都是大的、愚蠢的和危險的。它們被用在工廠和倉庫中,通常必須嚴格控製或關在籠子裡,以保護人們免受它們的侵害。



如何創造在日常條件下有用且安全的機器人?需要一種新的方法。這些機器本應解決人口老化,甚至勞動力減少和短缺的問題。早在 2016 年,團隊就意識到突破性技術將是人工智慧。一個徹底的解決方案:完全自主的機器人將在我們的日常生活中為我們提供幫助。

換句話說,團隊要為人工智慧創造一個實體身體。 Brondmo 堅信 X 中可以創造出如此規模的東西。這需要人工智慧和機器人技術的重大技術突破,並且很可能花費數十億美元。

團隊成員深信人工智慧和機器人技術的融合是不可避免的——我們只需要超越可能性的視野。在每個人看來,許多只存在於科幻小說中的事情即將成為現實。

X 團隊成員包括傑夫·賓厄姆 (Jeff Bingham),他擁有生物工程博士學位,並因對任何主題提供深刻見解而享有盛譽。賓漢姆稱機器人技術為「系統性問題」。他想強調的是:機器人是一個非常複雜的系統,它的好壞取決於它最薄弱的部分。

如果視覺子系統在陽光直射下很難感知物體,那麼在陽光明媚的日子裡,機器人可能會突然失明並停止工作。
如果導航子系統無法辨識樓梯,機器人可能會跌倒,傷害自身及其周圍環境。
這些只是幾個例子。創造一個能夠與我們一起生活和工作的機器人是很困難的。

幾十年來,人們一直試圖對不同類型的機器人進行編程,以執行簡單的任務,例如從桌子上拿起杯子或打開門。然而,這些程序總是因為最輕微的變化而崩潰。問題在於現實世界的不可預測性。而且它並不像在我們生活和工作的無組織且雜亂的空間中移動那麼困難。

如果您不將所有物體放置在某些位置並且不保持相同的照明,那麼即使是像拿起青蘋果並將其放入廚房桌子上的玻璃碗這樣簡單的任務也將變得不可能。這就是工廠機器人被放置在封閉環境中的原因。他們的周圍環境是可預測的,他們不用擔心會撞到人的頭。

如何教授機器人
拉里·佩奇 (Larry Page) 表示,只需要 17 名機器學習專家就能創造出與我們一起生活和工作的機器人。為什麼是這個特定的數字?

簡而言之,人工智慧在機器人領域的應用有兩種途徑。

混合方法-系統的不同部分在人工智慧的基礎上工作,然後使用傳統程式進行連接。

在這種方法中,視覺子系統使用人工智慧來識別和分類周圍的世界。當它創建可見物件列表時,機器人程式會接收該列表並使用程式碼中實現的演算法對其進行操作。

如果程式指示從桌子上拿一個蘋果,那麼考慮到人工智慧的視覺系統將檢測到該蘋果,並且程式將從清單中選擇一個「蘋果」類型的物件並使用它來獲取它傳統的控制機器人。



端到端學習(e2e)—整個任務的定向學習,例如“舉起物體”,甚至更複雜的任務,例如“清理桌子”。

機器人接受了大量的訓練資料——類似人們學習執行體力任務的方式。根據孩子的年齡,要求孩子舉起杯子可能需要他們了解杯子是什麼,裡面可能有液體,並反覆將杯子打翻,或至少灑出大量牛奶。但透過觀察別人、模仿他們和練習,她學會了這樣做,甚至不考慮所採取的步驟。

布隆德莫得出的結論是,佩奇的觀點是這樣的:在團隊證明機器人可以學習執行複雜任務之前,一切都不重要。只有這樣,才有真正的機會創造出能夠在令人困惑和不可預測的現實世界中執行這些任務的機器。這與 17 個具體數字無關,而是與大突破需要小團隊而不是工程師大軍有關。

「手工農場」的轉捩點
在南加州大學獲得機器人學博士學位的彼得·帕斯特(Peter Pastor) 在實驗室里花了很多時間擺弄他在那裡開發的14 個機械臂,這些機械臂後來被7 個Kuka 工業機器人臂取代。該團隊稱其為“手工農場”。

這些手晝夜不停地工作,不斷嘗試從籃子裡提起海綿、樂高積木、橡皮鴨和塑膠香蕉等物品。首先,機器人被編程為將捕獲的物體從頂部的隨機位置移動到籃子中,關閉並提起它,然後檢查裡面是否有任何東西。籃子上方有一個鏡頭,記錄裡面的東西、手的動作、成功或失敗。這種情況持續了幾個月。



在工作開始時,他們只處理了 7% 的情況。每一次成功,他們都會得到積極的強化(神經網路中所謂的“權重”,用於確定不同的結果,並進行調整以積極強化期望的行為並消極強化不良行為)。最終,這些手在超過 70% 的情況下學會了成功撿起物體。

據布隆德莫說,彼得曾經給他看了一段視頻,其中機器人手臂不僅伸手去拿黃色的樂高積木,而且還移開其他物體來抓住它。這是一個轉捩點。機器人沒有針對此運動進行程式設計。他學會了這樣做。

但事實仍然是:七個機器人花了七個月的時間才學會如何舉起橡皮鴨。很長一段時間。為了加快這一過程,團隊建立了一個雲端模擬器,並於 2021 年在其中創建了超過 2.4 億個機器人實例。

該模擬器類似於一個巨大的視頻遊戲,其現實世界的物理模型足夠逼真,可以模擬物體的重量和表面摩擦。數千個虛擬機器人執行任務,例如使用來自模擬攝影機和模仿真實機器的模擬身體的數據從桌子上拿起杯子。

這些機器人在收集數據來訓練人工智慧演算法時,同時嘗試和失敗了數百萬次。當他們在模擬中表現得足夠好時,演算法就會被轉移到實體機器人上,以在現實世界中執行新的動作。

機器人需要大量數據
教導機器人自主生活並與我們一起工作需要大量資訊。即使使用模擬和其他方法來創建訓練數據,機器人也不太可能在控制整個系統的底層模型上工作。

目前尚不清楚僅使用人工智慧的機器如何掌握複雜的任務。根據Brondmo 的說法,數千甚至數百萬個機器人需要在現實世界中接受訓練,以收集足夠的資料以端到端的方式訓練模型,這將使它們能夠執行的不僅僅是明確定義的任務。



為了創造有用的機器人,例如在餐廳清潔桌子或在飯店鋪床,人工智慧和傳統程式設計將在很長一段時間內需要。換句話說,不要指望機器人很快就會失控並做它們沒有被編程做的事情。

機器應該像人一樣嗎?
Brondmo 認為機器人不應該只是模仿我們。他在與 Everyday Robots 技術經理的一次會議上確信了這一點。與會者坐在談判桌上,就機器人該有腿還是輪子展開了激烈的爭論。一方提出了一個很好的論點:我們生活和工作的地方適合我們,我們有腿。所以,也許機器人也應該擁有它們。

半小時後,房間裡最高級的工程師 Vincent Dureau 說:“我想如果我能到達任何地方,機器人也能到達任何地方。”文森特坐在輪椅上。房間裡一片寂靜。討論結束了。

事實上,機器人腿在機械和電子方面都非常複雜。與輪子相比,它們移動得不太快,導致機器人不穩定且能源效率較低。根據 Brondmo 的說法,你不應該努力模仿 - 這項原則也可以用於其他設計。

Everyday Robots團隊力求盡可能簡化機器人的結構,因為它們越早執行實際任務,就能越快收集有價值的數據。

桌子清潔機器人
布隆德莫說:「我坐在辦公桌前,我們的一個長方形頭部和圓角的單臂機器人走過來,叫我的名字,並問他是否可以清理。我說是,然後退到一邊。

「幾分鐘之內,他就收集了幾個空紙杯、一個來自星巴克的透明冰茶杯和一個來自 Kind 酒吧的塑膠包裝紙。他把這些物品扔進了底座上的廢物托盤中,然後轉向我,點頭,然後走到了下一張桌子上。

機器人利用人工智慧來觀察人和物體,顯示團隊取得了重大進展。



軟體工程師、前木偶師本吉·霍爾森 (Benji Holson) 領導了這些清潔機器人的開發團隊,他是混合方法的支持者。他並不反對端到端學習,而是旨在讓機器現在做一些有用的事情。如果機器學習科學家解決機器學習任務的能力比其團隊編程的能力更好,他們只需添加更多演算法。

儘管布隆德莫已經習慣了這些清潔機,但訪客和新員工仍然對它們感到驚訝和高興。 “他們的樣子讓我想起它是多麼新,”他說。

跳舞的汽車
Everyday Robots 的顧問包括一位哲學家、一位人類學家、前工會領袖、歷史學家和經濟學家。團隊成員與他們討論了經濟、社會和哲學問題。例如:

如果機器人開始與我們生活在一起,會產生什麼經濟後果?
它們將對勞動市場產生哪些長期和短期影響?
在智慧機器時代,人類意味著什麼?
如何以讓我們感到舒適和安全的方式來創建這些機器?
2019年,Brondmo遇到了Katie Quan,她正在史丹佛大學攻讀機器人和人工智慧博士學位,是一名職業舞者。團隊需要一個能夠教導機器人一些創造性和不尋常的東西的人。

在許多影片中,機器人跳舞,或者更確切地說,機器人執行與音樂同步的預編程動作序列。為了讓機器即興發揮並相互交互,凱西和其他幾位工程師開發了一種人工智慧演算法,該演算法根據編舞者(當然是凱西本人)的偏好進行訓練。

通常在晚上,有時在週末,當機器人不忙於日常任務時,Cathy 和她的臨時團隊會將它們組裝在 X 辦公室中心的一個大中庭中,機器就會開始移動。但總是有趣的模式。



湯姆·恩伯森 (Tom Engbersen) 是一位來自荷蘭的機器人專家,他在業餘時間繪製經典傑作的複製品。他和凱西一起啟動了一個業餘項目,探索跳舞機器人是否可以對音樂做出反應,甚至演奏樂器。不知何故,他有了一個新想法:如果機器人本身變成工具呢?於是開始了一項研究,其中機器人的每個關節在移動時都會發出聲音。

底座發出低音聲,手臂發出鈴聲。當團隊啟動音樂模式時,機器人為每個動作創作了獨特的管弦樂樂譜。

這只是開始
2022 年底,關於混合式學習和端到端學習哪種方法更好的爭論仍在繼續。 Peter 和 Google Brain 團隊及合作者一直致力於將強化學習、模擬學習和 Transformer(LLM 底層架構)應用於多項機器人任務。他們成功地證明了機器可以透過學習變得通用、可靠和可持續。

同時,Benji 領導的應用團隊致力於使用人工智慧模型和傳統程式設計來製作原型並建立可以在現實環境中部署在人類之間的服務機器人。

同時,凱蒂的計畫「Starling 計畫」改變了布隆德莫對這些機器的態度。他觀察到人類帶著驚奇、喜悅和好奇心觀察機器人,並得出結論,機器人的動作和聲音可以喚起人類強烈的情感。這是一個重要因素,取決於我們在日常生活中如何接受它們(以及它是否會發生)。

換句話說,智慧機器人即將變得有用。人工智慧使機器能夠理解他們聽到的內容(口頭和書面語言)並將其轉化為行動,並識別他們看到的內容(相機圖像)並將其轉化為可以互動的場景和物體。

而且,正如彼得的團隊所展示的那樣,機器人學會了撿起物體。七年多後,我們已經在多個 Google 家庭中部署了機器人車隊。一種機器人可以執行各種任務:自動擦拭咖啡館的桌子、檢查會議室、分類垃圾等等。



2023 年 1 月,也就是 ChatGPT 發布兩個月後,谷歌因成本過高而關閉了 Everyday Robots。機器人和一小部分人類已經轉移到 Google DeepMind 進行研究。儘管成本高昂、工期長,但團隊中的每個人都感到震驚。

工作對一些國家來說是必要的
1970年,全世界每有10個64歲以上的老人就對應10個處於工作年齡的人。到 2050 年,數量可能會少於四個。這個問題在日本、中國和韓國等正在積極投資機器人技術的國家尤其重要。

為人工智慧創造物理軀體不僅事關國家安全,也是一個巨大的經濟機會。如果像谷歌這樣的科技公司決定不能投資這類項目,那麼誰會呢?矽谷或其他創業生態系統會接受它嗎?布隆德莫對此表示懷疑。

這位工程師認為,Everyday Robots 獲得了登月計劃(所謂的極其雄心勃勃和創新的項目)的地位,因為創建這種規模的最複雜的系統遠遠超出了風險投資資助的初創公司通常的耐心。他認為,儘管美國在人工智慧領域領先其他國家,但機器人的製造需要技能和基礎設施,而其他國家(主要是中國)已經處於領先地位。
Post Reply