大家搶買這款

學習英文與了解天下事，為什麼要讀時代雜誌呢？

閱讀世界新鮮事的人所擁有的國際觀是非常驚人的

當你開始閱讀time時代雜誌增加英文閱讀能力，同時也可以提昇世界觀

因此無論出社會還是在學時，推薦學英文的其中一種方法就是大量閱讀time時代雜誌

藉此提高外文的閱讀理解能力，提高英文文章與新聞的理解力，time時代雜誌是一個非常好的讀物!

因為這本雜誌所囊括世界各地最新的奇人異事，可以讓眼界變得更寬廣

而且許多最新片語詞彙，不見得你在字典可以找到，很多都是新創名詞

讓你的頭腦可以跟著世界的巨輪一起前進

只要閱讀1-2個月，你會發現你看原文的速度至少快上2-3倍。

除了TIME雜誌外，經濟學人，科學人，國家地理中文都很推薦

下面的介紹，可以讓你快速了解雜誌的特色

↓↓↓TIME雜誌限量特惠的優惠按鈕↓↓↓

PTT鄉民限量,團購,限時,週年慶,Google 開源可大規模擴展的深度強化學習新架構 SEED RL禮物,優惠,特價,開箱,比價Google 開源可大規模擴展的深度強化學習新架構 SEED RL,活動,好評,推薦

Google 開源可大規模擴展的深度強化學習新架構 SEED RL01網友哪裡便宜,採購,優缺點,試用,Google 開源可大規模擴展的深度強化學習新架構 SEED RL好用,Google 開源可大規模擴展的深度強化學習新架構 SEED RLCP值,經驗,好康,集購,下殺,免比價,去哪買？,

名人推薦介紹,Google 開源可大規模擴展的深度強化學習新架構 SEED RL部落客,排行,體驗,精選,限定,折扣,Google 開源可大規模擴展的深度強化學習新架構 SEED RL折價卷,ptt,蝦皮拍賣,Dcard推薦評比開箱

選購指南!Google 開源可大規模擴展的深度強化學習新架構 SEED RL這新知
如何選購Google 開源可大規模擴展的深度強化學習新架構 SEED RL這新知
新手選購有技巧！部落客大推Google 開源可大規模擴展的深度強化學習新架構 SEED RL這新知
Google 開源可大規模擴展的深度強化學習新架構 SEED RL好用
這個這新知Google 開源可大規模擴展的深度強化學習新架構 SEED RL你不能錯過
熱門的Google 開源可大規模擴展的深度強化學習新架構 SEED RL好用？如何選購

↓↓↓下方有其他推薦產品與服務讓你選喔↓↓↓

熱點新知搶先報

... 圖源：Google AI 官博 作者 | Jesus Rodriguez 譯者 | 彎月，責編 | 夕顏 出品 | CSDN（ID：CSDNnews） 如今，深度強化學習（Deep reinforcement learning，DRL）是深度學習領域發展最快的一個方向。AI領域近年來的一些重大里程碑都源自DRL，例如AlphaGo、Dota2 Five或Alpha Star，DRL似乎是最接近人類智能的學科。然而，雖然我們取得了如此大的進展，但DRL方法在現實世界中的實現仍局限於大型人工智慧實驗室。部分原因是DRL體系結構依賴巨量的訓練，對大多數組織而言，這筆費用超出了可承受的範圍且不切實際。 最近，Google Research發表的一篇論文中提出了SEED RL，這是一種可大規模擴展的DRL模型新架構。 在現實世界中實現DRL模型的難度與它們的架構有著直接的關係。本質上，DRL包含各種任務，例如運行環境、模型推斷、模型訓練或重放緩衝等等。大多數現代DRL架構都無法有效地分配這類任務的計算資源，從而導致實現成本不合理。在AI硬體加速器等組件的幫助下，我們已經克服了其中的一些限制，但仍然很有限。近年來出現的新架構已被市場上許多成功的DRL實現所採用。 ... IMPALA帶來的啟示 在當前的DRL架構中，IMPALA為該領域樹立了新標準。IMPALA最初是由DeepMind在2018年的一篇研究論文中提出的，它引入了一種模型，利用專門的數值計算加速器，充分發揮了監督學習早已享有多年的速度和效率。IMPALA的核心是角色模型（Actor model），常常用於最大化並發和並行。 基於IMPALA的DRL代理架構主要包含兩大組件：Actor和Learner。在這個模型中，通常Actor都在CPU上運行，並在環境中採取的步驟與對該模型的推斷之間進行疊代，以預測下一個動作。Actor會不斷更新推理模型的參數，並在收集到足夠數量的觀測後，將觀測和動作的軌跡發送給Learner，以完成對Learner的優化。在這種架構中，Learner使用來自數百臺機器的分布式推理輸入在GPU上訓練模型。從計算的角度來看，IMPALA架構可使用GPU加速Learner的學習，而Actor可在許多機器上擴展。 ... 圖源：Google AI 官博 IMPALA在DRL架構中建立了新的標準。但是，該模型具有一些固有的局限性。 使用CPU進行神經網絡推斷：Actor機器通常基於CPU。當模型的計算需求增加時，推理所花費的時間會超過環境步驟的計算。解決方案是增加Actor的數量，而這會增加成本並影響融合。 資源利用效率低下：Actor在兩個任務之間交替進行：環境步驟和推斷步驟。通常這兩個任務的計算要求並不一樣，因此會導致資源利用率低下或Actor遲緩。 帶寬要求：模型參數、循環狀態和觀測在Actor和Learner之間傳遞。此外，基於內存的模型需要發送很大的狀態數據，因此增加了帶寬需求。 Google 受 IMPALA actor模型的啟發，開發了一種新架構，用以解決之前的架構在DRL模型縮放方面的一些局限性。 ... SEED RL 總體而言，Google 的 SEED RL 架構看起來與IMPALA極為相似，但也引入了一些變化，解決了DeepMind模型的一些主要限制。在SEED RL中，神經網絡推理由Learner在專用硬體（GPU或TPU）上集中完成，通過確保將模型參數和狀態保持在本地來加快推理速度，並避免數據傳輸瓶頸。每個環境步驟和推斷步驟都會發送到Learner，並在推理完成後將動作發送回Actor。這個聰明的解決方案解決了IMPALA等模型的推理局限性，但可能會帶來延遲的問題。 為了最大程度地減少延遲影響，SEED RL依靠gPRC進行消息傳遞和流傳輸。具體來說，SEED RL利用流式RPC，建立從Actor到Learner的連接，而且元數據僅發送一次。此外，該框架還包括一個批處理模塊，能夠有效地將多個Actor的推理調用放到批處理中。 ... 圖源：Google AI 官博 深入研究IMPALA架構，我們就會發現其中包含三種基本類型的線程： 推理 數據預取 訓練 推理線程會收到一批觀測、獎勵和episode終止標誌。它們負責加載循環狀態，並將數據發送到推理TPU內核。接收採樣的動作和新的重複狀態，並在存儲最新的重複狀態的同時，將動作發送回Actor。軌跡完全展開後，會被添加到FIFO隊列或重播緩衝區中，然後由數據預取線程進行採樣。最後，將軌跡推入設備緩衝區，以供每個參加培訓的TPU內核使用。訓練線程（Python主線程）採用預取的軌跡，使用訓練的TPU核心計算梯度，並將梯度同步應用於所有TPU核心的模型（推理和訓練）。我們可以通過調整推理和訓練核心的比率，實現最大的吞吐量和利用率。 ... 圖源：Google AI 官博 在SEED RL架構中，Actor可以擴展到成千上萬個內核，而Learner的數量也可以擴展到成千上萬臺機器，因此可以實現每秒數百萬幀的訓練速度。SEED RL基於TensorFlow 2 API，而且性能也經過了TPU加速。 為了評估SEED RL，Google使用了常見的DRL基準測試環境，例如cade學習環境、DeepMind Lab環境以及最近發布的Google Research Football環境。所有環境下的結果都很驚人。例如，在DeepMind Lab環境中，SEED RL使用64個Cloud TPU內核實現了每秒240萬幀的數據傳輸，比以前的最新分布式代理IMPALA提升了80倍。此外，我們也看到了速度和CPU利用率的提高。 ... 圖源：Google AI 官博 SEED RL代表了可大規模擴展的DRL模型的進步。Google Research在GitHub上開源了最初的SEED RL體系架構。不難想像，在不久的將來，這將成為許多DRL實現的基礎模型。 原文連結： https://towardsdatascience.com/google-open-sources-a-new-architecture-for-massively-scalable-deep-reinforcement-learning-3af21adfcfb1 本文為CSDN翻譯文章，轉載請註明出處。 ... 作為「百萬人學AI」的重要組成部分，2020 AIProCon 開發者萬人大會將於6月26日通過線上直播形式，讓開發者們一站式學習了解當下 AI 的前沿技術研究、核心技術與應用以及企業案例的實踐經驗，同時還可以在線參加精彩多樣的開發者沙龍與編程項目。參與前瞻系列活動、在線直播互動，不僅可以與上萬名開發者們一起交流，還有機會贏取直播專屬好禮，與技術大咖連麥。 評論區留言入選，可獲得價值299元的「2020 AI開發者萬人大會」在線直播門票一張。 快來動動手指，寫下你想說的話吧！ ☞華為集齊 AI 龍珠，「召喚神龍」為期不遠 ☞中國無人機「老炮兒」回憶錄 ☞京東商城背後的AI技術能力揭秘 - 基於關鍵詞自動生成摘要 ☞網際網路之父確診新冠，一代傳奇：任谷歌副總裁、NASA 訪問科學家 ☞從未如此簡單：10分鐘帶你逆襲Kafka！ ☞無代碼時代來臨，程式設計師如何保住飯碗？

文章來源取自於：

每日頭條 https://kknews.cc/tech/oqzqp3o.html

如有侵權，請來信告知，我們會立刻下架。

DMCA：dmca(at)kubonews.com

聯絡我們：contact(at)kubonews.com

國家地理雜誌台南哪裡訂2020年家庭育兒雜誌高雄哪裡訂2020國際書展新竹哪裡訂2020年休閒時尚雜誌新客戶訂購價
商管財經雜誌彰化哪裡訂 留學去英國還是美國，大學的基本特點要考慮社會人文雜誌新竹哪裡訂 劉濤老闆當上癮，穿絲絨西裝單手插兜凹造型，強大氣場不輸女總裁2020年Fortune桃園哪裡訂 37歲張韶涵肌膚「逆生長」，好皮膚不怕比，李佳琦：一晚小賺千萬2020年雜誌收書時間新客戶訂購價 從日系小清新到港風大美人，她用簡單幾步美出了天際