ニューラルネットワーク:あなたはそれをとても単純に持っています

ニューラルネットワークは現在、ハッカーの数、学生、研究者、そして企業の数が増えています。最後の復活は、World Wide WebやNo Leural Network Toolsがほとんどまたはまったくなかった場合、80年代、90秒にありました。現在の復活は2006年頃に始まりました。ハッカーの観点から、他のリソースと他のリソースと同様に提供されたのは、今すぐ申し出されていますか。私自身のために、ラズベリーPIのGPUはいいでしょう。

80年代と90年代

ニューラルネットワーク80S / 90年代の本だけでなく、MAGS
ヤングズのために、米国が世界的な幅広いウェブの前に何もすることができたのだろうか、ハードコピー雑誌は私たちが新しいことを意識させるのに巨大な部分を演じました。それほどそれは科学系誌の1992年9月の特別な問題であり、神経学的ネットワークに紹介された脳、生物学的および人工的な種類の両方を紹介しました。

それからあなたは自分のニューラルネットワークをスクラッチから書くか、または他の誰かからのソースコードを順序付けることができます。私はその科学的アメリカの問題のアマチュア科学者列からフロッピーを秩序だった。あなたはあなたのためにすべての低レベル、複雑な数学をするニューラルネットワークライブラリを同様に購入するかもしれません。トロント大学からのXERIONと呼ばれる無料シミュレータも同様でした。

本屋の科学のセクションに目を向けておくことは、被験者の時折の本を上げました。伝統的なものは、Rumelhart、McClelland et al。鉱山の好ましいものは、神経計算であり、自己組織化マップ:ロボットアームを制御するニューラルネットワークに興味を持っていた場合に有用である。

あなたが参加するかもしれない会議と同様に短いコースと同様に短いコースがありました。 1994年に参加したセミナーは、その後、Geoffrey Hinton、Toronto大学、そして今でも現場のリーダーです。当時の最善の年次セミナーは、今日はまだ強くなっている神経情報処理システム会議でした。

そして最後に、私は公開された論文のためにライブラリを命じることを思い出します。私のセミナー論文のスタック、プログラム配布資料、コピー記事、およびその期間からの手書きノートは約3インチの厚さです。

それから物事は比較的静かになった。ニューラルネットワークはいくつかのアプリケーションで使用を発見したが、彼らは限られた研究界の外で、世界の視点と同様に彼らの誇大宣伝に住んでいなかった、彼らは問題を止めた。いくつかのブレークスルーとともに、そしてそれから最後に2006年頃には、再び世界中で展開されたので、物事は静かに残った。

現在が届きます

私たちはここでのツールに焦点を当てていますが、これは主に行われました。

3層以上の深さを超えるネットワークのための新しいテクニック、今や深いニューラルネットワークと呼ばれる

トレーニングをスピードアップするためのGPU(グラフィック処理単位)の使用

多数のサンプルを含むトレーニングデータの可用性

ニューラルネットワークフレームワーク

現在、さまざまなライセンスで無料のライセンスを無料で使用するためのダウンロードのために提供されているフレームワークと呼ばれる数多くのニューラルネットワークライブラリがあり、それらの多くはオープンソースフレームワークです。より人気のあるもののほとんどは、GPU上のニューラルネットワークを実行することができます。また、ほとんどの種類のネットワークをサポートするのに十分な柔軟性があります。

これがより人気のあるもののほとんどがあります。彼らはすべてFNNを除いてGPUサポートを受けています。

テンソルフロー

言語:Python、C ++は作品にあります

TensorflowはGoogleの最新のニューラルネットワークフレームワークです。 GPUだけでなく、複数のマシンにわたってネットワークを配布するように設計されています。それは低レベルのものと見なすことができ、しかし、どちらもKERASのような高レベルのものよりも大きな学習曲線を提供することができます。ただし、それらはTensorflowに統合されたバージョンのKerasの生産に取り組んでいます。

私たちは、このハンマーですでにこのハンマーのハッキーでハックで、ビールボトルを認識するロボットとテンソルフローを使うことの紹介をしています。

Theano.

言語:Python.

これは多次元配列を含む効果的な数値計算を行うためのオープンソースライブラリです。それはモントリオール大学からのもので、Windows、Linux、そしてOS-X上で動作します。 Theanoは、2009年に0.1がリリースされました。

カフェ

言語:コマンドライン、Python、MATLAB

CaffeはBerkeley AIの研究、近隣の貢献者によって開発されています。モデルは、プレーンテキストデータで定義でき、コマンドラインツールを使用して処理できます。 MATLABインタフェースと同様にPythonも同様にあります。たとえば、プレーンテキストファイルにモデルを定義でき、ソルバーと呼ばれる2番目のプレーンテキストデータで訓練する方法についての詳細を説明しています。次にニューラルネットワークを訓練するFEコマンドラインツール。その後、Pythonプログラムを使用してこの訓練を受けたネットをロードすることと、それを使用して、画像の分類を行うことができます。

CNTK

言語:Python、C ++、C#

これは、Microsoftのコグニティブツールキット(CNTK)とWindowsとLinux上で実行されます。彼らは現在、Kerasで使用されるバージョンに取り組んでいます。

カラス

言語:Python.

Pythonで書かれたKerasは、その下にTensorflowまたはTheanoを使用しており、それらのフレームワークを使いやすくします。同様にCNTKをサポートする計画も同様にあります。 KerasをTensorFlowに統合するための作業が進行中です。その結果、別々のテンソルフロー専用バージョンのKerasが得られます。

TF Learn.

言語:Python.

Kerasのように、これはTensorflowの上にある高水準図書館です。

ファン

言語:15の言語を超える言語、GPUのサポートはありません

これはCに記載されている高レベルのオープンソースライブラリです。しかし、それは長年にわたって人気があり、そしてLinuxディストリビューションにさえ含まれています。最近ここでHackadayでは、補強学習を使用して歩くことを学んだロボットで、ニューラルネットワークを利用する機械学習技術です。

松明

言語:ルアー

C. C.に書かれたオープンソースライブラリは、トーチが埋め込まれています。

ピトーチ

言語:Python.

Pytorchは比較的新しく、彼らのウェブサイトはそれが初期リリースベータ版であると言います、しかしそれにはたくさんの関心事があるようです。それはLinuxおよびOS-X上で実行され、その下のトーチを使用します。

私が逃した他の人は疑問がありません。あなたがここにいないことを特に望んでいるならば、コメントで私たちに知らせてください。

どちらを使うべきですか?プログラミング言語またはOSが問題でない限り、あなたのスキルレベルは念頭に置いています。数学に不快な場合、またはニューラルネットワークのニュランスに深く掘り下げたくない場合は、高レベルのものを選びました。その場合は、Tensorflowから離れて、Kera、Tfrearn、または他の高レベルのものよりもAPIについて詳しく知らなければなりません。数学機能を強調するフレームワークは通常、ネットワークを作成するためにもっと多くの作業を行う必要があります。もう1つの要因は、根本的な研究をしているかどうかです。高レベルのフレームワークでは、おそらく複数の層にまたがっている接続、およびすべての方向に流れるデータと同様に、クレイジーネットワークを作成するのに十分な内側にアクセスできるようにすることはできません。

オンラインサービス

あなたはあなたのハックに提供するニューラルネットワークが何かを追加したいと思っていますか?そのためにあなたのハックをインターネットに接続することによって提供されるサービスがある。

私たちは、音声認識のためのAmazonのAlexaを利用する無数の例を見ました。グーグルは、ビジョンとスピーチを含むクラウドマシン学習サービスを持っています。そのビジョンサービスは、キャンディー選別のためのRaspberry Piを使用してここに示されています。 Wekinatorは、芸術家、そして私たちがニューラルネットワークを訓練するために芸術家や音楽家を訓練して、家の周りの様々なジェスチャーに対応し、仮想世界の最も激しいバイオリンを作るために様々なジェスチャーに対応することを目的としています。除外されないように、マイクロソフトと同様にその認知サービスAPIは、ビジョン、スピーチ、言語、その他のものも含めています。

TPUSと同様にGPU

ニューラルネットワークを通して繰り返します
ニューラルネットワークを訓練するには、ニューラルネットワークを通じて、ネットワークの正確さを改善するたびに、ニューラルネットワークを繰り返し、次に後方に繰り返します。ポイントまで、あなたができるより多くの反復は、あなたが止まるときの最終的な正確さがはるかに良いでしょう。反復回数は数百台または数千でもあります。 1980年代と1990年代のコンピュータで、十分な反復を達成すると、許容できない時間がかかる場合があります。記事によると、ニューラルネットワークにおける深い学習:2004年に、2004年には、完全に接続されたニューラルネットワークのためのGPUを用いて速度の20倍の増加が達成された。 2006年には、畳み込みニューラルネットワークのために4倍の増加が達成されました。 2010年までに、CPU対GPUのトレーニングを比較すると50倍の速度が速くなりました。その結果、精度ははるかに高かった。

NVIDIAタイタンXPグラフィックカード。画像クレジット:NVIDIA.
GPUはどのように役立ちますか?ニューラルネットワークを訓練する巨大な部分は、Matrix乗算を含み、それはCPUよりもGPU上ではるかに速く行われるものです。 GraphicsカードとGPUを作成するためのリーダーであるNVIDIAは、GPUを利用するためにニューラルネットワークソフトウェアによって使用されるCUDAと呼ばれるAPIを作成しました。私たちはこれを指摘しているので、CUDAという用語がたくさん見えます。深い学習の普及に伴い、NVIDIAは、CUDNN(深部ニューラルネットワーク用のCUDA)を含むAPIを追加しました。

NVIDIAは同様に独自のシングルボードコンピュータ、エセトンTX2を持っています。しかし、私たちの[Brian Benchoff]が指摘したので、価格地点は典型的なハッカーのために少し高いです。

グーグルは、そのテンソル処理装置の種類(TPU)のタイプの独自のハードウェア加速度に取り組んでいます。上記のGoogleのフレームワークの名前とTensorflowの名前と類似したことに気付いたかもしれません。 Tensorflowはテンソルを重く使用します(シングルとソフトウェアの多次元アレイを考えてください)。 TPU上のGoogleの論文によると、それはニューラルネットワークの推論段階のために設計されています。推論とは、ニューラルネットワークを訓練しないが、訓練された後にニューラルネットワークを使用することを指す。まだ任意の種類のフレームワークで使用されているのを見ていませんが、それは留意し続けるものです。

他の人のハードウェアを使う

あなたは訓練するのに長い時間がかかるが、サポートされているGPUを持っていない、またはあなたのリソースを結び付けたくないのはニューラルネットワークを持っていますか?その状況では、インターネット上でアクセス可能な他のマシンで使用できるハードウェアがあります。そのようなものは、個人のために、毎月の支払いなしに1時間あたりのペニーのみを犠牲にするフロイダブです。もう1つはAmazon EC2です。

データセット

ラベル付きデータを用いたニューラルネットワークを訓練する
ニューラルネットワークにおけるブレークスルーの1つは、数万の数万のサンプルを含むトレーニングデータの利用可能性であると述べた。監視されたトレーニングアルゴリズムを使用してニューラルネットワークを訓練することは、その入力でネットワークにデータを与えることを含みます。その状況では、データは同様にラベル付けされなければなりません。あなたがネットワークの入力に馬のイメージを与えるならば、そしてその出力はそれがチーターのように見えると言うならば、それはエラーが大きいだけでなく、より多くのトレーニングが必要であることを知る必要があります。予想される出力はラベルと呼ばれ、データは「ラベル付きデータ」です。

そのようなデータセットの多くはトレーニング目的でオンラインで提供されています。 MNSTは手書きの文字認識のためのものです。 ImagenetとCifarは、ラベル付き画像の2つの異なるデータセットです。このウィキペディアのページには、もっと多くのものがリストされています。上記のフレームワークの多くは、必要なデータセットを含むチュートリアルを持っています。

それはあなたが絶対に大きなデータセットを絶対に必要としていると言うことではありません。 FNNフレームワークを使用した歩行ロボットは、サーボモータの位置をトレーニングデータとして使用しました。

その他のリソース

80年スと90年代とは異なり、あなたはまだニューラルネットワークに関するハードコピー本を買うことができますが、オンラインで数多くのものがあります。私が楽しんだ2つのオンライン本は、Mit Pressとニューラルネットワークと深い学習による深い学習です。上記のフレームワークはすべて始めるのに役立つチュートリアルを持っています。そして、あなたが検索するどんなタイプのトピックに関するYouTubeのビデオだけでなく、無数の他のWebサイトもあります。私は録音された講義のYouTubeのビデオ、そしてセミナーの話は非常に便利です。

未来

GPUのラズベリーPI 7
疑わしい未来は、より多くのフレームワークが沿って来るのを見るでしょう。

私たちは長い間専門のニューラルチップと市場でのボードを見ましたが、90年代に戻っても、巨大な市場を発見したことがありません。ただし、これらの実際の成長区域、全員が取り組んでいるニューラルネットワークソフトウェアを提供するための特別に設計されていません。 GPUはその市場に役立ちます。画像のための数百万の接続を持つニューラルネットワークとして、そして音声処理、言語、そしてそのままより小さな消費者デバイスの邪魔にならないように、そのソフトウェアに合わせて調整されたより多くのGPUまたはプロセッサが必要とされることは、それをうまく何かをもたらすでしょう。ラズベリーPIまたはArduinoボード上の新しい要素になることができます。代わりに処理がオンラインサービスのままである可​​能性がありますが。編集:ラズベリーPIにGPUがあることがわかります。以下のコメントを参照してください。それは上記のすべてのフレームワークがそれを利用することを意味するのではありません。たとえば、TensorflowはNVIDIA CUDAカードのみをサポートしています。ただし、独自のカスタムニューラルネットワークコードにGPUを使用することはできます。そのコメントにはさまざまなリンクがあります。

TPUのようなASICからのGPUの競争がすでに競争があり、可能な限り、ニューラルネットワークからGPUを全く発売する可能性があります。

私たちの新しいコンピュータは

Leave a Reply

Your email address will not be published. Required fields are marked *

Related Post

Maker Faire 2009Maker Faire 2009

メーカーフェアは今週末にサンフランシスコベイエリアに戻ります。 それは「世界最大のDIYフェスティバル」です。 私たちは2006年を検討しています、そしてあなたは私たちが過去にカバーしたプロジェクトの多くを捕まえることを確実にしています。 Mightyohm、Macetech、Sparkfun、Liquidware、Jeri Ellsworth、Bleep Labs、Noistbridge、Ani Niow、EMSL、およびAdaFruitなど、私たちのお気に入りのハッカーに停止してください。 あなたが参加しているなら、あなたの写真を1日のFlickrプールにハックに公開し、あなたが見るものを知らせましょう。 [写真:スコットビール/笑うイカ]

新しいiOS 9およびOS X 10.11機能包括的な新しいiOS 9およびOS X 10.11機能包括的な

iOS 9は、WWDC 2015が近づいているため、かなり長い間スポットライトを浴びています。 iOS 9に関して多くの噂がウェブ上に浮かんでいるため、このアップデートは、以前のiOSアップデートとは異なり、このアップデートがほとんど興味深いものであることを確立しているようです。これで、新しい機能が示唆されています。これは、OS X 10.11の一部を含め、今年WWDCで見ることができると予想されます。 9TO5MACのマーク・ガーマンは今週、IOS 9のリークで私たちを扱ってきました。今日、彼は6月にWWDCでAppleが明らかにすることが期待できるいくつかの新機能を指摘しています。これらの機能とは別に、Appleは主にiOSに安定性の強化を追加するだけでなく、モバイルOSに残るすべての既存のバグをクリーンアップすることに焦点を当てていることをすでに理解しています。 iCloudドライブの改善 ハッカーがiCloudからスターの個人的な写真を入手できたその悪名高いイベントの後、Appleは明らかに多くのIMAPサーバーよりもはるかに優れた安全性とセキュリティを提供する新しいプロセスを導入するために取り組んでいます。例外的なiCloudドライブだけでなく、はるかに優れています。新しい拡張機能は、「従来のIMAPサーバーよりもはるかに優れたエンドツーエンドの暗号化と迅速な同期を提供します。」 信頼できるWi-Fi 現在、より多くのWi-Fiネットワークが私たちの周りで発見されていると同時に、Appleが安全性とセキュリティであり、プライバシーを意識しているため、ビジネスはすぐに新しい「信頼できるWi-Fi」機能に取り組んでいます。 iOSガジェットがリンクされているすべての信頼されていないワイヤレスネットワークでより高いレベルの暗号化を実行します。 古いハードウェアのパフォーマンスが向上します Appleは同様に、再構築された「ソフトウェアエンジニアリングプロセスをより古いハードウェアをよりよくサポートするためのソフトウェアエンジニアリングプロセス」に取り組んでおり、iOS 9がiPhone 4、5、第一世代のiPad Smallなどのガジェットでは緩慢ではないことを確認しています。 OS Xのコントロールセンター10.11 同様に、OS X 10.11は、昨年iOS 8で導入された機能についてさらに「システム全体のインターフェイスの調整」をさらに構築することになります。もう1つの注目すべき変更、またはむしろ包含 – は、OS X Yosemiteの以前のベータリリースでからかわれた新しい管理センターかもしれませんが、理由は不明な理由で最終リリースから引き戻されました。 サイズが少ないアプリ

電動機器は、到達範囲の電球電動機器は、到達範囲の電球

高天井を交換するのに役立ちます。高天井は、居住者をオープンで風通しさせることができますが、それらはしばしば届く困難な光継手が付いています。それに対処するために、[Mattwach]は、仕事をはるかに簡単にする電動電球チェンジャーを作りました。 電球のチェンジャーはすでに存在していますが、それらは通常、シャンデリアと他の光のための光フィッティングで軸上で使用される必要があります。代わりに、[Mattwach’s]デザインはデバイスを90度角度で使用することを可能にし、それを追加の使いやすさのためにそれを自動化します。 12Vギアモータは、調整を回す作業を行い、仕事を行うのに十分なトルク以上のものを持っています。フランジ付きカップリングを使用して、モータを電球チェンジャー自体に取り付ける。次にAttiny85マイクロコントローラを使用して、L293D Hブリッジドライバを使用してモーターを制御します。 PS2のサムスティックがユーザー入力のために接続され、すべての電子機器は理想的な角度で取り付けられた電球エンドエフェクタと共にブルームスティックに取り付けられています。 電球を交換することは、電球の上にエンドエフェクタを滑るのと同じくらい基本的なものであり、そして光を緩める方向にサムスティックをフリックする。その後、取り外し、次に新鮮な電球に置き換えられ、サムスティックを他の方向に押し込んでねじ込みます。 通常、このようなタスクは、背の高いはしごの上部に行われると、かなり大ざっぱな命題になります。代わりに、完全な15電球シャンデリアを交換するときに半分1時間以内に完成した、それは見下ろす歩道の安全性から完成した簡単な仕事になる。 ちなみに、あなたがあなたの電球を交換しているならば、あなたはあなたが買うことを許されない特別なロイヤルライトに興味があるかもしれません。休憩後のビデオ。