ニューラルネットワーク:あなたはそれをとても単純に持っています

ニューラルネットワークは現在、ハッカーの数、学生、研究者、そして企業の数が増えています。最後の復活は、World Wide WebやNo Leural Network Toolsがほとんどまたはまったくなかった場合、80年代、90秒にありました。現在の復活は2006年頃に始まりました。ハッカーの観点から、他のリソースと他のリソースと同様に提供されたのは、今すぐ申し出されていますか。私自身のために、ラズベリーPIのGPUはいいでしょう。

80年代と90年代

ニューラルネットワーク80S / 90年代の本だけでなく、MAGS
ヤングズのために、米国が世界的な幅広いウェブの前に何もすることができたのだろうか、ハードコピー雑誌は私たちが新しいことを意識させるのに巨大な部分を演じました。それほどそれは科学系誌の1992年9月の特別な問題であり、神経学的ネットワークに紹介された脳、生物学的および人工的な種類の両方を紹介しました。

それからあなたは自分のニューラルネットワークをスクラッチから書くか、または他の誰かからのソースコードを順序付けることができます。私はその科学的アメリカの問題のアマチュア科学者列からフロッピーを秩序だった。あなたはあなたのためにすべての低レベル、複雑な数学をするニューラルネットワークライブラリを同様に購入するかもしれません。トロント大学からのXERIONと呼ばれる無料シミュレータも同様でした。

本屋の科学のセクションに目を向けておくことは、被験者の時折の本を上げました。伝統的なものは、Rumelhart、McClelland et al。鉱山の好ましいものは、神経計算であり、自己組織化マップ:ロボットアームを制御するニューラルネットワークに興味を持っていた場合に有用である。

あなたが参加するかもしれない会議と同様に短いコースと同様に短いコースがありました。 1994年に参加したセミナーは、その後、Geoffrey Hinton、Toronto大学、そして今でも現場のリーダーです。当時の最善の年次セミナーは、今日はまだ強くなっている神経情報処理システム会議でした。

そして最後に、私は公開された論文のためにライブラリを命じることを思い出します。私のセミナー論文のスタック、プログラム配布資料、コピー記事、およびその期間からの手書きノートは約3インチの厚さです。

それから物事は比較的静かになった。ニューラルネットワークはいくつかのアプリケーションで使用を発見したが、彼らは限られた研究界の外で、世界の視点と同様に彼らの誇大宣伝に住んでいなかった、彼らは問題を止めた。いくつかのブレークスルーとともに、そしてそれから最後に2006年頃には、再び世界中で展開されたので、物事は静かに残った。

現在が届きます

私たちはここでのツールに焦点を当てていますが、これは主に行われました。

3層以上の深さを超えるネットワークのための新しいテクニック、今や深いニューラルネットワークと呼ばれる

トレーニングをスピードアップするためのGPU(グラフィック処理単位)の使用

多数のサンプルを含むトレーニングデータの可用性

ニューラルネットワークフレームワーク

現在、さまざまなライセンスで無料のライセンスを無料で使用するためのダウンロードのために提供されているフレームワークと呼ばれる数多くのニューラルネットワークライブラリがあり、それらの多くはオープンソースフレームワークです。より人気のあるもののほとんどは、GPU上のニューラルネットワークを実行することができます。また、ほとんどの種類のネットワークをサポートするのに十分な柔軟性があります。

これがより人気のあるもののほとんどがあります。彼らはすべてFNNを除いてGPUサポートを受けています。

テンソルフロー

言語:Python、C ++は作品にあります

TensorflowはGoogleの最新のニューラルネットワークフレームワークです。 GPUだけでなく、複数のマシンにわたってネットワークを配布するように設計されています。それは低レベルのものと見なすことができ、しかし、どちらもKERASのような高レベルのものよりも大きな学習曲線を提供することができます。ただし、それらはTensorflowに統合されたバージョンのKerasの生産に取り組んでいます。

私たちは、このハンマーですでにこのハンマーのハッキーでハックで、ビールボトルを認識するロボットとテンソルフローを使うことの紹介をしています。

Theano.

言語:Python.

これは多次元配列を含む効果的な数値計算を行うためのオープンソースライブラリです。それはモントリオール大学からのもので、Windows、Linux、そしてOS-X上で動作します。 Theanoは、2009年に0.1がリリースされました。

カフェ

言語:コマンドライン、Python、MATLAB

CaffeはBerkeley AIの研究、近隣の貢献者によって開発されています。モデルは、プレーンテキストデータで定義でき、コマンドラインツールを使用して処理できます。 MATLABインタフェースと同様にPythonも同様にあります。たとえば、プレーンテキストファイルにモデルを定義でき、ソルバーと呼ばれる2番目のプレーンテキストデータで訓練する方法についての詳細を説明しています。次にニューラルネットワークを訓練するFEコマンドラインツール。その後、Pythonプログラムを使用してこの訓練を受けたネットをロードすることと、それを使用して、画像の分類を行うことができます。

CNTK

言語:Python、C ++、C#

これは、Microsoftのコグニティブツールキット(CNTK)とWindowsとLinux上で実行されます。彼らは現在、Kerasで使用されるバージョンに取り組んでいます。

カラス

言語:Python.

Pythonで書かれたKerasは、その下にTensorflowまたはTheanoを使用しており、それらのフレームワークを使いやすくします。同様にCNTKをサポートする計画も同様にあります。 KerasをTensorFlowに統合するための作業が進行中です。その結果、別々のテンソルフロー専用バージョンのKerasが得られます。

TF Learn.

言語:Python.

Kerasのように、これはTensorflowの上にある高水準図書館です。

ファン

言語:15の言語を超える言語、GPUのサポートはありません

これはCに記載されている高レベルのオープンソースライブラリです。しかし、それは長年にわたって人気があり、そしてLinuxディストリビューションにさえ含まれています。最近ここでHackadayでは、補強学習を使用して歩くことを学んだロボットで、ニューラルネットワークを利用する機械学習技術です。

松明

言語:ルアー

C. C.に書かれたオープンソースライブラリは、トーチが埋め込まれています。

ピトーチ

言語:Python.

Pytorchは比較的新しく、彼らのウェブサイトはそれが初期リリースベータ版であると言います、しかしそれにはたくさんの関心事があるようです。それはLinuxおよびOS-X上で実行され、その下のトーチを使用します。

私が逃した他の人は疑問がありません。あなたがここにいないことを特に望んでいるならば、コメントで私たちに知らせてください。

どちらを使うべきですか?プログラミング言語またはOSが問題でない限り、あなたのスキルレベルは念頭に置いています。数学に不快な場合、またはニューラルネットワークのニュランスに深く掘り下げたくない場合は、高レベルのものを選びました。その場合は、Tensorflowから離れて、Kera、Tfrearn、または他の高レベルのものよりもAPIについて詳しく知らなければなりません。数学機能を強調するフレームワークは通常、ネットワークを作成するためにもっと多くの作業を行う必要があります。もう1つの要因は、根本的な研究をしているかどうかです。高レベルのフレームワークでは、おそらく複数の層にまたがっている接続、およびすべての方向に流れるデータと同様に、クレイジーネットワークを作成するのに十分な内側にアクセスできるようにすることはできません。

オンラインサービス

あなたはあなたのハックに提供するニューラルネットワークが何かを追加したいと思っていますか?そのためにあなたのハックをインターネットに接続することによって提供されるサービスがある。

私たちは、音声認識のためのAmazonのAlexaを利用する無数の例を見ました。グーグルは、ビジョンとスピーチを含むクラウドマシン学習サービスを持っています。そのビジョンサービスは、キャンディー選別のためのRaspberry Piを使用してここに示されています。 Wekinatorは、芸術家、そして私たちがニューラルネットワークを訓練するために芸術家や音楽家を訓練して、家の周りの様々なジェスチャーに対応し、仮想世界の最も激しいバイオリンを作るために様々なジェスチャーに対応することを目的としています。除外されないように、マイクロソフトと同様にその認知サービスAPIは、ビジョン、スピーチ、言語、その他のものも含めています。

TPUSと同様にGPU

ニューラルネットワークを通して繰り返します
ニューラルネットワークを訓練するには、ニューラルネットワークを通じて、ネットワークの正確さを改善するたびに、ニューラルネットワークを繰り返し、次に後方に繰り返します。ポイントまで、あなたができるより多くの反復は、あなたが止まるときの最終的な正確さがはるかに良いでしょう。反復回数は数百台または数千でもあります。 1980年代と1990年代のコンピュータで、十分な反復を達成すると、許容できない時間がかかる場合があります。記事によると、ニューラルネットワークにおける深い学習:2004年に、2004年には、完全に接続されたニューラルネットワークのためのGPUを用いて速度の20倍の増加が達成された。 2006年には、畳み込みニューラルネットワークのために4倍の増加が達成されました。 2010年までに、CPU対GPUのトレーニングを比較すると50倍の速度が速くなりました。その結果、精度ははるかに高かった。

NVIDIAタイタンXPグラフィックカード。画像クレジット:NVIDIA.
GPUはどのように役立ちますか?ニューラルネットワークを訓練する巨大な部分は、Matrix乗算を含み、それはCPUよりもGPU上ではるかに速く行われるものです。 GraphicsカードとGPUを作成するためのリーダーであるNVIDIAは、GPUを利用するためにニューラルネットワークソフトウェアによって使用されるCUDAと呼ばれるAPIを作成しました。私たちはこれを指摘しているので、CUDAという用語がたくさん見えます。深い学習の普及に伴い、NVIDIAは、CUDNN(深部ニューラルネットワーク用のCUDA)を含むAPIを追加しました。

NVIDIAは同様に独自のシングルボードコンピュータ、エセトンTX2を持っています。しかし、私たちの[Brian Benchoff]が指摘したので、価格地点は典型的なハッカーのために少し高いです。

グーグルは、そのテンソル処理装置の種類(TPU)のタイプの独自のハードウェア加速度に取り組んでいます。上記のGoogleのフレームワークの名前とTensorflowの名前と類似したことに気付いたかもしれません。 Tensorflowはテンソルを重く使用します(シングルとソフトウェアの多次元アレイを考えてください)。 TPU上のGoogleの論文によると、それはニューラルネットワークの推論段階のために設計されています。推論とは、ニューラルネットワークを訓練しないが、訓練された後にニューラルネットワークを使用することを指す。まだ任意の種類のフレームワークで使用されているのを見ていませんが、それは留意し続けるものです。

他の人のハードウェアを使う

あなたは訓練するのに長い時間がかかるが、サポートされているGPUを持っていない、またはあなたのリソースを結び付けたくないのはニューラルネットワークを持っていますか?その状況では、インターネット上でアクセス可能な他のマシンで使用できるハードウェアがあります。そのようなものは、個人のために、毎月の支払いなしに1時間あたりのペニーのみを犠牲にするフロイダブです。もう1つはAmazon EC2です。

データセット

ラベル付きデータを用いたニューラルネットワークを訓練する
ニューラルネットワークにおけるブレークスルーの1つは、数万の数万のサンプルを含むトレーニングデータの利用可能性であると述べた。監視されたトレーニングアルゴリズムを使用してニューラルネットワークを訓練することは、その入力でネットワークにデータを与えることを含みます。その状況では、データは同様にラベル付けされなければなりません。あなたがネットワークの入力に馬のイメージを与えるならば、そしてその出力はそれがチーターのように見えると言うならば、それはエラーが大きいだけでなく、より多くのトレーニングが必要であることを知る必要があります。予想される出力はラベルと呼ばれ、データは「ラベル付きデータ」です。

そのようなデータセットの多くはトレーニング目的でオンラインで提供されています。 MNSTは手書きの文字認識のためのものです。 ImagenetとCifarは、ラベル付き画像の2つの異なるデータセットです。このウィキペディアのページには、もっと多くのものがリストされています。上記のフレームワークの多くは、必要なデータセットを含むチュートリアルを持っています。

それはあなたが絶対に大きなデータセットを絶対に必要としていると言うことではありません。 FNNフレームワークを使用した歩行ロボットは、サーボモータの位置をトレーニングデータとして使用しました。

その他のリソース

80年スと90年代とは異なり、あなたはまだニューラルネットワークに関するハードコピー本を買うことができますが、オンラインで数多くのものがあります。私が楽しんだ2つのオンライン本は、Mit Pressとニューラルネットワークと深い学習による深い学習です。上記のフレームワークはすべて始めるのに役立つチュートリアルを持っています。そして、あなたが検索するどんなタイプのトピックに関するYouTubeのビデオだけでなく、無数の他のWebサイトもあります。私は録音された講義のYouTubeのビデオ、そしてセミナーの話は非常に便利です。

未来

GPUのラズベリーPI 7
疑わしい未来は、より多くのフレームワークが沿って来るのを見るでしょう。

私たちは長い間専門のニューラルチップと市場でのボードを見ましたが、90年代に戻っても、巨大な市場を発見したことがありません。ただし、これらの実際の成長区域、全員が取り組んでいるニューラルネットワークソフトウェアを提供するための特別に設計されていません。 GPUはその市場に役立ちます。画像のための数百万の接続を持つニューラルネットワークとして、そして音声処理、言語、そしてそのままより小さな消費者デバイスの邪魔にならないように、そのソフトウェアに合わせて調整されたより多くのGPUまたはプロセッサが必要とされることは、それをうまく何かをもたらすでしょう。ラズベリーPIまたはArduinoボード上の新しい要素になることができます。代わりに処理がオンラインサービスのままである可​​能性がありますが。編集:ラズベリーPIにGPUがあることがわかります。以下のコメントを参照してください。それは上記のすべてのフレームワークがそれを利用することを意味するのではありません。たとえば、TensorflowはNVIDIA CUDAカードのみをサポートしています。ただし、独自のカスタムニューラルネットワークコードにGPUを使用することはできます。そのコメントにはさまざまなリンクがあります。

TPUのようなASICからのGPUの競争がすでに競争があり、可能な限り、ニューラルネットワークからGPUを全く発売する可能性があります。

私たちの新しいコンピュータは

Leave a Reply

Your email address will not be published. Required fields are marked *

Related Post

How-To:すぐにダウンロードするだけでなく、テレビをiPodに変換するHow-To:すぐにダウンロードするだけでなく、テレビをiPodに変換する

最近ビデオのiPodコンバータをリリースしました。このツールを利用すると、ほとんどあらゆる種類のビデオiPodを準備することができます。彼らはあなた自身のDVDをトランスコーディングするだけでなく、リッピングのために便利なハウツーを持っています。私たちの目標は、BitTorrentを利用してテレビをダウンロードすることだけでなく、それをiPodフレンドリーなスタイルに変換することです。 あなたが要求する最初のことは、zureusを利用した実際的なブロードクチャリングシステムです。 1つを設定するためのHOW-to。 Broadcatching Systemは、設定したテレビ番組をすぐにダウンロードします。 azureusで設定する必要がある2つの重要なことがあります。 「ツール – >オプション」の後藤。 [デフォルトのデータディレクトリに保存]の横にあるボックスを調べます。ダウンロード中にデータを保持するディレクトリを選択します。 「完成したファイルの移動」の横にあるボックスを調べます。テレビ番組をダウンロードした後にテレビ番組を置くディレクトリを選択します。 「保存」をクリックしてください。紺碧の構成は完了です。 ビデオをすぐに変換するには、VideooraとビデオRa iPodコンバータの両方を設定することができます。私たちはビデオを活用していませんが、Xcastingの選択に電源を入れるためにインストールする必要があります。 VideoRa iPod Converterがインストールされた後に、準備が整いましたが、準備する前に設定するものはほんの数多くあります。 「設定」をクリックしてください。 iPod準備データを配置したいディレクトリを選択します。更新:H.264プロファイルはiPodでは機能しません。 SPまたはMPEG4を選択してください。 Xcastingの場合は、設定できるようにVideoRAをインストールした場所を選択する必要があります。 「自動キューイング」のボックスを調べても、完了したダウンロードが保存されているディレクトリを選択します。ディレクトリを調べるための時間間隔を選択してください。 「保存」をクリックしてください。 新しいデータが[完了]ディレクトリに表示されるたびに、ビデオRAはすぐにそれをその変換キューに追加します。データが効果的に変換されたとき、それらはあなたのiPodに転送される準備をしたあなたの他のフォルダに置かれます。コンバータは直ちにデータをデバイスにコピーすることができますが、Appleがまだ「処理順序」であると言っているため、この機能をテストできませんでした。頑張って!

PlayStation 3 Jailbreak Hacker Goes Goes Downurd、おそらく刑務所に入れられますPlayStation 3 Jailbreak Hacker Goes Goes Downurd、おそらく刑務所に入れられます

Sonyがファームウェアv3.21、Graf_Chokoloの下にインストールするオプションを削除した後、PS3に黄色の犬Linuxを持ち帰ることに積極的に取り組んだ多数の人々の1人、今では彼の訴訟のために法廷で戦うためにお金が不足しており、おそらく刑務所に入るでしょう。 ハッキング大失敗のために、ソニーにとって物事はうまくいっていません。多くの異なるソニーサービスとサイトがハッキングされ、消費者のアカウントデータが侵害されました。過去数か月でソニーが攻撃されたことの数が実際に失われました。 1月に一生​​それをPwしたPlayStation 3ハックの背後にある主な人物であるGeorge“ Geohot” Hotzは、後に訴えられました。その後、この事件は4月に法廷外に解決されました。 しかし、他のハッカーはそれほど幸運ではありませんでした。そのようなハッカーの1つは、Graf_Chokolo(本名:Alexander Egorenkov)という名前です。ソニーは、PS3をハッキングすることから結果に関するすべての情報を削除することを強制しました。そうでなければ、彼は刑務所に行かなければなりません。 まあ、彼はとにかく刑務所に入るかもしれないようです。 Grafは、裁判所費用を支払うために資金が不足しているためです。 彼は今日このコメントを彼のブログに投稿しました: こんにちはみんな、もうお金は残っていません。おそらく私は裁判所の費用を支払うことができないので、すぐに刑務所に入るでしょう。 しかし、私は私が言ったことすべてに立ち向かい、そのために刑務所に行く準備ができています。勝つことは不可欠ではありません。もっと重要なのは、私たちが戦う準備ができていること、彼らが私を簡単に怖がらせることができないことを彼らに示すことです。ええ、私は自分の信念と私の原則のために刑務所に行く準備ができています。 ほとんどの人は、おそらくすべてのコンピューターとカーネルのハッカーは弱い子供であり、セラーに隠れ、一日中ピザを食べ、ソフトウェアを書き、注意を求めていると考えていますが、それは私ではありません。そして、私は最終的に出て仕事を続けます。私の仕事は私にとって非常に意味があります。 彼は続けて、勝つことは不可欠ではないと言っています。重要なのは、ハッカーがソニーに、彼らが支払ったコンソールをハッキングするために最善を尽くす準備ができていることを示していることです。ブラボー、グラフ! AppleやSonyのような企業は、製品のハッキングに厳密に反対していますが、MicrosoftはWindows Phone 7製品を使用して別のアプローチを採用しています。ほんの数時間前、私たちは、以前は「脱獄」WP7デバイスに使用されていたツールであるChevronWP7に関するMicrosoftの発表について書きました。 とにかく、私たちはgraf_chokoloに幸運を祈ります。あなたが彼を助けたいなら、あなたはここに寄付することができます。 ありがとうTrane132! Twitterでフォローするか、Facebookのファンページに参​​加して、Microsoft、Google、Appleから最新のすべてを最新の状態に保つことができます。

CyanogenMod 10に新しいファイルマネージャーアプリCyanogenMod 10に新しいファイルマネージャーアプリ

を与える最新の夜間は、CyanogenModの公式Google+ページから直接届く素晴らしいニュースがあります。彼らがこれまでに欠けていたマネージャーアプリ。 CyanogenMod ROMを使用した人は、サードパーティファイルエクスプローラーアプリに依存する必要がありましたが、CMチームはこの機能を追加する必要があることに気付いたようです。 Androidファン私自身として、CM(および他のCMベースのカスタムROM)でGalaxyデバイスを何度もフラッシュしましたが、SDカードのファイルを探索できるアプリがないことを知り、常に失望していました。 CMチームは次のように述べています。「CyanogenMod 10の背後にある指針となる哲学は、その機能の実装においてシームレスであり、その使用が直感的であり、ユーザーの大規模なグループにとって機能的であるということです。」ファイルマネージャーアプリは、このプリンシパルを組み込む傾向があります。 このアプリは、単に「CMファイルマネージャー」と呼ばれます。 Android 3.0+デバイスにあるHolo UIフレームワークを活用し、純粋なルートアクセスを提供することに焦点を当てています。 CMファイルマネージャーを使用すると、セーフモード、プロンプトユーザーモード、ルートアクセスモードの3つのモードから選択できます。それらのいずれかをファイルマネージャー設定からデフォルトモードとして選択できます。 最新のナイトリービルドをフラッシュすることにより、CM 10にこの新しい追加が見つかります。ファイルマネージャーアプリはCM 10 ROMの外では利用できませんが、誰かが確実にアプリを抽出して公開するので、他のAndroidユーザーがすぐに利用できると考えています。 出典:CM Google+