ONNXRuntime

DirectML使ってみた

冬は寒いのでDNNの学習を回すのにぴったり!GPUの廃熱で暖房費節約だぜ!などと思ったけれど、メインマシンはメインOSはWindowsで運用していてビデオカードもAMDなのでDNNフレームワークを動かすのはしんどい。 調べたらDirectMLってのでWindows+AMDでもいけ…

CUDA実装のONNXRuntimeカスタムオペレータを実装してみた

前回の続き。 前回の記事 ↓ maminus.hatenadiary.org 今回のソースコード ↓ github.com ありがたいことにGitHubのIssueでCUDA版のカスタムオペレータ実装方法について問い合わせをいただいたので時間ができた時に実装してみた。 ※ONNXRuntimeのカスタムオペ…

ONNXRuntimeのカスタムオペレータを実装してみた

ソースコードはここ↓ github.com 背景とか TensorRTを使おうとしてモデルの一部をONNXのカスタムオペレータにすることがある。(TensorRTのプラグインを使うケース) ただカスタムオペレータを含むモデルはそのままではONNXRuntimeで推論できない。というこ…