本論文では、アクセス不可な計算グラフを持つネットワーク構造全体で部分微分を推定するために、限界数値微分（BOND）という手法を提案します。BONDは、既存の摂動法と比較して精度とスケーラビリティを向上させており、ブラックボックス関数を統合したトレーニング可能なアーキテクチャの新しい探索を可能にします。本研究では、固定されたトレーニングされていないネットワークとして実現されたブラックボックス関数が、トレーニング可能なパラメータ数を増やすことなくモデルの性能を向上させることを示しています。この改善は、アーキテクチャやブラックボックス関数自体の特性を広範に最適化せずに達成されます。固定された非トレーニングモジュールを活用することでモデルの容量を拡大する可能性が示されており、アナログとデジタルデバイスを組み合わせたネットワークのスケーリングに向けた道筋が提示されています。