Windows上の外部DLLをInterSystems製品から呼び出すためには、引数や戻り値を正しく引き渡すためにラッパーDLLを作成する必要があります。
また手元にプログラムソースがあるDLLの場合は、引数や戻り値を正しく引き渡す様にプログラムを変更してビルドすることもできます。

詳細は、以下ドキュメントをご参照ください。

InterSystems製品から外部のDLLを呼び出す方法について【IRIS】
InterSystems製品から外部のDLLを呼び出す方法について

添付は、ターミナルからDLLを呼び出す簡単なサンプルです。