FactoryオブジェクトはCOMオブジェクトですので、VB.Netでは明示的に開放処理を行わないと開放されません。COMオブジェクトを開放するには、
System.Runtime.InteropServices.Marshal.ReleaseComObject(obj)
を使用してください。開放処理を行わない状態で、アプリケーションを終了すると Send to Server Failed エラーダイアログが表示される場合があります。