問題ありません。
抜き差しは、出力先の機器の音量を絞った状態で行なってください。
また、ブレークアウトボックスを取り外した際、自動で入出力設定が切り替わることがあります。
再接続時に、必要に応じて設定し直してください。