Для этого можно использовать утилиту Process Explorer.

Порядок действий:

1. Вывести имя службы, которая использует COM-порт. Для этого нужно выполнить команду PowerShell: get-pnpdevice -class Ports -ea 0| Select Name, PNPDeviceID, Status, Service. Имя службы указано в столбце Service. Например, для COM2 это Serial. 
2. Запустить Process Explorer с правами администратора и выбрать в меню Find -> Find Handle or DLL.  
3. В строке Hangde or DLL substring ввести значение Service, полученное ранее. Process Explorer покажет процесс, который использует COM-порт.  
4. Чтобы освободить COM-порт, нужно завершить процесс или программу, которая его использует.