Исправление:
1. Удалить файлы журналов: C:\Windows\Logs\WindowsServerBackup
2. Удалить компонент: "Система архивации Windows" 
3. Перезагрузить сервер
4. Установить компонент: "Система архивации Windows"
5. Открыть консоль Cmd (с правами администратора) запустить:

wbadmin delete catalog

C:\Windows\system32>wbadmin delete catalog
wbadmin 1.0 - Backup command-line tool
(C) Copyright 2012 Microsoft Corporation. All rights reserved.

Are you sure that you want to delete the backup catalog? If you delete the
catalog, you will need to create a new set of backups.
[Y] Yes [N] No y

The backup catalog has been successfully deleted.

C:\Windows\system32>
6. Start the Backup Service
7. Пересоздать задание архивации.
Готово!

Источник: https://social.microsoft.com/Forums/ru-RU/6f6c7b05-892f-4cf1-bfbe-f5e4ae748414/wbadminmsc-on-windows-server-2012-fails-to-start-in-mmc-with-error-wbengineexe-0xc000005?forum=windowsbackup