Předchůdcem zámku Velké Losiny byla vodní tvrz, jejíž první známí vlastníci byli šlechtici z rodu Žerotínů. Právě oni započali renesanční přestavbu tvrze na zámek, původní stavba totiž v 16. století už neodpovídala potřebám tehdejších pánů.

Žerotínové na čas o velkou část majetku přišli, a to během náboženských nepokojů, kdy se postavili na stranu protestantských stavů. Panství i zámek ve Velkých Losinách pak byli nuceni znovu odkoupit za podmínky, že přestoupí na katolickou víru.

Žerotínové tak s přestávkou vlastnili zámek Velké Losiny až do počátku 19. století, kdy jej prodali Lichtenštejnům. Historicky pozoruhodnou zajímavostí jsou ovšem známé čarodějnické procesy, které nechala rozpoutat Angela Sibylla z Galle, rozená Žerotínová, mimochodem zatvrzelá katolička.

Šlechtična povolala do Velké Losiny inkvizitora Jindřicha Bobliga z Edelstadtu, aby vedl proces s ženou, která měla na radu kořenářky podat proměněnou hostii krávě, aby ji uzdravila z nemoci a znovu mohla dojit mléko.

Během procesů bylo nakonec upáleno kolem 100 lidí, mezi nimi i kněz Kryštof Lautner. Právě Lautner se stal hlavní postavou knihy Václava Kaplického s názvem Kladivo na čarodějnice. Krveprolití zastavil až další potomek na losinském panství Jan Jáchym ze Žerotína za pomoci císaře Leopolda I.