Začínal stejně jako celá nejslavnější generace hráčů s českou neboli národní házenou v Sedlci a Šťáhlavech na Plzeňsku. Po maturitě v roce 1949 přestoupil do mistrovského SK Baťa Zlín, kde hrál dva roky a v dresu klubu přejmenovaného na Jiskra Gottwaldov získal titul přeborníka Československa. Zlínští házenkáři ve finále porazili Armádní tělocvičný klub Praha (ATK). Skvělý střelec si tak v roce 1951 vysloužil po nástupu na povinnou vojenskou službu možnost střílet branky v armádních výběrech ATK, Ústřední dům armády (ÚDA) a Dukla Praha. Po čase vojáci přešli na mezinárodní házenou neboli dnešní handbal. Do týmu přibyl také další zlínský házenkář Jaroslav Provazník a spolu v reprezentaci zažili neslavnější éru československé házené, kdy naši reprezentanti i reprezentantky přiváželi ze všech nepravidelně pořádaných šampionátů (muži v letech 1954, 1955, 1958, 1961, 1964, 1967 a ženy 1949, 1957, 1962) medaile včetně mužského titulu mistrů světa v roce 1967 a ženského v roce 1957).
Karel Čermák vybojoval bronz na mistrovství světa v roce 1954, historicky prvním házenkářském mistrovství světa od roku 1938. Čechoslováci vyřadili v kvalifikaci Maďary a do Švýcarska, kde se první poválečný šampionát konal, odjížděli jako outsideři. Ve skupině narazili na Dány a Švédy, což byla evropská špičková mužstva. Dány se jim ale podařilo porazit a postoupili z druhého místa. Ze druhé tříčlenné skupiny postoupilo dál Švýcarsko, které Československo v souboji o bronz překvapivě porazilo.
V roce 1955 získal Karel Čermák už s Jarolavem Provazníkem druhou bronzovou medaili na mistrovství světa v házené o jedenáct hráčích. Československý tým do té doby takzvaný německý feldhandball na mezistátní úrovni nehrál. „Měli jsme fotbalového brankáře a všichni nás zase podceňovali a nebrali vážně. My jsme ale porazili Maďary a Dány a prohráli jen s domácími favorizovanými Němci. O třetí místo se hrálo se Švédy v Mönchengladbachu a my je porazili. Hrálo se na fotbalovém hřišti a bylo to fyzicky náročnější. Brankoviště, odkud se mohlo střílet, bylo jedenáct metrů od tyče. Západní družstva více méně hrála osobní obranu, to znamená, že měla pět obránců a pět útočníků, takže útočníci se do obrany nedostali a obráceně. Jenže my jsme bránili i útočili v deseti a tím jsme všechny vyvedli z míry,“ vzpomínal před dvěma lety v rozhovoru s plzeňským novinářem Martinem Švecem.
Z roku 1957 pak měl Karel Čermák opět s kamarádem Jaroslavem „Špagim“ Provazníkem na kontě titul z Poháru mistrů evropských zemí (předchůdce dnešní Ligy mistrů), titul vybojoval s pražskou Duklou. V té době už patřilo Československo ke světové špičce. „Kromě nás v ní byli ještě Němci a Švédové. Úspěchy z mistrovství světa se nám podařilo potvrdit v poháru. Jelikož národní mužstvo bylo tvořeno z více než padesáti procent házenkáři Dukly Praha, tak bylo i nutné, abychom se probojovali do finále Poháru mistrů evropských zemí,“ vysvětloval ve výše zmíněném rozhovoru československý reprezentant. V historicky prvním pařížském finále se Dukla utkala s Örebro.„Ve finále se střetly celky ze Švédska a Československa, tedy zemí ze světové špičky. Samozřejmě jsme do Paříže neodjížděli s ambicemi na vítězství, protože jsme několikrát proti Švédsku hráli za národní mužstvo a věděli jsme, co nás čeká. Örebro tvořilo základ švédské reprezentace,“ doplnil Karel Čermák, který po slavném triumfu z Dukly, se kterou vybojoval deset národních mistrovských titulů v sedmičkové a jedenáctkové házené, do Plzně. Stříbro na mistrovství světa v handbalu pak vybojoval se svými spoluhráči roku 1958, kdy nad síly československé reprezentace byli pouze Švédové, a roce 1961, československý výběr prohrál ve finále s Rumuny o jedinou branku v prodloužení.
V roce 2017 byl Karel Čermák zařazen mezi plzeňské sportovní legendy při vyhlášení ankety Nejúspěšnější sportovec Plzeňského kraje. Byl čestným členem Českého klubu olympioniků a jeho nadačního fondu, sportovní legendou Plzeňského kraje i dlouholetým funkcionářem bývalé Škody Plzeň.
