Nechyběla ani známost s tehdy mladou Martinou Zbořilovou, budoucí manželkou Miloše Formana. I tentokrát však vztah ztroskotal na neochotě Mistra přijmout závazky.
Až Ivanka Macháčková změnila vše. Když se poznali, většina lidí si myslela, že půjde jen o další z jeho krátkých lásek. Ivanka mu dokonce na začátku schválně dala falešné číslo. Jenže z náhodného flirtu se zrodil vztah, který vydržel. V roce 2008 si řekli své „ano“ a Karel se poprvé stal manželem.
Ženy, které řekly „ne“ i Mistrovi
Karel byl zvyklý, že ženy na jeho šarm reagují. Ale i on zažil chvilky, kdy neuspěl. A pro muže, který si celý život získával obdiv, to nebylo jednoduché.
Podle jeho dlouholetého tajemníka Jana Adama se marně snažil o přízeň některých kolegyň z branže: Heleny Vondráčkové, Hany Zagorové, sboristek Vlasty Kahovcové, Jarmily Gerlové, Jitky Zelenkové i slovenské zpěvačky Jany Kocianové.
V roce 2012 prý projevil velký zájem o zpěvačku Olgu Lounovou. Fascinovala ho nejen svým hlasem, ale i osobností. Mezi nimi prý jiskřilo, ale vztah nakonec nevznikl, možná i proto, že Olga s jeho týmem necestovala na zahraniční turné.
Nejvíc ho ale zasáhlo odmítnutí jedné z nejoblíbenějších českých hereček — Libuše Šafránkové. Potkali se při natáčení pořadu Zlatý krokodýl v Brně. Karel se na setkání těšil, byl připraven okouzlit ji svým typickým humorem a galantností. Jenže herečka byla zdrženlivá, téměř chladná, a moc toho nenamluvila.
Mistr si to vysvětloval tím, že moderovala přímý přenos a svazovala ji tréma. Myšlenka, že by na ni jeho šarm nezabral, ho ani nenapadla. A přesto odcházel se zklamáním — ne každé srdce se dalo získat, i když bylo na dosah ruky.