W 1886 poślubił swoją kuzynkę arcyksiężniczkę Marię Teresę Habsburg, z którą miał sześcioro dzieci, arcyksiążąt:

• Eleonorę Marię (1886-1974) żonę od 1913 Alfonsa von Kloss (1880-1953);
• Renatę Marię (1888-1935) żonę od 1909 księcia Hieronima Radziwiłła (1885-1945);
• Karola Olbrachta (1888-1951), polskiego patriotę, który zawarł morganatyczne małżeństwo z Alicją Elżbietą Ankarcrona (1889-1985), primo voto Badeni;
• Mechtyldę (1891-1966) żonę od 1913 Olgierda Czartoryskiego (1888-1977);
• Leona Karola (1893-1939), który zawarł morganatyczne małżeństwo z Marią-Klothildą von Thuillières hrabiną von Montjoye-Vaufrey et de la Roche (1893-1978). Ich potomkowie noszą tytuł "Hrabiów von Habsburg".
• Wilhelma (1895-1948) – ukraińskiego działacza politycznego, pretendenta do tronu Ukrainy

Bibliografia

• Mariusz Patelski, Habsburgowie z Żywca, w: Edukacja historyczna a współczesność, red. B. Kubis, Uniwersytet Opolski: Opole 2003.
• Mariusz Patelski, Arcyksiążę Karol Olbracht Habsburg Pułkownik Wojska Polskiego i ostatni dziedzic Żywca, "Grot. Zeszyty Historyczne" 2005, nr 23.

• Historia żywieckiej gałęzi rodu Habsburgów

Karol Stefan Habsburg

Karol Stefan Habsburg-Lotaryński (ur. 5 września 1860, zm. 7 kwietnia 1933 w Żywcu) – arcyksiążę austriacki z żywieckiej linii Habsburgów. Jego rodzicami byli Karol Ferdynand Habsburg i jego żona arcyksiężniczka Elżbieta. W dwudziestoleciu międzywojennym był uznawany przez polskie środowisko monarchistyczne za odpowiedniego kandydata do korony (w czasie I wojny światowej był poważnym kandydatem na monarchę Królestwa Polskiego pod kontrolą Niemiec i Austro-Węgier). Wydał dwie córki za polskich arystokratów.