Na początku XX w. na szczycie Koziej Góry niemieccy bielszczanie wznieśli okrągłą altanę "Steffansruhe" – obiekt poświęcony burmistrzowi Bielska – dr. Steffanowi. Szczątki altany są widoczne do dzisiaj.
Przez Kozią Górę prowadzi także żółty szlak z Bielska-Białej (Cygański Las) na Szyndzielnię. Tuż przy tym szlaku znajdowała się niegdyś skocznia narciarska. Dziś jedynym śladem po niej jest pozbawiony drzew stromy stok.
Pod szczytem znajduje się schronisko turystyczne, popularnie (choć niewłaściwie) zwane Stefanką.
Po wyjściu z Błoni na Kozią Górę szlakiem czerwonym, a później od Równi niebieskim, znajduje się stół ołtarzowy "Jan", ustawiony w miejscu, w którym w czasach kontrreformacji odbywały się tajne nabożeństwa bielskich ewangelików.
Atrakcja Koziej Góry – naturalny tor saneczkowy, zbudowany w okresie międzywojennym, a latach 50. XX w. powiększony do najdłuższego naturalnego toru saneczkowego w Europie (2200 m długości i 30 wiraży) – obecnie jest nieczynny. Jego pozostałości można oglądać, idąc na szczyt z bielskich Błoni zielonym szlakiem.
Kozia Góra porośnięta jest lasem mieszanym z przewagą buku. Szczyt ten jest celem wędrówek wielu bielszczan zarówno zimą, jak i latem.
Kozia Góra (niem. Ziegenbock, 683 m n.p.m.), zwana także Stefanką (od nazwiska dr. Karola Steffana, bielskiego burmistrza i prezesa Beskidenverein) – szczyt na terenie Bielska-Białej.