9. června 1954 byl založen při tehdejším Krajském domě osvěty v Karlových Varech první astronomický kroužek. Členové kroužku konají přednášky pro veřejnost, pozorování malým dalekohledem v parku 'U kočky' a rozhodují o výstavbě hvězdárny. Myšlenka na její vybudování se nejdřív nesetkala s příznivým ohlasem. V roce 1955 ale osvětový dům zkusil adaptovat několik objektů, ale jejich odlehlost a dezolátní stav budov znamenal, že se od jejich úprav ustoupilo. Naposledy se snažili upravit pozorovatelnu na střeše střední ekonomické školy. Nakonec se rozhodlo o výstavbě nového objektu hvězdárny v místě vyhořelého lesa na Hůrkách.

Astronomický kroužek se po zrušení Krajského domu osvěty dostal pod Kulturní a společenské středisko. Slavnostní výkop byl proveden 3. října 1959. V následujícím roce se práce rozběhly naplno. Členové kroužku zde pracovali i se svými rodinami. Postupně utuchala i brigádnická pomoc a hrozilo, že malý kolektiv nenajde síly hvězdárnu dostavět. Nakonec převzal národní podnik Pozemní stavby Karlovy Vary nad stavbou patronát a hvězdárnu dobudoval.

Také dalekohled byl realizován amatérsky. První primární zrcadlo dalekohledu prasklo a muselo se koupit stejných parametrů a kvality. Nakonec to vypadalo, že se dalekohled dokončí, jeho hlavní konstruktér, ing. Bok, v květnu 1963 náhle zemřel - dalekohled dokončili dobrovolně zaměstnanci Elektrosvitu.

Hvězdárna byla slavnostně otevřena 7.července 1963. Za astronomický kroužek převzal klíče od ní František Krejčí, který se na dalších dvacet let stal jejím vedoucím. Hvězdárna měla půdorys dvou spojených čtverců o stranách asi 9,5 x 5 metrů. Ve zvýšeném přízemí byla přednášková místnost, hala, WC a improvizovaná klubovna. Pod odsuvnou střechou byl umístěn reflektor Newton 250/1500 mm.

Rozvoj činnosti hvězdárny byl podmíněn zájmem lidí zejména o kosmonautiku, která koncem šedesátých let vrcholila přistáním na Měsíci. Rozvoj přerušil požár hvězdárny v listopadu 1971. Zničil celou knihovnu, dalekohledy a poškodil přední část budovy. F. Krejčí s vytrvalostí sobě vlastní prosadil její obnovu a rozšíření. K původní budově byla přistavena zadní část, která prostory zvětšila o celkem 4 místnosti. Stav však umožnil hvězdárně rozvoj po roce 1993, kdy se daří hvězdárnu s podporou Magistrátu zrekonstruovat, aby vyhovovala stávajícím potřebám.