První významnou stavbou, která byla postavena na Milešovce byla malá hospoda, kterou v roce 1820 vybudoval za velmi obtížných podmínek hostinský Anton Weber z Velemína. V následujících letech tuto hospodu postupně rozšířil na 2 jídelny, několik chat, prostor pro tanec, malý obchod a kapličku. Ve 40. letech 19. století postavil na Milešovce 4 m vysokou kamennou rozhlednu.
Observatoř byla vybudována na podnět tehdejšího komerčního rady Reginalda Czermack-Wartecka, který byl zasloužilým členem předsednictva Horského spolku v Teplicích a předsedou horských spolků severozápadních Čech. Pro realizaci stavby observatoře bylo sestaveno několik komisí, přičemž vědeckou komisi vedl universitní profesor dr. R. Spitaler. Z pěti projektů, podaných různými architekty, byl dne 25. 2. 1903 vybrán návrh E. Hoka.
Stavba observatoře započala na jaře 1903. Základním stavebním materiálem byl znělec, který byl vytěžen přímo na vrcholu Milešovky. Stavba byla dokončena v červnu 1904. Součástí budovy observatoře je 18 m vysoká věž, na které se v 10 m rozprostírá vyhlídkový ochoz. Od roku 1905 zde probíhají nepřetržitě meteorologická pozorování a měření (s malou přestávkou v roce 1917 a během 2. světové války). Řada meteorologických záznamů patří k nejdelším v ČR. Milešovka je vůbec nejstarší horskou observatoří na území České republiky.
