První významnou stavbou, která byla postavena na Milešovce byla malá hospoda, kterou v roce 1820 vybudoval za velmi obtížných podmínek hostinský Anton Weber z Velemína. V následujících letech tuto hospodu postupně rozšířil na 2 jídelny, několik chat, prostor pro tanec, malý obchod a kapličku. Ve 40. letech 19. století postavil na Milešovce 4 m vysokou kamennou rozhlednu.
Observatoř byla vybudována na podnět tehdejšího komerčního rady Reginalda Czermack-Wartecka, který byl zasloužilým členem předsednictva Horského spolku v Teplicích a předsedou horských spolků severozápadních Čech. Pro realizaci stavby observatoře bylo sestaveno několik komisí, přičemž vědeckou komisi vedl universitní profesor dr.R. Spitaler. Z pěti projektů, podaných různými architekty, byl dne 25.2.1903 vybrán návrh J.Hocka.
Stavba observatoře započala na jaře 1903. Základním stavebním materiálem byl znělec, který byl vytěžen přímo na vrcholu Milešovky. Stavba byla dokončena v červnu 1904. Součástí budovy observatoře je 18 m vysoká věž, na které se v 10 m rozprostírá vyhlídkový ochoz. Od roku 1905 zde probíhají nepřetržitě meteorologická pozorování a měření (s malou přestávkou v roce 1917 a během 2. světové války). Řada meteorologických záznamů patří k nejdelším v ČR. Milešovka je vůbec nejstarší horskou observatoří na území České republiky.
Prvním ředitelem observatoře byl prof. dr. Rudolf Spitaler, vedoucí katedry pro kosmickou fyziku a geodynamiku na pražské Německé univerzitě. Tuto funkci vykonával až do února 1929. V roce 1953 přešla observatoř pod správu Československé akademie věd (ČSAV), a sice nejdříve pod Geofyzikální ústav, posléze pod Laboratoř meteorologie a v roce 1964 pod Ústav fyziky atmosféry, pod který spadá až do současnosti. V roce 2005 byly na Milešovce provedeny významné opravné práce (zateplení, oprava fasády, renovace vnitřních prostor, apod.).