JČMF sdružuje matematiky, fyziky, učitele, studenty a příznivce matematiky a fyziky a příbuzných oborů. Podílí se na rozvoji matematiky, fyziky i na zdokonalování a modernizaci jejich výuky. JČMF je zakládajícím členem Evropské matematické společnosti, Evropské fyzikální společností a garantem členství ČR v Mezinárodní matematické unii. Vznikla ze Spolku pro volné přednášky z matematiky a fyziky, který v roce 1862 založili studenti Filozofické fakulty Pražské univerzity. Od té doby prošla četnými změnami jak koncepčními, tak organizačními.
Podle profesního zájmu a zaměření se členové JČMF sdružují ve dvou vědeckých a ve dvou pedagogických společnostech: Česká matematická společnost (ČMS, dříve Matematická vědecká sekce, MVS) a Česká fyzikální společnost (ČFS, dříve Fyzikální vědecká sekce, FVS) zaměřují svou činnost zejména na vědeckou práci v matematice či fyzice. Společnost učitelů matematiky (SUMA, dříve Matematická pedagogická sekce, MPS) a Fyzikální pedagogická společnost (FPS, dříve Fyzikální pedagogická sekce) se zaměřuji na otázky pedagogické, didaktické a na vzdělávání učitelů (viz Kontakt -> Sekce).
Jednota samostatně nebo ve spojení s vysokými školami a výzkumnými ústavy organizuje národní i mezinárodní konference, sympozia, semináře a letní či zimní školy o matematice a fyzice, jejich historii a vyučování (viz Aktuality -> Chystané akce).
Systematicky sleduje úroveň vyučování matematice a fyzice na všech typech škol a předkládá návrhy na jeho zlepšení a modernizaci. Velkou pozornost věnuje talentovaným žákům a studentům a podílí se na organizování Matematické a Fyzikální olympiády, Turnaje mladých fyziků, Pythagoriády, Matematického klokana, korespondenčních seminářů apod. Pro středoškolské studenty a jejich učitele vydává odborný časopis Rozhledy matematicko-fyzikální (RMF) (viz Soutěže).
Podílí se na vydávání učebnic matematiky a fyziky v nakladatelství Prometheus, spol. s r. o., a garantuje jejich odbornou úroveň, případně vlastním nákladem vydává odborné publikace nebo jejich vydávání podporuje.
Pro své členy a další zájemce vydává časopis Pokroky matematiky, fyziky a astronomie (PMFA), který přináší aktuální přehledné články z matematiky, fyziky a astronomie, diskuse o pedagogických otázkách a informace o činnosti Jednoty. Vydává nebo se podílí na vydávání dalších časopisů (viz Publikace).