Se svými 2000 individuálními členy, z nichž asi polovinu tvoří středoškolští učitelé, a stovkou kolektivních členů patří Jednota mezi největší vědecké společnosti v České republice. Je strukturována dvojím způsobem: oblastně a odborně.
V řadě měst – obvykle vysokoškolských či výzkumných centrech – jsou zřízeny pobočky, které organizují vlastní činnost v regionu: přednášky, semináře, besedy, kurzy apod. Každý člen Jednoty je zařazen do jedné ze patnácti poboček podle svého bydliště nebo pracoviště. Jsou to pobočky pražská, středočeská, pardubická, královéhradecká, liberecká, ústecká, plzeňská, karlovarská, českobudějovická, jihlavská, brněnská, olomoucká, zlínská, ostravská a opavská.
Podle profesního zájmu se členové JČMF sdružují ve čtyřech sekcích, v České matematické společnosti, České fyzikální společnosti, Společnosti učitelů matematiky a Fyzikální pedagogické společnosti. Sekce zřizují odborné skupiny, které vyvíjejí činnost na celostátní úrovni.
V období mezi sjezdy řídí činnost JČMF její výbor. Schůze výboru se konaji nejméně dvakrát ročně. Předsednictvo výboru se schází přibližně každý měsíc.
