Con una superficie de 28.2km2, Fresnedillas de la Oliva está situada en la zona suroeste de la Comunidad de Madrid.
Su situación, al pie de la sierra de la Almenara condiciona un clima más frío y húmedo que en los municipios más meridionales, pero ofrece unas vistas inmejorables de la sierra madrileña.
La cota más alta es la Peña Caballera con 972m., y la más baja se sitúa en torno a 700m. La mayor parte del territorio lo constituyen encinares adehesados, praderas de pastos y alguna zona con fresnos, existiendo algunos alcornoques y enebros. Destacan en el paisaje las peculiares formaciones graníticas de bolos y berrocales.
Todo el territorio de Fresnedillas de la Oliva, se considera un espacio natural de gran valor ecológico.
El término municipal de Fresnedillas de la Oliva limita con los de Robledo de Chavela, Colmenar del Arroyo y Navalagamella.