Obec Častolovice leží asi 5 km severně od České Lípy, západně od silnice z České Lípy do Nového Boru.
Častolovice se nacházejí mezi několika turisticky zajímavými oblastmi. Severně leží Lužické hory, západním směrem začíná severní část Českého středohoří. Nedaleko leží bývalý vojenský prostor Ralsko, do kterého byl dlouhá léta zakázán přístup. Díky tomu je dnes Ralsko považováno za jedno z přírodně nejzachovalejších území u nás. Jihovýchodním směrem je známé letovisko Máchovo jezero.
Okolí je vhodné k turistickým výletům pěším i na kole. Ty nás mohou zavést k asi 4 km vzdálenému zámku Horní Libchava, či k východně ležícím zříceninám hradů Sloup a Svojkov.