Brattby ligger i en vågig bergkullterräng, mer än 100 meter över havsytan. Tätt liggande berg och kullar varvas med sänkor och slättpartier av växlande höjd. Byn ligger på en sydsluttning av Brännberget, som ligger nära 200 meter över havet. Den äldsta bykärnan ligger i området som kallas Sommarbacken och har en lidbebyggelsekaraktär, dvs bebyggelsen är samlad på rad högt upp i dalsluttningen. Sommarbacken var slutet på den väg som gick mot inlandet under flera hundra år. Man fick fortsätta med båt, gå eller rida. Men Vännäsborna krävde bättre väg över Brattbys ägor och 1837 blev vägen förklarad som sockenväg. Namnet Brattby hör samman med ordet bratt, som betyder brant och syftar på den branta backen från älven och upp mot Brännberget. År 1805 fanns det sju jordbruksfastigheter i Brattby och när laga skiftet genomfördes 1857 fanns det ett femtontal jordbruksfastigheter eller avstyckningar och det fanns hus på åtta av dem. År 2007 fanns 51 fastigheter registrerade i Brattby. Bebyggelsebilden präglas av traditionell jordbruksbebyggelse blandad med bostadshus från 1930- och 1950- talen.
