ഈ ക്ഷേത്രത്തിന് കിഴക്കുള്ള ഒരു ജനവാസ കേന്ദ്രമായിരുന്നു ഉമ്പിഴി ഗ്രാമം. കരിമറ്റത്തു ചിറ മുതൽ ആട്ടച്ചിറ വരെയുള്ള സ്ഥലമായിരുന്നു ഇത്. നിരവധി മലയാള ബ്രാഹ്മണർ ഇവിടെ താമസിച്ചിരുന്നു.
ഒരുകാലത്തു ഈ പ്രദേശത്തെ പ്രബല ഗ്രാമം ഉമ്പിഴി ഗ്രാമം ആയിരുന്നു. അവിടെ നാനൂറു ഇല്ലങ്ങളുണ്ടായിരുന്നു. അവര്‍ക്കു പല ഗ്രാമ ക്ഷേത്രങ്ങളും ഉണ്ടായിരുന്നതില്‍ ഉമ്പിഴി കൃഷ്ണന്‍, ഉമ്പിഴി ഭഗവതി, തിരുമല ശിവന്‍ എന്നീ മൂന്നു ക്ഷേത്രങ്ങളായിരുന്നു പ്രധാനപ്പെട്ടത്.
ഇവയില്‍ ഉമ്പിഴി ശ്രീകൃഷ്ണസ്വാമിക്ഷേത്രവും ഭഗവതി ക്ഷേത്രവും സംരക്ഷണം ഇല്ലാതെ ജീർണിക്കപ്പെട്ടുപോയി. അതുപോലെ തന്നെ നശിച്ചുപോയ തിരുമലക്ഷേത്രം ഇരുന്ന സ്ഥലത്തു ഇപ്പോൾ പുതിയ ഒരു ക്ഷേത്രം പണിയിച്ചിട്ടുണ്ട് . ഇതു രണ്ടും ചെയ്തതു ആ സ്ഥലത്തുള്ള ഈശ്വര വിശ്വാസികളും ഉദാരമനസ്‌കരുമായ വിശ്വകര്‍മ്മ സമുദായക്കാർ ആണ്.
ആദ്യം അവിടെ ഉണ്ടായിരുന്ന ശിവക്ഷേത്രം നശിച്ചുപോയെങ്കിലും അവിടുത്തെ വിഗ്രഹം നഷ്ടമാകാൻ പെരുന്നയിലെ നമ്പൂതിതിരിമാർ ഇടയാക്കിയില്ല. അവര്‍ അതെടുത്തു കൊണ്ടുവന്നു പെരുന്ന സുബ്രഹ്മണൃസ്വാമിക്ഷേത്രത്തില്‍ പ്രതിഷ്ഠിച്ചു പൂജ നടത്തി വരുന്നുണ്ട്.
ഉമ്പിഴി ഗ്രാമക്കാരുടെ ഇഷ്ടദേവതയും ഉഗ്രമൂർത്തിയുമായിരുന്ന ഉമ്പിഴി ഭഗവതിക്ഷേത്രം നശിച്ചു നാമാവശേഷമായിപ്പോയി. അതോടൊപ്പം ഉമ്പിഴി ഗ്രാമത്തിലുണ്ടായിരുന്ന ഇല്ലങ്ങളും ഓരോന്നോരോന്നായി നശിച്ചു പോയതായി കരുതപ്പെടുന്നു.