据说，财神爷是有钱人家供奉的，没钱的人供奉是不会显灵的。

民间流传“财神休妻”的故事：从前，财神庙财神身边总有一位端庄美丽的财神娘娘陪伴。后来这位善良的财神娘娘突然不知去向，原来她被财神爷给休掉了。财神爷为什么要休妻呢？这要从一个乞丐说起。有个讨饭的叫化子穷得无路可走，讨饭路过一座古庙。进庙后，他什么菩萨都不拜，单摸到财神爷像前，倒头便拜，口里祈求财神爷赐财。

财神赵西元帅见是一个叫化子，心想：天下那么多穷叫化子，我能接济得过来吗？可乞丐心中想的正相反，他认为财神总会救济穷人的，便不住地拜。这时，财神娘娘动了恻隐之心，想推醒打瞌睡的财神夫君，劝他发善心给这叫化子一点施舍。可财神爷不理睬，打了两个哈欠又闭上了眼睛。虽然是财神娘娘，可财权在夫君手上，夫君不点头，怎么好将钱赐给叫化子呢？娘娘无奈只得取下自己的耳环，扔给了叫化子。

乞丐突然感到神龛上掷下一物，一见是一副金耳环，知道是财神所赐，急忙磕头，连呼“叩谢财神”。财神爷睁眼一看，发觉娘娘竟将自己当年送她的定情物送给了穷叫化子，气得大发雷霆，将财神娘娘赶下了佛龛。自此以后，数百年来就再也没有一个穷人是拜了财神而发财的。

民间还传说，财神即为五路神。所谓五路，指东西南北中，意为出门五路，皆可得财。清代顾禄《清嘉录》云：“正月初五日，为路头神诞辰。金锣爆竹，牲醴毕陈，以争先为利市，必早起迎之，谓之接路头。”又说：“今之路头，是五祀中之行神。所谓五路，当时东西南北中耳。”五祀即祭户神、灶神、土神、门神、行神。所谓“路头”，即五祀中之行神。