张绍曾于1923年6月下台后，息影天津，住英租界威灵顿道南头（今河北南路334号，第五中药厂址），为一座二层砖木结构小洋楼；另在旭街（今和平路）中孝里、裕德里等有房产。他初回天津，对国家政治仍十分关心。他对北洋政府失去了信心，把希望寄托于国民党。他知道冯玉祥与孙中山等一些国民党人士有联系，就加强了与冯的往来，并结为儿女亲家，参与策划一些重大的政治军事行动。转年北京政变后，冯玉祥与张绍曾商量，请他出任总理，张推辞不就，向冯推荐黄郛。黄郛内阁仅仅维持了十天，其政权被临时执政段祺瑞窃取。他决心不再参与北洋政事。于是，他每天或与朋友下棋、联诗，或独自阅旧典、练书法；偶尔也赴朋友酒会，但更多的时间是潜心研究佛、道学说，曾撰有《三教谈论》手稿一部，并著《觉道日记》，惜均失存。

张绍曾与冯玉祥关系极为密切。1926年9月，冯玉祥从苏回国，张绍曾打电报劝他“加入革命军，借谋出路”。张自设电台，由丁春膏负责，每日与冯联系，向冯提供情报。他自己也常常给冯写信，为之出谋划策。

张绍曾与北伐军的联系，渐渐被张作霖发觉。据说，张绍曾回复冯玉祥的信件，为慎重起见，特交其副官亲自带走。而这位副官因去“三不管”游逛，钱夹与信件同时被窃。小偷将信件交与警察局，从军警督察处处长厉大森、直隶督办褚玉璞转到了张作霖之手，张作霖遂生杀害张绍曾之意。1928年3月，张作霖派亲信王琦到津，与褚玉璞、厉大森共同策划，于3月21日由直隶办公署总参议赵景云出面，在天和玉饭庄宴请寓津在野名流。褚玉璞唯恐张绍曾不参加，事先收买了张的同乡张觉五约他同往。另外，褚还下令其手下谢玉田、刘茂正通过张绍曾门婿吴道时的门路，到张公馆催请绍曾赴宴。饭后客散，赵景云又约绍曾等到东升里彩凤班（东升里东口为日本租界，里内为华界）喝茶。这时，有个仆役打扮的人手拿信件，说要面交张总理，等候回音。张绍曾闻报从室内出来，刚问：“哪里的信？”伸手去接，那人迎面开枪，子弹打穿张的手掌；接着又开了两枪，一枪穿透了左耳，一枪打入肺部，张当即昏倒。张的大、小老婆闻讯先后来到现场，睹状大恸。送回家中后第二天早晨死去，年仅49岁。

这是一起轰动津门的政治谋杀案。冯玉祥将军在《我的生活》一书中，对张绍曾曾做过这样的评价：“公公道道地说，张先生实为革命最忠实的朋友。他身冒危险，大量地垫钱，什么也不图，只要助成北伐革命。张先生之死，系为革命牺牲，他的功绩是值得纪念的。”