随着年龄增长发生在“白狼”身旁的一些事情，与他原意有违，一连串的打击，使他开始厌恶汲汲营利的江湖，他下决心，以离开台湾来摆脱种种不愉快。
1984年11月29日，美国警方宣布侦破 “江南案”，“竹联帮”分子陈启礼等三人受台湾“国安局”指使，从事政治暗杀。随后，“白狼”将陈启礼的一卷录有犯案经过录音带交给美国联邦调查局，作为威胁台湾“政府”释放陈启礼的“武器”，同时他也展开“营救”竹联兄弟的行动，并在美国国会就“江南案”举行大审“竹联帮”听证会上，以流利的英文独辩群雄，一夕之间，他名噪美台两地，成为海内外媒体报道的“风云人物”。
“其实人是两面人，如果没有年轻时的那段经历，我号召不了那么多人，如果我只是一个大学教授，声音走不出来，但是也是因为过去的经历，所以人家总可以抹黑，说我是黑道，这个东西有得必有失。”
由于身份曝光，“白狼”遭到美国警方逮捕。1986年开始，在美入狱十年。
事隔多年，今天的张安乐没有太多地谈及当时的感受，只是说，当时若不去美国，则可以更早地步入大陆。“当时，很多人都通过走‘海归派’这条道路去大陆，我也这样选择，但事与愿违，我到大陆已经是1996年了。这样想想，反而晚了几年。”
1997年，针对岛内民众及舆论对台湾黑金政治以及社会治安的不满，台湾当局发起“治平专案”，重点打击有影响力黑道人士，台湾三大帮派“竹联帮”、“四海帮”、“天道盟”主要领头人均在追缉之列，大批大佬被捕后送往绿岛监狱服刑。
台湾法务部门网站公开资料显示，治平专案为台湾“内政部”策划实施的检肃黑道帮派工作，有效遏止黑道帮派组织犯罪。
依台湾警方当时统计，台湾全省有黑道背景的“民意代表”超过150人，地方议会有黑道背景的超过总数的1/3，成为当时台湾政坛最大包袱，被称为“黑金政治”，饱受抨击。时任台湾地区***李登辉在压力之下启动“治平专案”，针对黑道势力进行打击。
张安乐回忆说，当年台湾发生一起血案，“第二天为转移焦点，他们通过一个所谓的组织犯罪条例，要求他们三个月之内回去自首，很荒谬啊，没有理会，半年后就被通缉。” 在台商朋友的建议下来到深圳经商，他从此在深圳定居至今。“那个时候，我一个朋友先过来了，他打电话给我，说要不要过来投资，我说好，就过来了。因为我跟他从小一起长大，所以没考虑就答应了。”
到大陆后，没想到一呆就是十多年。台湾某报刊曾跨海来深圳专访张安乐。他们描述眼前这位当年的 “大哥大”，黄昏时站在深圳的办公室窗前，看着窗外出神，目光深处隐藏着不为人知的心事与乡愁。他也许在想，不知哪一天他才能回到家乡。虽然深圳湾的对岸就是香港，香港到台北只有一个小时的航程，但他回不去。
有家回不去，但张安乐在大陆并没有感到陌生，反而有种亲切的感觉。他说：“我是学历史的，到了大陆来，以前在书上学的都到眼前来了，讲不出的那种感情，回到自己家一样。”
移居大陆的日子，张安乐生活重心就是过日子、看看书，对于当前的生活状态，他形容说是一种 “清教徒式的当活”，“养心莫若寡欲，至乐无如读书”是他目前心底最真实的想法。
虽然生活过得很平淡，但在好朋友的帮助下，张安乐在大陆的事业蒸蒸日上。在大陆从商十余年，他创办的韬略集团先后在深圳、江门、东莞、南昌设立包括资讯、运动器材、消防器材等多家企业、工厂，至今已拥有了数千名员工。其中，最早创立的江门市运动器材有限公司已发展为全世界最大的头盔制造厂，专业生产马盔、溜冰头盔、自行车赛头盔，每年的销售量占到全球市场份额的45%以上。
对于大陆的投资环境，不愿多谈自己“贡献”的张安乐却是滔滔不绝，他说，台商到大陆来投资是大势所趋，“因为大陆已经变成全球最大的民生工业的工厂了，不管是当时在大陆设厂的条件，还是大陆的政策都很适合我们到这边发展。”
在大陆定居十多年，张安乐亲眼目睹了大陆的变化。他说大陆经济崛起带给了人们很多的向往与企盼。
因为看好大陆经济的发展，张安乐一直致力于大陆与台湾、大陆与世界的经济接轨事宜，而他致力的方式就是在加强两岸文化传承的同时，推动两岸经贸的交流与往来。这些年来，他经常组织岛内的文化、经贸人士到大陆沿海、中部、西部地区，参观当地的历史、人文等，进行大陆寻根之旅，“看中国的昨天、今天、明天，加强他们认祖归宗的感觉。”
在张安乐看来，中国的历史文化非常重要，可以加强两岸的真正融合。因为学历史的人一般都有种大历史观，能在纷杂的世界之中看到大潮流、大趋势。他说，历史对他影响很大，因为它很宏观，可以看出一个大方向。“譬如两岸问题，从历史的角度来看，顺应自然，水到渠成，只要两岸经贸继续交流下去，经济起飞则政治情势会趋于稳定，因为经济上的起飞会带动政治上的发展。所以将来我会做两岸三地之间的贸易，我想历史对我未来的规划而言，是有所帮助的。”
学历史的他越发关心两岸未来的发展。“我是跳开台湾来看问题，是用两岸关系来看两岸未来的发展。”“希望两岸早日直航，方便所有对台湾经济有卓越贡献的台商，给他们一个最基本的家庭团聚，做生意的方便；第二希望两岸早日走向和平统一，大家都知道统一是必然的，我认为两岸最好的方式就是‘和平统一共繁荣，一国两制相互尊重’，共同推进两岸的发展，使中华民族立于世界之林。”