两派在气质上也有很多不协调之处。例如：每逢攻陷一个大城市，天地会派系的人就想举行祝捷会，痛饮一顿，而“拜上帝会”派系的人则首先举行祈祷会，感谢上帝。

没能成为主流的天地会派系的人渐渐脱离太平天国，不单单是脱离，而且大多数向清政府举手投降。

青年时代的刘永福心里究竟抱着怎样的思想和理念，不得而知，不过，他的气质，却是典型的天地会人物。谈不上多么虔诚，但是很豪放、直爽，是个深知人情世故的侠义之人。

当太平天国的首领们在天京（南京）过着骄奢淫逸的生活时，刘永福不过是一名小卒，转战各地。天京被攻陷是在1864年7月，各地的太平军被清军围攻，到处乱窜，年轻的刘永福就在这些败军当中。

“妈的，这个臭土匪头子！”刘永福一边逃跑一边恶狠狠地咒骂，还连着呸了几口唾沫发泄胸中的郁闷。

扫荡广西太平军残部的是清廷提督冯子材。这个冯子材也是钦州人。刘永福童年时，他是家乡一带大名鼎鼎的土匪头目。孩子哭时，人们便吓唬说：“别出声，让冯子材听到，就把你抓去了！”

后来，冯子材归顺清廷，当上广西提督。刘永福为什么怨恨他？并不是因为被他追得到处乱窜，而是嫉妒这土匪的运气竟如此好。

“这真是贼运亨通，岂有此理！”刘永福骂道。

“走运的不光他，何必那么生气？”头领吴鲲苦笑着责备他。

“噢？我总寻思老天把我们给忘了。打了这些年仗……”每逢想起“拜上帝会”的人一有事就跪下来，祈求上帝，一本正经地在胸前画十字，刘永福就觉得气闷。

“不要管那些事……怎么样，总这么让人家追得到处乱窜，真受不了，出国吧？”吴鲲说道。

“出国？”

“上越南去，难道那些土匪们还能追到国外来？”

“好，这就走，我真跑够了！……出国试试运气也好！”

吴鲲一伙人逃亡到越南，是1865年。

当时，越南国王是嗣德帝。天地会的败军归顺了越南两年后，刘永福离开吴鲲独树一帜，就是“黑旗军”。所用的旗帜是黑底中间一个红色的“义”字。