4月初，罗伯茨和他的水手开始了向东去的航行。这回罗伯茨遇上了顺风，“皇家幸福”号到达了塞内加尔。从塞内加尔，罗伯茨又驶向塞拉利昂。他们在塞拉利昂整修他们的船只，前后6个星期，受到了当地英国自由商人的款待。虽然皇家非洲公司对沿海所有的英国贸易具有为政府批准的垄断权，但是有30个左右的非法企业家，还是在沿海和大多数的河流沿岸建立了他们自己的贸易点。这些富商们对海盗很友好，就象上一代马达加斯加商人支持海盗一样。他们当中最富有的一位名叫约翰利德斯通，过去也当过海盗，人称“老疯魔”，他在海边有一幢非常宜人的房子，房子大门旁边设置了几门大炮，当海盗开入他的海港时，他就放炮以示敬意。另一位富商名叫本杰明冈，他在里奥彭哥经营一个港口，他就是罗伯特路易斯史蒂文森所著“金银岛”一书中本冈恩这一人物的原型。
但塞拉利昂还是不能象马达加斯加一样成为海盗常来常往的地方。这地方很脏，海盗和海盗商人非常少，皇家非洲公司在沿海一带，牢牢地设置下了一系列防守严密的据点。商人设法做一点买卖也微乎其微，他们只是派一些雇员坐着小船沿江而上，用一些铜罐、白锡锻的平盘、旧式火枪，英国杜松子酒去换取奴隶、象牙和染料木材。他们再把这些东西卖给敢于和皇家非洲公司抗衡的英国商船。罗伯茨和他的水手就是从这些商人处第次了解到在海边有两艘英**舰，艘是由查洛纳，奥格尔船长带领的“燕子”号，另一艘是芒戈赫德曼船长带领的“韦默思”号，这是两艘巨型军舰，每舰装备有60门大炮，是海军部在皇家非洲公司的一再请求下，派来保卫皇家非洲公司，抵御罗伯茨和其它仍在该地区活动的海盗的。这两艘军岘在罗伯茨到达之前一个月，就离开塞拉利吊巡逻去了，他们计划在圣诞节之前回来。海军军舰的出现，并没有使海盗感到沮丧。不过，后来的事态表明，他们当时要是害怕就好了。
1721年8月底，罗伯茨离开塞拉利昂，向东开去。在利比利亚的塞斯托斯附近，他截俘了皇家非洲公司的巡洋舰“翁斯洛”号，把这条船上的大炮从26尊增加到40尊，并把它改装成自己的最后一艘“皇家幸福”号。他继续东行，一路不停地抢，最后进入疾病丛生，具热带雨林气候的比夫拉湾内的卡拉巴尔河，他在这里维修他的船。还想在当地做点生意，结果被当地的部落断然回绝了，于是和当地部落发生了激烈的战斗。二百年后，奥德卡拉巴尔土著人在口头传说中，还提到巴塞洛缪罗伯茨到他们这儿来这件事。罗伯茨往南走了400海里，绕过洛佩斯角，又重新往西。
圣诞节到了。罗伯茨估计，已经过了这么长时间，回程路上可能是安全的了。如果海军战舰按照他们的时间表行动的话，他们现在应该已经回到塞拉利昂了，那末罗伯茨正好可以趁着海军战舰已经回到塞拉利昂这个空挡安全行驶了。但有一点他没有料到，海军战舰在王子岛耽搁了，因为海军水手们在那儿染上疟疾和性病，已经死了100人，带着这样一批严重衰弱的水兵队伍，作为整个巡逻舰队司令的奥格尔船长，无法按照原定计划前往塞拉利昂。于是他把他的目的地定为海岸堡角，以便在那儿强征一部分商船船员入伍，以代替死亡的水兵。这就是说，当罗伯茨向西航行到达现在的象牙海岸之时，海军的战舰就在附近。罗伯茨从这里又再次东折，继续他海盗的航行，实际上是直接向着海军战舰停留的方向开去。
罗伯茨船长的小舰队和奥格尔船长舰队的最后遭遇是偶然性的，但又奇妙地好像是命中注定的。1722年1月11日，星期四，罗伯茨驶进沿海最大的贩奴港口怀达。来的路上他正好经过停有海军舰只的海岸堡角。没有迹象表明，罗伯茨当时已经知道这里停有海军舰只，当时他很可能是为了绕开皇家非洲公司备有重炮把守的贸易站而远离海岸航行的，但是有明显的迹象表明，海军突然知道了海盗从这儿经过的消息，于是他们马上跟踪。罗伯茨一点也没有意识到他现在处境的危险，仍然对怀达港进行抢劫。在港口的锚地停泊有11艘贩奴船，他们没开÷炮就向罗伯茨投降了。所有被俘的船只的赎金是，每艘8磅金粉(约值500英镑)，只有一艘是例外，它的船长拒绝支付，于是这条船连同船上被成双捆在一起的80名奴隶，一起被放火烧了(罗伯茨是不同意这样敞的)。火烧过程中，奴隶们有的为避火跳到海里被鲨鱼撕裂吞嚼，有的没法逃走留在船上，在惨叫声中活活地被火焰吞没。
土月13日星期六，这帮海盗，第一次得到了海军将要攻击他们的一些消息。他们截获了从海岸堡角发给在怀特的皇家非洲公司一名代理商的信件，信件向代理商发出警告说，海盗正向他所在的方向行进，国王陛下的“燕子“号正尾随在海盗的后面。罗伯茨得知这一消息后，马上回到了大海上。
在怀特以南非洲的沿海，都是迂回曲折的环礁湖和沼泽地，那里连一个欧洲人定居的地方都没有。这帮海盗升起船上的大横帆，直向偏僻的安诺本小岛开去。但是风向不顺，他们没有能到达安诺本，而是又到达了洛佩斯角。这是一次灾难性的靠岸。
海军的两艘舰只，“燕子”号和“韦默思”号过去六个月以来一直在西非沿海上下来回巡逻，都一无所获。这次兜完圈回来，就接到报告说罗伯茨已在此抢劫后又走了。现在，“燕子”号船长奥格尔终于赶上罗伯茨了。奥格尔是在罗伯茨离开怀达后两天到怀达的。奥格尔尾随在后面，他推测罗伯茨是向南去了。1722年2月5日黎明，奥格尔在寻找洛佩斯角的入口道时，突然听到在那布满了珊瑚岛和沼泽地的广漠地带，有一声炮响。他在寻找炮声来源时，发现了罗伯茨的小舰队，“皇家幸福妙号，“大漫游者”号和“小漫游者”号正停靠在洛佩斯角的正下方。；
罗伯茨在“皇家幸福”号上看见了有船向这边开过来，可他犯了一个错误，也是以后一系列错误中的第一个致命的错误。他首先是错把来船“燕子”号看成了是一艘大型的商船，这本来在那个时代是件不难分辨的事情，特别是距离又不远。他命令由詹姆斯斯基尔姆船长率领的“大漫游者”号去追击这个十拿九稳的牺牲品，在罗伯茨看来，这不过是“次例行公事而已。
就在这时候，奥格尔耍了一个花招。他让“燕子”号调过头开走，“大漫游者”号紧跟在后。奥格尔把船开进公海，顺着风向一直朝前开去，但是并不太快，而是让海盗基本上在后面可以慢慢地跟得上。
上午十点半，当洛佩斯角已经远离视野，奥格尔估计角那边的船只不再会听得见这边的炮声时，他引着那艘挂满了包括海盗骷髅旗在内的各种彩旗的“大漫游者”号逐渐靠近到自己的射程之内。斯基尔姆船长开了船首炮，用以威胁“燕子”号，命令它过来，并一边用弯刀拍打偷懒的人，一边命令手下人各就各位准备战斗。
上午十一点，“大漫游者”号进入了“燕子”号步枪的射程之内。令人难以置信的是，直到这时候，斯基尔姆才恐怖地发觉他和他的司令犯了一个可怕的错误。突然，海军舰只迅速而准确地调过右舷，用底层大炮对准海盗船，飞也似地发出了毁灭性的一排炮弹。
事态这样的变化，简直使海盗们都发懵了。他们惊慌失措，一会儿把船上的海盗旗降下来，不一会儿又升起来。他们最后决定，逃跑毋宁战斗。他们向“燕子“号回敬了一排侧舷炮，一个个都站在船尾楼甲板上，狂乱地挥舞着他们的弯刀，摆出一付必胜的姿态。他们在“燕子”号的船首前面开炮，然后把船速放慢下来准备抢登“燕子妙号。
而奥格尔手下的人由于听说这艘海盗船上装有大量的财宝，所以斗志旺盛，对海盗一直发射着毁灭性的炮火。斯基尔姆的一条腿被炮弹炸飞了，主桅杆被炸断后，倒在甲板上摔得粉碎。这两条船顶着西非洲中午的炎日，在大西洋的惊涛骇浪中相互猛烈地滚打在一起，整个一个小时。斯基尔姆鲜血直流，痛得都快疯了，可仍然剑不离手，继续指挥着战斗，还不时地吆喝手下的人抢登海军军舰。但是他们已无法采取这一激烈而又危险的行动了，到下午三点，时机已经太晚了。