8月初，生意做得差不多了。达·伽马做好了返航准备，便派迪亚士的弟弟去向海王辞行，并让他送给海王一些礼物，从他那里换回几袋香料。他要转告海王，船队即将离开，但要留一些人继续贸易，搞一个永久商业基地，同时希望海王派使者跟随船队一起回葡萄牙。

此时，穆斯林商人告诉海王，葡萄牙人是一群贼。他们会劫掠他的财富，如果放任他们闯入他的王国，以后不会有商船再从麦加来，也不会有商船再从其他地方来。而他和葡萄牙人的贸易不会得到任何利润，因为那些欧洲人手里根本没有像样的商品。

所以迪亚士的弟弟苦等了四天才见到海王，海王依旧对礼物不屑一顾，说要把这些破东西甩给大臣。接着，他要求葡萄牙人缴纳贸易税，迪亚士的弟弟说，他会回去禀告达·伽马。但海王扣押了他，并禁止任何船接近葡萄牙船队。迪亚士的弟弟偷偷给船队送去消息，说自己被扣押了。双方关系顿时恶化。

达·伽马不能理解，他留在岸上的商品，为什么不能算作港口税的抵押品。

许多商人觉得葡萄牙人没有恶意，便前来拜访葡萄牙船队。8月19日，有25人来到葡萄牙船上，包括六名高种姓的印度教徒。达·伽马抓住机会，将其中12人扣押，以此作为筹码，要求释放他的部下。23日，他虚张声势地说，要马上返航，但他实际上只是行驶到离岸边不远的地方便停下来，观察事态发展。24日，他又回来了，停泊在可以看到城市的海域。

一艘小船前来商议，问能否用迪亚士的弟弟，换回印度人质。达·伽马表现得很强势，他威胁说，如果不释放他的部下，他就将人质斩首，而且炮击城市。他又一次虚张声势地驶离海岸。

海王害怕了，他命令用迪亚士的弟弟换回人质，允许葡萄牙人在他的王国竖立一根石柱。他向迪亚士的弟弟口述了一封转呈葡王的国书。迪亚士的弟弟按照印度风俗，用铁笔在棕榈叶上记下海王的话：“您的宫廷绅士达·伽马来到我国，我很高兴。我国生产肉桂、丁香、姜、胡椒、宝石。我请你们用黄金、白银、珊瑚、鲜红色的布匹来交换。”(www.daowen.com)

印度人不敢登上圣拉斐尔号，只在一艘划桨船上交换人质。达·伽马接回迪亚士的弟弟，却只交出六名人质。他承诺，剩下的人质，等次日他的商品被归还回来，就释放他们。

第二天，一直帮忙的那位突尼斯人登上大船，他遭到印度人的仇视，已经在为自己的性命担忧，他决定和葡萄牙人一起返航。

不久，回运商品的七艘小船来了，但达·伽马却食言了。他宣布放弃商品，把人质带回葡萄牙。海王大怒，派出70艘船去追击。葡萄牙船队没跑多远，海风停了，达·伽马动弹不得，被卡利卡特的群船追上。

在印度船进入大炮射程之后，葡萄牙船队的射石炮响了，双方激战一个半小时。后来，忽然来了暴风雨，把葡萄牙船队吹向外海。印度人无奈，只好掉头返回。

几天后，葡萄牙船队沿着海岸线非常缓慢地航行，寻找水源。他们用物品从渔民那里换回食品，并收割了一些生长在岸边的野肉桂。9月15日，他们在一座岛上竖立了一根石柱。不久，他们找到了一些淡水资源丰富的小岛。

9月22日，海王的一支小船队追上他们，打头阵的船被葡萄牙人的火炮严重击伤，其他船闻风而逃。随后两天，又有小船追来，船上的人挥舞旗帜，表示友好，达·伽马鸣炮示警，将其赶走。没多久，又有人追上来拜访，还带来甘蔗作为礼物，也被葡萄牙人击退。达·伽马越来越相信，印度人的虚情假意，掩饰着不可告人的歹毒目的。