虽然只有50万元的创业资本，马云还是认为未来的公司应该具有俯瞰世界的眼光和气魄，所以名字也应该是响亮的、国际化的。
为了给网站起个好名字，马云思索了很久。直到有一次马云去美国出差，在餐厅吃饭的时候，他突然想到，互联网就像一个无穷的宝藏，等着人们去发掘。这时他想到了《一千零一夜》中“”的故事。故事中，善良的阿里巴巴凭着一句“芝麻开门”打开了通往财富的大门，而马云他们的宗旨是要为商人们敲开财富的大门。想到这，马云很兴奋。
马云找来餐厅的侍应生，问他是否知道阿里巴巴这个名字。侍应生说：“Yes，Alibaba——OpenSesame！（我知道，阿里巴巴——芝麻开门！）”
马云问了很多人，几乎所有人都知道阿里巴巴的故事。从美国人到印度人，只要懂英语，就能拼出“Alibaba”。而且，不论语种，发音也近乎一致。就这样，一锤定音，马云将阿里巴巴确定为公司的名字。
正当马云为自己想出了这样一个美妙的名字而兴高采烈地去注册域名时，却被告知“阿里巴巴”已经名花有主了。据了解，这个域名两年前被一个加拿大人抢先注册了。
虽然当时马云手中只有50万元创业资本，他却不惜花费1万美元从那个加拿大人手中买回了阿里巴巴的域名。虽然代价不菲，但与Google斥资百万赎回两个CN域名相比，马云当初的花费还是值得的。
而有趣的是，有着理想主义的马云同时将alimama.com、alibaby.com域名注册下来。他说：“阿里爸爸、阿里妈妈、阿里贝贝本来就应该是一家。”
马云将网站取名为“阿里巴巴”其实有更深一层的含义，他说：“叫阿里巴巴不仅仅是为了中国，也为了全球。我们的事业不仅是为了赚钱，而是为了创建一家全球化的、可以做102年的优秀公司。”眼光独特的马云在当时就已深刻认识到，亚洲人应该有自己的电子商务模式，而当时所有的电子商务都是大企业的电子商务，亚洲独特的电子商务不应该是简单的B2B（BusinessToBusiness），而应是商人对商人（BusinessmanToBusinessman）。这是亚洲人独创的模式。阿里巴巴就是为中小企业免费登信息，“以后也将永远免费”。
按照马云的想法，阿里巴巴应由网上论坛BBS按行业分类发展而来，如前文所述，团队的其他人却并不同意他的做法，甚至拍着桌子同马云吵。马云再三思考，还是觉得自己对，于是他坚持自己的想法，强制其他成员按照自己的决定去执行。因此，尽管意见相左，但最后阿里巴巴还是按照马云的构想逐步建立起来了。
经过几个月的筹备建设，www.alibaba.com在互联网上出现了，效益也越来越好。
一位青岛商人，每年从韩国进口一种设备，他坚信设备的产地其实就在中国，但他一直无法找到中国厂家。后来他偶然发现了阿里巴巴，就在上面发了一条求购信息，不料几天之内就同该设备的中国厂家联系上了！令他惊奇的是，该厂家竟然就在青岛！
有一家东北生产小商品的企业，将他的产品信息放到阿里巴巴上寻找买家。一年下来，他们46个买家中有44个来自阿里巴巴网站！
一传十，十传百，阿里巴巴在商业圈中声名鹊起。而马云知道，国内电子商务尚不成熟，只有利用发达国家已深入人心的电子商务观念，为外贸服务，才能得到真正利润丰厚的大鱼。于是，阿里巴巴开设了一个专区“中国供应商”，把中国大量的中小型出口加工企业的供货信息，以会员形式免费向全球发布。就这样，阿里巴巴走向了世界。