1904年5月21日,巴黎圣奥诺雷街229号,法国体育协会联盟的总部里,来自七个国家的代表签署了一份章程,宣告国际足球联合会成立。七国分别是法国、比利时、丹麦、荷兰、西班牙、瑞典和瑞士。会议室不大,参会者不到二十人,文件用的是法语,连公章都是临时找人刻的。会议持续了两天,章程只有十几条,核心是设立一个由各国足协组成的联合会。签字仪式没有媒体到场,第二天的报纸只有短短三行报道。

推动这件事的核心人物是法国人罗贝尔·盖兰,时任法国体育协会联盟的秘书长。他原本想拉英国加入,因为现代足球的规则和裁判体系都掌握在英足总手里。但英足总对"由一个欧洲大陆组织管理足球"兴趣不大,直到1905年才正式加入,条件是自己保留规则制定权。盖兰本人只担任了两年主席,1906年由英国人丹尼尔·伍尔福尔接任。
国际足联成立初期的权力极其有限。它没有赛事,没有收入,也没有独立的裁判队伍。规则仍由1886年成立的国际足球理事会制定,那个机构的席位按英国四家协会各一票、国际足联四票分配,任何规则修改都需要多数同意。国际足联真正能做的,主要是协调各国协会之间的比赛资格问题。这种安排让它在最初三十年里更像一个协调机构,而不是权力中心。这种权力格局一直维持到1930年代世界杯创办之后。
转机来自奥运会。1908年伦敦奥运会首次把足球列为正式比赛项目,英国派出业余球队夺金,丹麦获得亚军。1912年斯德哥尔摩奥运会,足球的观众人数超过了田径,成为最卖座的项目。1908年奥运足球共有六支球队参加,赛制为单败淘汰,决赛在伦敦白城球场举行。国际足联由此看到了一个机会:如果能把奥运足球纳入自己的管辖,它就有了第一个真正意义上的国际赛事。
1920年安特卫普奥运会,足球比赛扩军到14支球队,观众踊跃,但组织混乱,裁判争议不断。1924年巴黎奥运会,乌拉圭队横空出世,五场比赛打进二十球,决赛3比0击败瑞士。这支南美球队的技术水平让欧洲观众第一次意识到,足球的中心并不只在英伦。乌拉圭队的何塞·纳萨西和佩德罗·塞亚成为欧洲报纸的头条人物。那届奥运足球共有22支球队报名,创下当时的纪录。
1928年阿姆斯特丹奥运会,乌拉圭卫冕成功,决赛2比1击败阿根廷。奥运会足球的成功也带来了新问题:国际奥委会坚持"业余原则",而各国足协越来越难阻止球员收取报酬。这个矛盾最终促使国际足联另起炉灶,筹办一个不受业余条款约束的独立赛事。1928年奥运会后,国际足联成立了专门的委员会研究独立赛事的可行性。
1929年5月,国际足联在巴塞罗那召开大会,以压倒性票数决定由乌拉圭承办第一届世界杯。这个决定在当时被视为冒险:欧洲球队需要横渡大西洋,航程两周,费用高昂。但正是奥运足球积累的观众基础和南美球队的号召力,让这个冒险在1930年变成了现实。乌拉圭承诺新建一座能容纳十万人的球场,这个承诺在两年后兑现。欧洲球队的缺席,反而让南美球队的比例显得更高。
从七国代表到211个会员协会,国际足联用了一百二十年。1904年那间办公室里签署的章程只有十几页,却确立了此后所有赛事的基本框架:一个由各国足协组成的联合会,一套由理事会制定的规则,以及一个四年一度的最高赛事。章程里没有一句话提到商业,但正是这套框架后来承载了数百亿美元的产业。这套框架在两次世界大战之间经受住了考验。