早在先秦时期，连接华夏东西方交流的通道已经存在，丝绸正式西传始于西汉通西域，丝绸之路真正形成始于西汉张骞凿空。这个时期，丝绸的传播源、传播的目的地、传播的路线都非常清楚，有史可依，有据可查，传播的数量也非常大，东西方是有计划、甚至是有组织的进行丝绸贸易，所以丝绸之路真正开辟于西汉武帝时期。
西汉时，阳关和玉门关以西乃至更远的地方，称作西域。西汉初期，联络东西方的通道被匈奴所阻。汉武帝时，中原始与西域相通，开始加强对西域的经略。西域本三十六个国，后来分裂至五十多个，都位于匈奴之西，乌孙之南。
汉武帝听说被匈奴侵犯西迁的大月氏有报复匈奴之意，就派人出使大月氏，联络他们东西夹攻匈奴。陕西汉中人张骞以郎应募。
建元二年（前139年），张骞率领100余人向西域进发，途中被匈奴俘获，滞留了10年，终于寻机逃脱，西行数十日到达大宛。
这时大月氏已不想攻打匈奴而继续西迁，张骞没有达到目的，在西域待了一年多东返，途中又被匈奴扣留了一年多，后适逢匈奴单于死，国内大乱，元朔三年（前126年），张骞趁机回到大汉，受到汉武帝的热情接待，被封为太中大夫。
此次西行前后达10余年，虽未达到目的，但获得了大量西域的资料，史学家司马迁称张骞此行为“凿空”。
张骞归国后，汉武帝曾遣使探求通过罗马开辟一条不经匈奴而到大夏的交通线，但是没有成功。后来汉军击败匈奴，取得了河西走廊地区，打通了西汉与西域之间的通道。霍去病在祁连山大破匈奴后，张骞建议联络西域强国乌孙，以断匈奴右臂。
元狩四年（前119年），张骞再次出使西域，目的是招引乌孙回河西故地，并与西域各国联系。张骞到乌孙，未达目的，于元鼎二年（前115年）偕同乌孙使者返抵长安，被张骞派往西域其他国家的副使也陆续回国。
乌孙使者见大汉人众富厚，回国归报后乌孙渐渐与大汉交往密切，其后数年，张骞通使大夏，从此，西汉与西北诸国开始联系频繁起来，张骞凿空西域，丝绸之路正式开通，汉武帝以军功封其为博望侯。
但是，西域诸国仍未完全摆脱匈奴的控制，楼兰、车师等国在匈奴的策动下，经常劫掠西汉派往西域的使臣和商队。为了确保西域通道，元封三年（前108年），汉将王恢率骑兵击破楼兰，赵破奴率军击破车师。
元封六年（前105年），西汉又与乌孙王和亲，联合挟制匈奴。同时为了打破匈奴对大宛的控制并取得大宛的优秀马种汗血马，汉武帝派李广利领兵数次进攻大宛，在付出沉重代价后，攻破大宛都城，使西汉在西域的声威大振，确保了西域通道的安全。通往西域的“丝绸之路”，至此畅通。
汉武帝太初四年（前101年），汉武帝在轮台和渠犁设立了使者校尉，管理西域的屯田事务。这是西汉政府在西域第一次设置的官吏。此后，西汉政府就在西域建立了根据地。
汉宣帝神爵二年（前60年），匈奴日逐王先贤掸率众投降，西汉政府取得了对匈奴战争的最终胜利，设置了西域都护府，这是中央王朝在葱岭以东正式设置行政机构的开端。
西汉政府在西域设置常驻官员，派士卒屯田，设校尉统领保护，使汉族同新疆少数民族交往更加密切。汉朝在西域设立西域都护府为标志，丝绸之路这条东西从西汉方交流之路开始进入繁荣时代。
佛教第一次传入中国，也始于丝绸之路。汉哀帝元寿元年（前2年），西域大月氏使臣伊存来朝，在帝都长安向中国博士弟子景卢口授《浮屠经》。
从此佛教正式开始传入中国，史称这一佛教初传历史标志为“伊存授经”。
天凤三年（16年），西域诸国断绝了与新莽政权的联系，丝绸之路中断。
73年，班超随从大将军窦固出击北匈奴，并奉命出使西域。他率吏士36人首先到了鄯善，以“不入虎穴，焉得虎子”的决心，使鄯善为之震服。
之后他又说服于阗，归附中央政府。班超又重新打通隔绝58年丝绸之路，并帮助西域各国摆脱了匈奴的控制，被东汉任命为西域都护，班超在西域经营30年，加强了西域与内地的联系。
91年，北道的龟兹、姑墨、温宿皆归附东汉，班超设西域都护府于龟兹它乾城，亲自坐镇北道。又命西域长史徐干屯疏勒，与北道相呼应。
94年，班超发龟兹、鄯善等八国兵7万余人，讨伐对抗中央的焉耆等国统治者，西域50余国皆归属中央政府。
97年，班超曾派副使甘英出使大秦国（罗马帝国），一直到达条支海（今波斯湾），临大海欲渡，由于安息海商的婉言阻拦，虽未能实现，但这是首次突破安息国的阻拦，将丝绸之路从亚洲延伸到了欧洲，再次打通已经衰落的丝绸之路。
大秦属下的蒙奇兜讷（马其顿）地区遣使到东汉首都洛阳，向汉和帝进献礼物。汉和帝厚待两国使者，赐给两国紫绶金印。