西市码头和秦山岛曾是吴越时期重要的军事基地和海上运输枢纽。据史料记载，这里曾发生“齐吴琅琊海战”。根据《吴越春秋》和《越绝书》记载：“句践伐吴，霸关东，徙琅琊，起观台，台周七里，以望东海，死士八千，戈船三百艘。”越王勾践二十五年迁都到了琅琊，也就是东海岛上，把国都称为“都州”、“郁州”，也就是今天的云台山地区。连岛上留存的两处东海琅琊郡界域刻石，就是明证。

根据《史记·秦始皇本纪》记载：“（秦始皇二十八年）南登琅琊，大乐之，留三月。乃徙黔首三万户，琅琊台下，复十二岁，作琅琊台。”秦始皇当年来琅琊，在琅琊岛上住了三个月，曾大规模修建琅琊台码头和大陆连接秦山岛的30里长的过海大堤（后被称为“神路”、“秦帝桥”），把东海岛建成了“秦东门”。此时的西市码头与秦山岛又成为秦帝国的重要码头，扼守海上交通。因秦始皇下令让徐巿（徐福）入海求长生不老药，后经逐渐演变，“徐巿”就成了“西巿”、“西市”、“西石”，就是今天的西市码头所在地。

据《嘉庆海州志》和《云台新志》记载，明清时期，西市一直设有“西石讯”，“讯所”是管制海防码头军事机构，西市码头除了民用以外，也是重要的军事设施。