上海广方言馆成立于1863年，是由江苏巡抚李鸿章仿照京师同文馆在上海设立的一所新式学堂，初称“上海同文馆”，1867年改名为“上海广方言馆”。馆址初设于上海县署东南面，后迁至江南制造局西北面。该馆与一般专事讲习经史义理、八股时文的旧式的书院迥然不同，旨在培养精通洋务的各种专门人才。由具有维新倾向的著名改革家冯桂芬主持馆务。广方言馆章程中，规定学生分为上下两班，初进馆时入下班，学习数理化和外文等基础课程。一年后，经考试合格者升入上班。

创始于1863年3月11日（清同治二年正月廿二日）的“上海广方言馆”，是近代培养翻译和承办洋务人员的新式学校之一。就其培养目标及设立课程、专业而言，已具有近代“高等教育”的雏形。当年，“上海广方言馆”是由江苏巡抚李鸿章仿京师“同文馆”例，奏设于上海的。

1843年上海开埠以后，凭借独特的地理环境和开放包容的商业文化，迅速成为远东重要的通商口岸。然而与此地位不相匹配的是，上海缺乏一大批既懂外语，又懂商贸规则的本地职员。当时的怡和洋行从法国进口了一批用于摆饰的玻璃器皿，由于缺乏对“货越船舷风险转移”这一重要国际航运规则的认知，装卸工人竟将3箱已经破碎的器皿搬运下船，船东由此不再认账，直接导致接船验货的中国员工被罚俸3个月。小到个人生计，大至国家利益，此类因不懂外语或商贸规则受损吃亏的例子不胜枚举。因此，李鸿章奏请清政府于1863年设立“上海外国语言文字学馆”，简称“上海同文馆”，后于1867年改名为“上海广方言馆”。

“上海广方言馆”与1862年成立的“北京同文馆”有两点显著不同。第一，招生不限于贵族子弟，社会各界有志于学习洋务者，经考试合格皆可录取；第二，学习课程更为广泛，除英语、法语、俄语等语言课程以及必修的经学课程外，还包括西方科学技术和社会科学类课程，凸显出清政府发展科学技术的迫切性，以及培养商贸人才的实际需要。

上海同文馆自开馆以后一直重视英文教学。英文教习一职先后共有10位，除了刚开始由英国人傅兰雅（Dr. John Fryer）、美国人林乐知（Young John Allen）任职以外，后来一直由懂英文的中国人担当此任。历任的10位法文教习中，也有一半都是懂法文的中国人。两位德文教习之一是中国人。6位算学教习中有5人是中国人。历任汉文教习共22人，均由中国人担任。

开始时，仅设“英文”一馆，后加设“法文馆”、“算学馆”。1891年增设“天文馆”。校址初设于老城厢内旧学宫，即“敬业书院”西偏屋宇（今梧桐路），由书院山长冯桂芬总负责。1870年（同治八年）迁入高昌庙“江南机器制造局”（后为江南造船厂，今已划归“世博园区”）内。之后又设“翻译馆”、“东文馆”、“铁船馆”、“工艺学堂”等。由制造局总办兼任广方言馆总办，归两江总督及江海关道管辖。广方言馆招收14岁以下（后改15岁至20岁）“师禀颖悟、根器端静之文童”。定额40人，最多时达80人。分上、下两班，先入下班，一年后择优升入上班，专习一艺。学生学完后为“附生”，可以参加“科举考试”，并充任各衙门及海关“翻译官”。

1898年，江南制造局炮队营裁并，改名江南制造局附设“工艺学堂”。1905年，总督周馥以各省已设兼习外国文字的学堂，建议改为“广方言馆”，并且并入陆军部“兵工学堂”。至此，这所创办于原南市地区的上海第一所外国语学校“广方言馆”在办了42年之后终于结束。