La taille incroyable est toute aussi impressionnante que son grand âge. La première section du canal remonte probablement au 6ème siècle avant JC, reliant le fleuve Jaune près de Kaifeng, aux rivières Si et Bian dans la province du Henan. Une autre section du Grand Canal, connue sous le nom de Han Gou, au début de la période des royaumes combattants, au 5e siècle avant JC.
Le Grand Canal lui-même a été combiné en une grande voie d'eau pendant le règne de la dynastie Sui (581-618). En 604, l'empereur décide de transférer la capitale impériale de Xi'an vers Luoyang. En 605, il ordonne la construction d'un grand canal allant de Pékin à Hangzhou.
Il faudra au moins cinq années de travaux pour relier les deux villes, connectant cinq rivières et traversant quatre provinces. Au moins cinq millions de personnes, dont des femmes et des enfants, ont été enrôlées dans le projet. Le coût en vies humaines a été énorme, peut-être deux millions de travailleurs sont morts.
Les Sui ont cherché à relier directement le nord et le sud de la Chine afin de pouvoir expédier des céréales entre les deux régions. Cela les aida à surmonter les mauvaises récoltes et la famine locales, ainsi qu'à approvisionner leurs armées qui étaient stationnées loin de leurs bases du sud. Le chemin le long du canal servait également d'autoroute impériale, et les bureaux de poste installés tout au long du chemin servaient le système de courrier impérial.
La plus grande partie du canal a été réalisée sur une largeur impressionnante de 40 mètres. Les bateaux étaient tirés par des attelages de boeufs, de chevaux ou d'hommes le long d'un chemin de halage. Bien que le Grand Canal soit une puissante artère de transport, les déplacements sont très lents, avec des temps de parcours d'environ un an d'un bout à l'autre.
Comme le Nil en Égypte, le Grand Canal a servi de ligne de vie vitale pour l'alimentation du sud agricole vers le nord urbain.
A l'époque de la dynastie Tang (618-907), plus de 150 000 tonnes de céréales voyageaient chaque année sur le Grand Canal. Cependant l'ouvrage représentait aussi bien un danger qu'un avantage pour les personnes qui vivaient à ses abords. En 858, une terrible inondation s'est déversée dans le canal et a noyé des milliers d'hectares dans la plaine de Chine du Nord, tuant des dizaines de milliers de personnes.
Marco Polo, en visite sous la dynastie des Yuan, a été très impressionné par le système de transport des énormes barges tirées par des équipes de chevaux sur le chemin de halage. Mais le plus gros inconvénient du canal est qu'il avait besoin d'un entretien régulier et coûteux pour rester navigable.
La dynastie Ming (1368-1644) et la Qing (1644 - 1911) ont toutes deux maintenu le Grand Canal en état de fonctionnement. Mais il a fallu littéralement des dizaines de milliers de travailleurs pour maintenir l'ensemble du système dragué et fonctionnel chaque année ; l'exploitation des barges à grains a nécessité plus de 120 000 soldats supplémentaires.
A la fin de la dynastie Qing, l'entretien du canal n'a pas été maintenu, une partie du canal s'est envasée et a empêché le transport du grain par bateau. Il a ensuite connu un déclin rapide, remplacé par les chemins de fer et le commerce maritimes devenus plus économique.
Cependant, la République Populaire de Chine a investi massivement dans la réparation et la reconstruction des sections endommagées et négligées du canal. Sa partie Sud, comme de nombreux systèmes de canaux dans le monde, est aujourd'hui plus une attraction touristique qu'un système de transport.
En 2014, l'UNESCO a inscrit le Grand Canal de Chine au patrimoine mondial de l'humanité. Bien qu'une grande partie du canal historique soit visible et que de nombreux tronçons soient des destinations touristiques populaires, actuellement seule la partie située entre Hangzhou, dans la province du Zhejiang, et Jining, dans la province du Shandong, est navigable. Cela représente une distance d'environ 800 kilomètres.