Caspar Wessel n’a publié qu’un seul mémoire de mathématique, qui fut le premier mémoire publié par l’Académie sans que son auteur en soit membre. Le mémoire est intitulé Om direktionens analytiske betegning, et forney, anrendt fornemmelig til plane og sphaeriske polygoners oplosning et se trouve dans le tome cinq des Mémoires de l’Académie royale des sciences et des lettres du Danemark, 2e série, 1799. Il a été présenté le 10 mars 1797.
L’objet du mémoire est une théorie du calcul de lignes déterminées en grandeur et en direction de manière à les exprimer par les symboles avec lesquels il calcule. C’est ce qui conduit Wessel à représenter par des nombres imaginaires lesdites lignes données en grandeur et en direction cinquante ans avant les travaux de Hamilton sur les quaternions dont pourtant le travail de Wessel est une des applications.
Dans ce mémoire, Wessel applique sa théorie à la démonstration d’un théorème de Cotes et à la résolution des polygones plans.
Le travail de Wessel est totalement ignoré pendant près d’un siècle, mentionné seulement par Jürgensen en 1843 parmi d’autres mémoires de l’Académie jugés sans grande importance scientifique, et c’est quasiment par hasard qu’il est mentionné dans une thèse de Christensen, Mathematikens udrikling i danmark oy Norge i det 18-aarkundrede, Odense, 1896 qui le tire définitivement de l’oubli.
Le mémoire de Wessel s’inscrit parmi diverses tentatives de représentation des nombres complexes de manière géométrique : Wallis, dans A treatise of algebra à la fin du xviie siècle, Henri Dominique Truel (1786), Wessel (1797), Gauss (1799), Buée (1806), Argand (Essai sur une manière de représenter des quantités imaginaires, 1806), Mourey (La vraie théorie des quantités négatives et des quantités prétenduement imaginaires, 1828), Français (1813), Vallès (1813), Bellavitis (1832), Faure, De Gap (1845), Saint-Venant, Scheffler ( Hermann Scheffler, Der Situationskalkül, 1851), Siebeck (Siebeck, « Über die graphische Darstellung imaginärer Funktionen », J. reine angew. Math., 1858), Dillner ( Geometrisk kalkyl… 1860-1861)… qui mènent Hamilton aux quaternions en 1866 et Cayley aux octonions.
Le mémoire de Wessel a été republié en français en 1897 à l’occasion de son centenaire sous le titre Essai sur la représentation analytique de la direction.