Lacan s'appuie sur le récit d'Edgar Poe traduit par Baudelaire : La lettre volée. Le ministre a volé à la reine une lettre compromettante. Il la cache chez lui à l'endroit le plus visible : face à son bureau, à peine déguisée. La police cherche partout, elle quadrille complètement la pièce, mais ne la trouve pas, comme si la lettre n'avait pas de lieu. Elle n'est nulle part, c'est-à-dire en aucun endroit où l'on cache usuellement des lettres (selon la police, qui ne voit rien). La lettre a des rapports bizarres (odd), singuliers, avec le lieu : ceux-là même qu'entretient le signifiant. On ne peut ni la localiser, ni la quantifier. Elle ne se situe pas dans l'espace comme un objet réel - qui ne change pas de lieu -, mais comme comme un objet symbolique, qui manque à sa place. En anglais, les deux mots letter (lettre) et litter (ordure) sont homophones. La lettre ne s'épuise pas dans son sens : il reste un texte. Les paroles s'envolent, les écrits restent : mais comme des déchets dépourvus de sens et de fonction. Quel que soit son message, elle est le symbole d'un pacte dans une chaîne symbolique. Elle a un trajet qui lui est propre, qui peut être détourné, prolongé (en anglais, le titre du conte est The purloined letter) selon un automatisme de répétition. Ce qui fait sa singularité, c'est que, dans ses déplacements, le signifiant prévaut sur le signifié.

Derrida critique ce "trajet propre" de la lettre lacanienne. C'est une contrainte logocentrique : pour garder la place du manque (c'est-à-dire du phallus ou de la castration), il faudrait qu'elle soit indivisible et identique à elle-même - ce qu'il conteste.