Pour qualifier la terreur qui affecte Robinson Crusoé, celle de mourir vivant dévoré par des bêtes sauvages ou des cannibales, Derrida utilise le mot fantasme. C'est un mot qui, dans son texte, a un statut particulier. Il s'agit de mourir tout en étant présent à sa mort, ou bien de survivre après sa mort effective, des situations impossibles, contradictoires, qui ne peuvent survenir qu'en pensée c'est-à-dire, en l'occurrence, en fantasme. La pensée pour Derrida se distingue de l'intellect, elle n'est pas structurée en oppositions logiques ou binaires. On ne peut pas intellectualiser le fantasme, mais on peut le penser. Dans un fantasme, on fait comme si des choses incompatibles pouvaient coexister, par exemple comme si le mort pouvait rester vivant après sa mort, comme s'il pouvait rester du vivant quelque chose comme l'esprit, le spectre ou l'âme. Mais il ne reste rien, et pourtant le fantasme continue à figurer cet inconcevable. Le sens commun l'exclut, le principe de réalité l'interdit, mais voilà, nous continuons à être affectés par ce que nomme le fantasme. On sait que la mort est incompatible avec la vie, c'est imprésentable, irreprésentable, et ça insiste. Derrida fait un usage du mot fantasme qui selon lui n'est ni philosophique, ni psychanalytique, puisqu'il s'agit simplement de supporter soi-même l'insupportable.

Une vraie jeune fille (Catherine Breillat, 1976).

Pourtant cet usage du mot fantasme n'est pas sans rapport avec ce que dit Freud : un concept-limite entre psychique et somatique, entre âme et corps, en un lieu sans lieu, ubiquitaire et insituable, devient, comme pour la pulsion, un non-concept. Entre un système qui exclut la contradiction (le conscient) et un autre système qui n'est pas affecté par elle (l'inconscient), quelque chose d'analogue ou de comparable s'échange, sans que cette chose puisse être définie. Pour Derrida, ce n'est pas la fin de la pensée, c'est son commencement, si elle a le courage d'y séjourner, en prenant son temps. Sans cela on ne peut rien dire du symptôme et du refoulement - qui lui aussi est à peine pensable.