O patriarca desafiava algumas das visitas que recebia em Ferney para disputar uma partida de xadrez. Em maio de 1760, um de seus hóspedes, assim comentava em uma carta endereçada a Marmontel: "Gaulard poliment joue aux échecs avec Voltaire qui adore ce jeu, mais a horeur de perdre. Goulard sait perdre, aussi Voltaire le trouve-t-il pleins de qualités." ("Gaulard joga educadamente com Voltaire que adora este jogo, mas tem horror de perder, por isso Voltaire o considera cheio de qualidades.")
O parceiro favorito de Voltaire era o padre Adam. Em carta datada de 12 de fevereiro de 1764, lemos: "Je les aime [les échecs] je me passionne et le père Adam qui est une bête m´y gagne sans cesse, sans pitié! Tout a des bornes!pourquoi suis-je aux échecs et pour lui le dernier des hommes?Tout a des bornes..." ("Gosto muito, sou fascinado por xadrez e o pai Adam, que é uma besta, ganha de mim sem parar, sem piedade! Tudo tem limites!").
