Am einfachsten wäre es, die bekannteste und häufigste Ursache für "seitliches Ziehen" am Lenker auszuschließen: Ein minimal schräg eingespanntes Vorderrad.

Dazu Fahrrad auf die Räder stellen und eventuell durch zweite Person gerade halten lassen. Öffnest Du den Schnellspanner bzw. die Radmuttern am Vorderrad, lässt sich das Rad - obwohl es scheinbar korrekt in der Gabel sitzt - minimal seitlich bewegen. Dazu oben am Gabelkopf seitlich gegen die Felge drücken. (Lagerspiel ist damit nicht gemeint und soll nicht vorhanden sein). 1 mm in der falschen Richtung eingespannt, genügt für den von Dir beschriebenen Effekt. Beim Hinterrad ist der Effekt geringer, weil die Gabel durch Biegung und Nachlauf jede Asymmetrie stärker spürbar werden lässt.

Alle anderen Ursachen sind seltener (z.B. Gabel oder Rahmen verzogen) oder haben geringere bzw. kaum Auswirkungen (z.B. asymmetrische Beladung). Viel Spaß bei den Testfahrten.