Tā dēvētais poļu laiks Latgales attīstībā bija ļoti nozīmīgs, jo tieši šajos 200 gados Latgale ieguva sev tos raksturīgos vaibstus, kas saglabājušies līdz pat mūsdienām. 1561. gadā pēc Viļņas ūnijas noslēgšanas Latgale nonāca Pārdaugavas hercogistes sastāvā. 1577. gadā Livonijas kara laikā Krievijas cars Ivans Briesmīgais izpostīja Latgali un aizveda gūstā daudzus tās iedzīvotājus. 1577. gada 11. augustā iebrucēji iekaroja un pilnībā sagrāva Dinaburgas pili un tirdzniecības apmetni pie tās. Krievi uzcēla jaunu cietoksni 19 km lejup pa Daugavu no vecās pils, kur atrodas tagadējā Daugavpils. 1582. gadā Krievija bija spiesta atteikties no Latgales, kas nonāca Polijas un Lietuvas kopvalsts ietekmē un ietilpa Pārdaugavas hercogistes sastāvā. 1629. gadā pēc Altmarkas miera līguma Latgale (Inflantijas vaivadija (województwo inflanckie), saukta arī par „Poļu Vidzemi”), tika atdalīta no Vidzemes, kas palika Zviedrijas pārvaldē. 1654. gadā Latgalē iebruka Krievijas cars Aleksejs Mihailovičs. 1656.-1667. gada Otrā Ziemeļu kara laikā krievi okupēja Latgales dienvidu daļu un pārdēvēja Daugavpili par Borisogļebsku. 1656. gadā zviedri nopostīja Rēzeknes pili, kas vairs netika atjaunota. 1660. gadā pēc Olivas miera līguma zviedri atstāja Latgali, kas palika Polijas-Lietuvas sastāvā. 1667. gadā pēc Andrusovas pamiera noslēgšanas krievu okupēto Latgales daļu atdeva atpakaļ Polijai-Lietuvai.
1677. gadā Dinaburga kļuva par Inflantijas vojevodistes administratīvo centru un katoļu bīskapa rezidenci. 1700. gadā Lielā Ziemeļu kara laikā Dinaburgā pārziemoja sakšu karaspēks. 1710. gadā Latgales teritorijā plosījās mēris.
Nonākot poļu pārvaldībā, visa administratīvā sistēma tika mainīta atbilstoši Polijas valstiski noteiktajai kārtībai. “Pēc Altmarkas pamiera (1629) daļa Pārdaugavas hercogistes uz austrumiem no Aiviekstes palika Žečpospolitas valdījumā un ieguva nosaukumu Inflantija (šo nosaukumu lietoja līdz 20.gs. sākumam). Sākumā tā bija vaivadija, bet no 1677. - patstāvīga administratīva vienība. Tajā ietilpa 4 stārastijas jeb trakti - Daugavpils, Rēzeknes, Ludzas un Viļakas, kurus pārvaldīja Žečpospolitas karaļa iecelti stārasti. Daugavpils stārasts vienlaikus bija arī visas Latgales stārasts ar vaivada tiesībām. Daugavpilī mita arī kastelāns - piļu pārzinis, un Livonijas bīskaps. Šīs 3 amatpersonas vaivads, kastelāns un bīskaps bija arī Žečpospolitas senāta locekļi. Latgales pašpārvalde jeb seimiks sanāca Daugavpilī.
Kopš 1677. gada Latgalē spēkā stājās Lietuvas Statūts. Tas bija Lietuvas Liekņazistes tiesību krājums, kura likumiskais spēks tapa trīs redakcijās (1529., 1566. un 1588. gadā) darbojās no 1529. gada līdz 1840. gadam. Vēsturnieki un sabiedrisko norišu pētnieki to atzinuši par vieno no labākajiem tā laika likumdošanas aktiem tā laika Eiropā. Dzeršanas apkarošanu savās rokās ņēma jezuīti, kas gan tiešā veidā mēģināja “vest dzērājus pie prāta”, ar Dieva vārda palīdzību skaidrojot visas tās sekas, kas piemeklēs gan dzērāju pašu, gan viņa tuviniekus. Jezuīti bija arī pirmie, kas izdeva pirmos drukātos izdevumus alkoholisma apkarošanai Latgalē.