Nova poruka

Robots.txt i disallow dodatnih stranica tagova

poruka: 1: |
čitano: 3.116: |
moderatori: Lazarus Long, XXX-Man, vincimus

1

+/- sve poruke
ravni prikaz
starije poruke gore

CroDexter

15 godina

protjeran

offline

sri 22.2.2023 11:30

Odgovori Citiraj

Robots.txt i disallow dodatnih stranica tagova

Želim zabraniti crawlanje svih tag stranica koje dolaze nakon prve/osnovne stranice taga

Primjer zabrane:

/tag/xbox/page/2/

/tag/xbox/page/3/

Da li bi ovo bila dobra sintaksa?

Disallow: /tag/*/page/*

I ako netko ima nekakav prijedlog kako da ih označim kao no-index

Koristim Yoast i on naravno kaže za cijeli tag da li je index ili no-index

Hvala

trajni link

0 0 hvala 0

1

Nova poruka

02:02 Vozači električnih automobila u Hrvatskoj mijenjaj
01:12 Sony PlayStation 5
00:20 AI prepoznaje aromatske note i razlikuje viskije a
00:08 Klima uređaj - pitanje
00:05 Intel Club (opća tema o procesorima)
00:03 Bodybuilding - od početnika do naprednih
23:28 Elon Musk zbog „varanja” izbačen iz Path of Exilea
23:15 The Witcher 4
22:09 Posljednji film koji ste gledali - preporuka?
22:08 Windows 11 - problemi
21:43 Koju seriju trenutno pratite?
21:42 Slušalice za glazbu - tema za izbor
21:27 Youtube premium
21:14 MMA (Mixed Martial Arts)
20:58 Samsung 990 EVO Plus 4 TB - Brz, hladan i nepoderi
20:53 Sklapanje PC konfiguracija - od 1000 do 1300 EUR
20:45 Anycubic Kobra 2 - 3D pisač iz snova – za profesi
20:44 4G/5G routeri, mobilni hotspot, antene
20:37 Slušaona
20:34 Brojke ne lažu: Waymovi robotaksiji sigurniji od l
20:24 Fantastika i SF (knjige)
20:20 Kruh od šturaka – za dobro zdravlje
18:43 Opasni pametni satovi: studija otkriva štetne kemi
18:34 GeForce NOW-općenito
18:32 Ultimativna tema za odabir prijenosnika
18:18 Popusti, akcije i dobre ponude za igre
15:58 Popusti, akcije i dobre ponude[Hardver] - P&O
15:55 Vaš audio kutak
15:46 Acquisitum Magnum - ADM
15:43 Irska kaznila Metu s 251 milijun eura zbog propust
14:09 Nove zračne restrikcije u New Jerseyju zbog prijav
14:06 AMD Ryzen 5000G AM4 Cezanne APU
14:04 AMD Ryzen procesori (opća tema)
13:40 Model o3: Sporiji ali mudriji, promišljeno usklađu
11:09 Koji monitor kupiti
10:42 Auti - ultimativna tema
09:47 Dobra i loša iskustva iz BOL Forum oglasnika
09:43 Psi bez nadzora-zakon
09:21 Slike vašeg Hardvera
09:16 Vodič za odabir grafičke kartice
08:57 Popusti, akcije i dobre ponude[Hardver]
08:41 Googleov Street View pomogao u rješavanju slučaja
08:35 S.T.A.L.K.E.R. 2: Heart of Chornobyl
08:25 Esim za Apple Watch uređaje
00:13 'Društvene mreže nisu razlog za pandemiju anksiozn
20.12. Izvanzemaljci - Vjerovanja i otkrića
20.12. Nosite li sat?
20.12. Pozivnice za privatne torrent trackere
20.12. Pomoćnik za programiranje GitHub Copilot dostupan
20.12. Vaš Desk
20.12. Telemach – Fiksne i mobilne usluge [Rasprava]
20.12. Rudari - savjeti, postavke, rasprava i sl.
20.12. Koji tablet da uzmem?
20.12. Samsung Galaxy S25/S25+/S25 Ultra - [Rasprava]
20.12. Temu - internet shop, iskustva
20.12. Uputa: Stremio+RealDebrid+Torrentio streaming
20.12. EA Sports FC 25
20.12. Novi MAXTV reciver
20.12. AMD Catalyst/Crimson/Adrenalin - Topic o Driverima
20.12. Soundbar-preporuka
20.12. Roborock Qrevo Curv - Nove tehnologije za još čišć
20.12. Hrvatska pošta potvrdila: Određene usluge poskuplj
20.12. Samsung Galaxy S25 Ultra imat će najtanje rubove z
20.12. Sklapanje PC konfiguracija - iznad 1300 EUR
20.12. PRIJELOMNA VIJEST: YouTube ukida obmanjujući sadrž
20.12. Novo istraživanje otkriva pojavu "lažnog usklađiva
20.12. A1 HomeBox TELEFON+INTERNET
20.12. Biciklizam, bicikli, oprema, staze...
20.12. Blu-ray prešao u nišu: LG prekida proizvodnju play
20.12. Path of Exile 2
20.12. WeTransfer uveo mjesečna ograničenja za besplatno
20.12. Dvi na DP
20.12. Mercku M6s - kanadski mesh Wi-Fi za moderni dom il

vrh stranice