Tair swydd wahanol sydd gan fotiau AI
Mae’r math cyntaf yn casglu tudalennau i hyfforddi’r modelau sydd y tu ôl i gynorthwyydd. Gall yr hyn y mae’n ei ddarllen ddylanwadu ar yr hyn y bydd model yn y dyfodol yn ei wybod, ond mater arall yw a fyddwch chi’n ymddangos mewn ateb, ac mae’r cwmnïau’n trin y ddau ar wahân. Botiau o’r math hwn yw GPTBot gan OpenAI a ClaudeBot gan Anthropic.
Mae’r ail fath yn adeiladu mynegai chwilio: y casgliad o dudalennau y bydd cynorthwyydd yn chwilio drwyddo cyn ateb. I fusnes bach, hwn sy’n cyfrif fwyaf. Os caiff ei droi i ffwrdd, bydd yn anoddach dod o hyd i chi yn yr atebion y mae pobl yn eu darllen, a hynny ar y gorau.
Nid ymlusgwr go iawn yw’r trydydd math. Mae’n nôl un dudalen am fod rhywun wedi gofyn cwestiwn na allai’r cynorthwyydd ei ateb hebddi: rhywun yn gludo cyfeiriad eich gwefan i ChatGPT i ofyn, yn Gymraeg, a yw eich siop lyfrau yng Nghaernarfon ar agor ddydd Llun Gŵyl y Banc, er enghraifft. Person sy’n darllen eich tudalen drwy beiriant yw hwnnw, ar yr union adeg y mae am wybod.
Mae ffeil robots.txt yn siarad â phob un o’r rhain wrth ei enw. Mae’r cwmnïau’n cyhoeddi’r enwau, a elwir yn docynnau user-agent, ac mae RFC 9309, y safon ar gyfer y ffeil, yn dweud wrth ymlusgwr am chwilio am y grŵp o reolau sy’n ei enwi a dilyn y grŵp hwnnw.
Pwy yw pwy: y botiau fesul cwmni
Mae gan OpenAI dri. Mae GPTBot yn casglu ar gyfer hyfforddi. OAI-SearchBot sy’n dod o hyd i’r gwefannau a ddangosir yn nodweddion chwilio ChatGPT, ac yn ôl OpenAI ni chaiff gwefan sy’n ei wrthod ei dangos yn yr atebion hynny, er y gall ymddangos o hyd fel dolen syml. ChatGPT-User yw’r un sy’n galw heibio pan fydd person yn gofyn. Mae OpenAI yn dweud bod pob gosodiad yn annibynnol ar y lleill, felly gallwch adael OAI-SearchBot i mewn a chadw GPTBot allan.
Mae Anthropic yn dilyn yr un patrwm: ClaudeBot ar gyfer hyfforddi, Claude-SearchBot ar gyfer y mynegai sydd y tu ôl i ganlyniadau chwilio Claude, a Claude-User ar gyfer tudalennau a gaiff eu nôl pan fydd rhywun yn holi Claude. Yn ôl Anthropic, gall troi’r naill neu’r llall o’r ddau olaf i ffwrdd olygu bod eich gwefan yn llai gweladwy pan fydd pobl yn chwilio drwy Claude.
Dau sydd gan Perplexity. Mae PerplexityBot yn adeiladu ei fynegai chwilio, ac mae Perplexity yn dweud nad yw’n cael ei ddefnyddio i gasglu cynnwys ar gyfer hyfforddi modelau sylfaen AI. Mae Perplexity-User yn nôl tudalen pan fydd ei hangen i ateb cwestiwn rhywun.
Mae Google ac Apple yn rheoli defnydd AI drwy docynnau yn hytrach na thrwy ymlusgwyr ar wahân. Nid ymlusgwr ynddo’i hun yw Google-Extended: ymlusgwyr arferol Google sy’n nôl y tudalennau, ac mae’r tocyn yn penderfynu a gaiff yr hyn a gasglwyd ei ddefnyddio i hyfforddi modelau Gemini ac fel sail i atebion yn apiau Gemini. Mae Google yn dweud nad yw’n effeithio dim ar eich lle yn Search nac ar eich safle yno, gan mai ar Googlebot y mae hynny’n dibynnu, a hynny ar gyfer y Trosolygon AI hefyd. Applebot yw ymlusgwr Apple ar gyfer chwilio yn Spotlight, Siri a Safari, ac mae Applebot-Extended yn gadael i chi wrthod hyfforddi modelau sylfaen Apple heb adael y canlyniadau hynny.
Y llinellau i’w hysgrifennu, ar gyfer pob dewis
Os ydych am i bopeth eich darllen, nid oes angen yr un rheol arnoch. Dan RFC 9309, mae ffeil sydd ar goll yn golygu y caiff ymlusgwyr nôl unrhyw beth, a chaniateir tudalen nad oes rheol yn cyfateb iddi. Os hoffech roi’r croeso ar ddu a gwyn, mae User-agent: * ac yna Allow: / yn gwneud hynny.
I aros yn yr atebion ond allan o’r hyfforddi, enwch y pedwar tocyn hyfforddi mewn un grŵp dan un rheol: User-agent: GPTBot, User-agent: ClaudeBot, User-agent: Google-Extended a User-agent: Applebot-Extended, pob un ar linell ar wahân, ac yna Disallow: /. Mae’r safon yn caniatáu i sawl llinell user-agent rannu’r rheolau oddi tanynt, ac nid yw’r ymlusgwyr chwilio na’r botiau sy’n nôl ar ran pobl yn cael eu cyffwrdd. Mae un gost i’w phwyso, a chost Google yw honno: mae’r un tocyn hefyd yn penderfynu a gaiff apiau Gemini dynnu ar eich tudalennau wrth ateb.
Y llinell i beidio â’i hysgrifennu yw User-agent: * ac yna Disallow: /. Mae’n gwrthod pob ymlusgwr heb grŵp o’i eiddo’i hun, gyda Googlebot a’r ymlusgwyr chwilio yn eu plith. Weithiau caiff ei gadael ar ôl o’r cyfnod pan oedd gwefan yn cael ei hadeiladu o’r golwg, ac os yw hi yn eich ffeil heb i neb ei dewis, dyna’r peth cyntaf i’w drwsio.
Mae grŵp sy’n enwi ymlusgwr yn disodli’r un cyffredinol. Pan fydd ymlusgwr yn gweld grŵp sy’n ei enwi, hwnnw’n unig y bydd yn ei ddilyn, gan anwybyddu’r rheolau a ysgrifennwyd ar gyfer pob ymlusgwr. Felly os ydych yn ychwanegu grŵp dim ond i groesawu OAI-SearchBot, copïwch iddo unrhyw reol yr hoffech iddo ei dilyn o hyd, fel cadw draw o’r fasged siopa.
Beth nad yw rhwystr yn robots.txt yn ei wneud
Nid yw’n cloi dim. Mae RFC 9309 yn dweud yn blaen nad yw ei reolau’n fath o awdurdodi mynediad: ceisiadau ydynt, y mae ymlusgwyr sy’n dilyn y safon yn cytuno i’w parchu. Gall unrhyw un ddarllen y ffeil hefyd, felly mae rhestru llwybr ynddi er mwyn ei guddio yn dangos i bobl yn union ble i edrych. Y tu ôl i gyfrinair y mae lle unrhyw beth preifat.
Efallai na fydd yn atal bot sy’n gweithredu ar ran person. Mae OpenAI yn dweud efallai na fydd rheolau robots.txt yn berthnasol i ChatGPT-User, gan mai defnyddiwr a ddechreuodd yr ymweliad, ac mae Perplexity yn dweud bod Perplexity-User fel arfer yn eu hanwybyddu am yr un rheswm. Anthropic yw’r eithriad: mae’n dweud bod Claude-User yn gadael i berchnogion gwefannau reoli pa wefannau y gall y ceisiadau hyn eu cyrraedd. Y naill ffordd neu’r llall, cwsmer sydd eisoes yn holi amdanoch sydd ar ei golled.
Nid yw’n gweithio’n ôl-weithredol. Mae Anthropic yn glir bod cyfyngu ar ClaudeBot yn arwydd y dylid cadw eich deunydd yn y dyfodol allan o’r hyfforddi, sy’n dweud dim am yr hyn a gasglwyd eisoes. Nid yw’n digwydd ar unwaith chwaith: mae OpenAI a Perplexity ill dau’n dweud y gall newid gymryd hyd at ryw ddiwrnod i gyrraedd eu systemau.
Edrychwch ar eich ffeil eich hun mewn deg munud
Teipiwch gyfeiriad eich gwefan ac yna /robots.txt mewn porwr. Mae’r safon yn gosod y ffeil yno, ar frig y wefan, ac yn rhoi ffeil ar wahân i bob parth ac is-barth. Felly mae gan siop ar is-barth, neu wefan Gymraeg ar gyfeiriad .cymru sydd ar wahân i’r un Saesneg ar .wales, ffeil arall i’w gwirio.
Does dim o’i le os yw’r porwr yn dweud nad yw’r ffeil yn bodoli, gan nad oes unrhyw beth yn cael ei wrthod wedyn. Mae gwall gweinydd yn stori wahanol. Mae RFC 9309 yn dweud wrth ymlusgwr sy’n methu cyrraedd y ffeil oherwydd nam ar y gweinydd am gymryd bod y wefan gyfan ar gau, felly gall cwmni gwe-letya sy’n baglu ar y cyfeiriad hwnnw guddio gwefan gyfan drwy ddamwain.
Efallai fod adeiladwr gwefannau, ategyn neu osodiad gan eich cwmni gwe-letya yn ysgrifennu neu’n newid y ffeil hon drosoch. Os oes un o’r llinellau isod yno heb i neb ei dewis, gofynnwch i bwy bynnag sy’n gofalu am y wefan ei thynnu allan.
Gallwch hefyd redeg yr asesiad am ddim ar y wefan hon. Mae’n darllen eich robots.txt ac yn enwi’r ymlusgwyr AI y mae’n eu gweld yn cael eu gwrthod, er mwyn i chi weld a yw’r ffeil yn dweud yr hyn a benderfynoch chi.
- Dim grŵp
User-agent: *gydaDisallow: /na ddewisodd neb - Dim rhwystr ar
OAI-SearchBot,Claude-SearchBot,PerplexityBot,GooglebotnacApplebot - Y tocynnau hyfforddi wedi eu gwrthod dim ond os mai dyna oedd eich penderfyniad
- Dim llinell
Disallowsy’n cuddio eich tudalennau Cymraeg, fel/cy/ - Ffeil wedi ei gwirio ar bob is-barth ac ar bob cyfeiriad iaith ar wahân
Cwestiynau cyffredin
A ddylwn i rwystro GPTBot?
Dim ond os nad ydych am i’ch tudalennau gael eu defnyddio i hyfforddi modelau OpenAI. Ymlusgwr hyfforddi OpenAI yw GPTBot, ac mae OpenAI yn dweud bod ei osodiadau’n annibynnol, felly mae ei wrthod yn gadael OAI-SearchBot, yr ymlusgwr sydd y tu ôl i chwilio ChatGPT, yn rhydd i’ch darllen. Cymysgwch y ddau a byddwch yn colli’r atebion tra bydd yr ymlusgwr hyfforddi’n dal ati.
A fydd rhwystro botiau AI yn fy nhynnu allan o Google?
Na fydd, os mai Google-Extended yw’r un a rwystrwch. Mae Google yn dweud nad yw’r tocyn hwnnw’n effeithio ar a ydych yn ymddangos yn Search, nac ar eich safle yno, ac mae’r Trosolygon AI yn rhan o Search, gyda’u dolenni ategol yn dod o dudalennau y mae Google wedi eu mynegeio. Mater arall yw rhwystro Googlebot, gan mai hwnnw sy’n darllen eich tudalennau ar gyfer Search, ac felly ar gyfer y Trosolygon AI hefyd.
A yw rhwystro ymlusgwr hyfforddi yn dileu’r hyn y mae eisoes wedi ei gasglu?
Nid yw’r un o’r ffynonellau a restrir yma yn dweud hynny. Mae Anthropic yn disgrifio rhwystr fel rhywbeth sy’n berthnasol i’ch deunydd o hyn ymlaen, nid i’r hyn a gasglwyd o’r blaen. Ystyriwch hyn yn benderfyniad am y dyfodol.
Beth am Microsoft Copilot?
Mae Microsoft yn mynd ati’n wahanol. Mae canllawiau Microsoft ar gyfer Bing yn rhoi’r rheolaeth mewn tag ar bob tudalen yn hytrach nag yn robots.txt: mae noarchive yn cadw cynnwys tudalen allan o ymatebion Copilot. Bingbot yw ymlusgwr chwilio Bing ei hun, felly mae ei wrthod yn benderfyniad am lawer mwy nag AI.
A oes angen ffeil robots.txt arnaf o gwbl?
Nac oes. Hebddi, caiff ymlusgwyr sy’n dilyn y safon ddarllen popeth, a dyna’n union y mae busnes sydd am gael ei ganfod yn chwilio amdano. Dim ond pan fydd rhywbeth i’w wrthod y mae angen y ffeil arnoch.