О новом краулере Google

Вице-президент Google Дэниель Ромейн объявила о появлении нового краулера Google-Extended, который сканирует контент для использования в системах искусственного интеллекта. 

Так что, если не хотите, чтоб на вашем контенте обучались Bard и Vertex, запрещайте в файле robots.txt сканирование сайта для User-Agent: Google-Extended

Share this