LIMB
Время от времени вам может понадобиться извлечь список URL-адресов из веб-поиска Google для определенного поискового запроса.
Наиболее распространенной причиной этого (по крайней мере, по моему опыту) является получение списка всех URL-адресов, которые Google проиндексировал для вашего домена. Сам этот процесс может быть полезен по ряду причин: от анализа видимых заголовков и метаописаний до поиска индексации мошеннических или избыточных URL-адресов.
Опытные пользователи и веб-мастера знают, что сложно получить окончательный список проиндексированных URL-адресов непосредственно из Google. Google Search Console (ранее Webmaster Tools) предлагает «Статус индекса», который дает представление о количестве проиндексированных URL-адресов, исторических тенденциях и различных фильтрах. Они также дают представление о доле индексированных URL-адресов из любых отправленных файлов Sitemap. Но ни один из них на самом деле не предоставляет окончательный список URL-адресов, которые Google проиндексировал для вашего домена.
Конечно, вы можете извлечь данные вручную с помощью оператора поиска «site:» и скопировать/вставить результаты. Это нормально, если вы работаете с относительно небольшим количеством URL-адресов, но попытка применить этот подход для более чем 10 результатов может стать несколько утомительной — даже извлечение 10 результатов вручную может быть скучным!
А что, если я скажу вам, что можно извлечь список URL-адресов из SERP за несколько щелчков? Вы же мне не поверите, верно? Неправильно! С помощью этого небольшого букмарклета, который я изначально адаптировал для High Position из похожего инструмента Лиама Делаханти, вы сможете извлекать информацию об URL-адресах и тексте якоря с минимальными усилиями.
Как извлечь URL-адреса веб-поиска Google
Начну с того, что в этом подходе нет ничего магического или вредоносного. Мы будем использовать JavaScript bookmarlet для обработки результатов поиска, предоставленных Google, в сочетании с отличным плагином Chrome для плавной прокрутки нескольких страниц результатов поиска.
Вот как это сделать.
Используйте Chrome. Если вы не используете Chrome, вы можете загрузить его здесь. Если вы предпочитаете не использовать Chrome, сам bookmarlet будет работать с другими браузерами, но мы будем использовать плагин, недоступный в других браузерах (насколько мне известно!).
Установите плагин ginfinity для Chrome. Это снимет ограничение на количество результатов поиска на странице, плавно добавив следующую страницу результатов поиска к текущему списку SERPS — по сути, создавая бесконечную прокрутку SERP.
Перейдите в Google и выполните свой поисковый запрос. Если вы извлекаете URL-адреса для своего домена, используйте оператор поиска по сайту, например, «site:chrisains.com».
Если вы работаете с большим сайтом с сотнями URL-адресов, вам, вероятно, будет полезно увеличить количество результатов поиска на странице. По умолчанию Google настроен на возврат 10 результатов, но вы можете переопределить это значение до максимума в 100. Для этого:
Это ограничит количество запросов к результатам поиска Google. Допустим, например, что ваш домен имеет 200 проиндексированных страниц. При 10 результатах на страницу вам нужно будет запросить Google 20 раз, но при 100 результатах на страницу вы запросите Google только дважды. Это ограничит вероятность предупреждающих сообщений о «необычном трафике из вашей компьютерной сети», которые вы можете получить, если будете постоянно запрашивать Google.
5. Далее вернитесь на страницу результатов поиска Google для вашего конкретного запроса. Если вы действительно запрашиваете результаты более 100, вы должны увидеть, что gInfinity добавляет следующую страницу результатов поиска к текущей странице:
Продолжайте прокручивать, пока не увидите одну страницу, содержащую все результаты поиска по вашему запросу.
6. Перетащите следующий букмарклет на панель инструментов «Закладки» в Chrome (вы также можете сделать это в большинстве современных браузеров).
7. После того, как вы разместили букмарклет на панели инструментов и убедились, что у вас есть список Google SERPS перед вами, щелкните по букмарклету. Букмарклет на основе JavaScript откроется в новом окне и отобразит все URL-адреса и тексты якорей в списке
8. Миссия выполнена!
Вот и все. Теперь вы сможете извлечь список всех URL-адресов веб-сайтов, проиндексированных в Google для вашего домена.
Пожалуйста, имейте в виду, что Google постоянно меняет способ отображения результатов поиска. Это означает, что кодировка, используемая для создания букмарклета, может перестать работать, когда Google изменит релиз. Когда это произойдет, я постараюсь обновить код, но если кто-то заметит, что он не работает, пожалуйста, дайте мне знать!
Код букмарклета извлечения
На случай, если кто-то захочет адаптировать код, вот код JavaScript, который я использовал для создания букмарклета.
Наиболее распространенной причиной этого (по крайней мере, по моему опыту) является получение списка всех URL-адресов, которые Google проиндексировал для вашего домена. Сам этот процесс может быть полезен по ряду причин: от анализа видимых заголовков и метаописаний до поиска индексации мошеннических или избыточных URL-адресов.
Опытные пользователи и веб-мастера знают, что сложно получить окончательный список проиндексированных URL-адресов непосредственно из Google. Google Search Console (ранее Webmaster Tools) предлагает «Статус индекса», который дает представление о количестве проиндексированных URL-адресов, исторических тенденциях и различных фильтрах. Они также дают представление о доле индексированных URL-адресов из любых отправленных файлов Sitemap. Но ни один из них на самом деле не предоставляет окончательный список URL-адресов, которые Google проиндексировал для вашего домена.
Конечно, вы можете извлечь данные вручную с помощью оператора поиска «site:» и скопировать/вставить результаты. Это нормально, если вы работаете с относительно небольшим количеством URL-адресов, но попытка применить этот подход для более чем 10 результатов может стать несколько утомительной — даже извлечение 10 результатов вручную может быть скучным!
А что, если я скажу вам, что можно извлечь список URL-адресов из SERP за несколько щелчков? Вы же мне не поверите, верно? Неправильно! С помощью этого небольшого букмарклета, который я изначально адаптировал для High Position из похожего инструмента Лиама Делаханти, вы сможете извлекать информацию об URL-адресах и тексте якоря с минимальными усилиями.
Как извлечь URL-адреса веб-поиска Google
Начну с того, что в этом подходе нет ничего магического или вредоносного. Мы будем использовать JavaScript bookmarlet для обработки результатов поиска, предоставленных Google, в сочетании с отличным плагином Chrome для плавной прокрутки нескольких страниц результатов поиска.
Вот как это сделать.
Используйте Chrome. Если вы не используете Chrome, вы можете загрузить его здесь. Если вы предпочитаете не использовать Chrome, сам bookmarlet будет работать с другими браузерами, но мы будем использовать плагин, недоступный в других браузерах (насколько мне известно!).
Установите плагин ginfinity для Chrome. Это снимет ограничение на количество результатов поиска на странице, плавно добавив следующую страницу результатов поиска к текущему списку SERPS — по сути, создавая бесконечную прокрутку SERP.
Перейдите в Google и выполните свой поисковый запрос. Если вы извлекаете URL-адреса для своего домена, используйте оператор поиска по сайту, например, «site:chrisains.com».
Если вы работаете с большим сайтом с сотнями URL-адресов, вам, вероятно, будет полезно увеличить количество результатов поиска на странице. По умолчанию Google настроен на возврат 10 результатов, но вы можете переопределить это значение до максимума в 100. Для этого:
Не удалось прогрузить медиа
Это ограничит количество запросов к результатам поиска Google. Допустим, например, что ваш домен имеет 200 проиндексированных страниц. При 10 результатах на страницу вам нужно будет запросить Google 20 раз, но при 100 результатах на страницу вы запросите Google только дважды. Это ограничит вероятность предупреждающих сообщений о «необычном трафике из вашей компьютерной сети», которые вы можете получить, если будете постоянно запрашивать Google.
Не удалось прогрузить медиа
5. Далее вернитесь на страницу результатов поиска Google для вашего конкретного запроса. Если вы действительно запрашиваете результаты более 100, вы должны увидеть, что gInfinity добавляет следующую страницу результатов поиска к текущей странице:
Не удалось прогрузить медиа
Продолжайте прокручивать, пока не увидите одну страницу, содержащую все результаты поиска по вашему запросу.
6. Перетащите следующий букмарклет на панель инструментов «Закладки» в Chrome (вы также можете сделать это в большинстве современных браузеров).
Не удалось прогрузить медиа
7. После того, как вы разместили букмарклет на панели инструментов и убедились, что у вас есть список Google SERPS перед вами, щелкните по букмарклету. Букмарклет на основе JavaScript откроется в новом окне и отобразит все URL-адреса и тексты якорей в списке
8. Миссия выполнена!
Вот и все. Теперь вы сможете извлечь список всех URL-адресов веб-сайтов, проиндексированных в Google для вашего домена.
Пожалуйста, имейте в виду, что Google постоянно меняет способ отображения результатов поиска. Это означает, что кодировка, используемая для создания букмарклета, может перестать работать, когда Google изменит релиз. Когда это произойдет, я постараюсь обновить код, но если кто-то заметит, что он не работает, пожалуйста, дайте мне знать!
Код букмарклета извлечения
На случай, если кто-то захочет адаптировать код, вот код JavaScript, который я использовал для создания букмарклета.
Code:
javascript:(function(){
output='<html><head><title>SEO SERP Extraction Tool</title><style type=\'text/css\'>body,table{font-family:Tahoma,Verdana,Segoe,sans-serif;font-size:11px;color:#000}h1,h2,th{color:#405850}th{text-align:left}h2{font-size:11px;margin-bottom:3px}</style></head><body>';
output+="<table><tbody><tr><td><a href=\'https://www.chrisains.com\'><img src=\'https://www.chrisains.com/wp-content/uploads/2015/06/chrisains.com-logo1.png\'></a></td><td><h1>SEO SERP Extraction Tool</h1></td></tr></tbody></table>";
pageAnchors=document.getElementsByTagName('a');
divClasses=document.getElementsByTagName('div');
var%20linkcount=0;var%20linkLocation='';
var%20linkAnchorText='';
output+='<table><th>ID</th><th>Link</th><th>Anchor</th>';
for(i=0;i<pageAnchors.length;i++){
if(pageAnchors[i].parentNode.parentNode.getAttribute('class')!='iUh30'){
var%20anchorText%20=%20pageAnchors[i].textContent;
var%20anchorLink%20=%20pageAnchors[i].href;
var%20linkAnchor%20=%20anchorLink%20+%20'\t'+anchorText;
var%20anchorID%20=%20pageAnchors[i].id;
if(anchorLink!=''){
if(anchorLink.match(/^((?!google\.|cache|blogger.com|\.yahoo\.|youtube\.com\/\?gl=|youtube\.com\/results|javascript:|api\.technorati\.com|botw\.org\/search|del\.icio\.us\/url\/check|digg\.com\/search|search\.twitter\.com\/search|search\.yahoo\.com\/search|siteanalytics\.compete\.com|tools\.seobook\.com\/general\/keyword\/suggestions|web\.archive\.org\/web\/|whois\.domaintools\.com|www\.alexa\.com\/data\/details\/main|www\.bloglines\.com\/search|www\.majesticseo\.com\/search\.php|www\.semrush\.com\/info\/|www\.semrush\.com\/search\.php|www\.stumbleupon\.com\/url|wikipedia.org\/wiki\/Special:Search).)*$/i)){
if(anchorID.match(/^((?!hdtb_more|hdtb_tls|uh_hl).)*$/i)){
linkLocation+=anchorLink+'<br%20/>';
linkAnchorText+=anchorText+'<br%20/>';
linkcount++;
if%20(anchorText%20===%20undefined)%20anchorText%20=%20pageAnchors[i].innerText;output+='<tr>';
output+='<td>'+linkcount+'</td>';
output+='<td>'+pageAnchors[i].href+'</a></td>';
output+='<td>'+anchorText+'</td>';
output+='</tr>\n';
}
}
}
}
}
output+='</table><br/><h2>URL%20List</h2><div>';
output+=linkLocation;output+='</div><br/><h2>Anchor%20Text%20List</h2><div>';
output+=linkAnchorText;output+='<br/>%C2%A0<br/><p%20align=center><a%20href=\'https://www.chrisains.com\'>www.chrisains.com</a></p>';
with(window.open()){document.write(output);document.close();}})();
👍7
🤔1
😢1