Ekstraktor URL
Wyodrębnij wszystkie URL i linki z nieustrukturyzowanego tekstu.
O ekstraktorze URL
Ekstraktor URL identyfikuje i wyodrębnia wszystkie URL i hiperłącza z nieustrukturyzowanego tekstu, kodu źródłowego HTML, Markdown, JavaScript lub zwykłej prozy, używając dopasowywania wzorców zgodnych z RFC 3986, które obsługuje złożone ciągi zapytań, fragmenty, międzynarodowe nazwy domen oraz schematy http i https. Przechwytuje również typowe wzorce gołych domen i linki mailto, jeśli są obecne. To narzędzie jest niezbędne do analizy treści internetowych, audytu SEO, badań bezpieczeństwa i zadań migracji danych, gdzie każdy link w dużym tekście musi zostać przechwycony bez ręcznego skanowania.
Jak Używać
Wklej dowolny tekst, kod źródłowy HTML, dokument Markdown lub plik logu zawierający URL do obszaru wejściowego. Narzędzie skanuje całą zawartość, wyodrębnia wszystkie prawidłowe URL, usuwa duplikaty i wyświetla czystą listę posortowaną według domeny. Filtruj wyniki według schematu (http, https, mailto) lub domeny, aby zawęzić dane wyjściowe. Użyj opcji „Copy All”, aby uzyskać listę URL oddzielonych nowymi liniami, lub „Download CSV”, aby wyeksportować z kolumnami metadanych do analizy wsadowej.
Typowe Zastosowania
- Specjaliści SEO wyodrębniający wszystkie linki wewnętrzne i zewnętrzne z kodu źródłowego HTML przeszukanych stron w celu identyfikacji uszkodzonych linków, audytu tekstu kotwicy lub budowania grafu linków witryny do analizy technicznej SEO
- Badacze bezpieczeństwa zbierający URL z HTML e-maili phishingowych, zaciemnionych ładunków JavaScript lub danych konfiguracyjnych złośliwego oprogramowania w celu identyfikacji domen C2 i łańcuchów złośliwych przekierowań
- Inżynierowie migracji treści wyodrębniający wszystkie hiperłącza z eksportów HTML starszych systemów CMS w celu generowania map przepisywania URL i zapewnienia, że żadne linki nie zostaną uszkodzone podczas przejść platformowych
- Deweloperzy API wyciągający URL punktów końcowych z dokumentów specyfikacji OpenAPI, eksportów kolekcji Postman lub repozytoriów kodu w celu audytu dostępnej powierzchni i budowania list pokrycia testów
- Dziennikarze danych i śledczy OSINT wyodrębniający wszystkie URL, do których odwołano się na zeskrobanych stronach internetowych lub w postach w mediach społecznościowych, aby systematycznie śledzić linki źródłowe i weryfikować twierdzenia