服务器之家:专注于服务器技术及软件下载分享
分类导航

云服务器|WEB服务器|FTP服务器|邮件服务器|虚拟主机|服务器安全|DNS服务器|服务器知识|Nginx|IIS|Tomcat|

服务器之家 - 服务器技术 - 服务器安全 - 如何使用Xurlfind3r查找目标域名的已知URL地址

如何使用Xurlfind3r查找目标域名的已知URL地址

2023-10-05 07:07未知服务器之家 服务器安全

关于xurlfind3r xurlfind3r是一款功能强大的URL地址查询工具,该工具本质上是一个CLI命令行工具,可以帮助广大研究人员从多种在线源来查询目标域名的已知URL地址。 功能介绍 1、从被动在线源获取URL地址以实现最大数量结果获取;

关于xurlfind3r

xurlfind3r是一款功能强大的URL地址查询工具,该工具本质上是一个CLI命令行工具,可以帮助广大研究人员从多种在线源来查询目标域名的已知URL地址。

功能介绍

1、从被动在线源获取URL地址以实现最大数量结果获取;

2、支持从Wayback网页和robots.txt快照解析URL地址;

3、支持URL匹配和过滤;

4、支持stdin和stdout已实现轻松跟工作流整合;

5、跨平台支持,支持Windows、Linux和macOS;

支持的在线源

AlienVault's OTX

BeVigil

Common Crawl

Github

Intelligence X

URLScan

Wayback Machine

工具安装

安装发布版本代码(不需要安装Go环境)

广大研究人员可以直接访问该项目的【Releases页面】下载和安装对应操作系统和架构的发布版本代码。

或者也可以使用wget或curl命令行工具来下载和安装xurlfind3r:

wget https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz

curl -OL https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz

然后提取代码即可:

tar xf xurlfind3r-<version>-linux-amd64.tar.gz

别忘了将xurlfind3r代码拷贝到PATH路径下,比如说:

sudo mv xurlfind3r /usr/local/bin/

源码安装(需要安装Go环境)

首先,我们需要在本地设备上安装并配置好最新版本的Go语言环境。接下来,使用go install命令下载该工具即可:

go install -v github.com/hueristiq/xurlfind3r/cmd/xurlfind3r@latest

除此之外,我们也可以先将项目源码克隆至本地:

git clone https://github.com/hueristiq/xurlfind3r.git

然后构建工具:

cd xurlfind3r/cmd/xurlfind3r && \

 go build .

工具配置

在使用该工具之前,我们还需要配置相应的API密钥,配置文件为config.yaml:

version: 0.3.0

sources:

    - bevigil

    - commoncrawl

    - github

    - intelx

    - otx

    - urlscan

    - wayback

keys:

    bevigil:

        - awA5nvpKU3N8ygkZ

    github:

        - d23a554bbc1aabb208c9acfbd2dd41ce7fc9db39

        - asdsd54bbc1aabb208c9acfbd2dd41ce7fc9db39

    intelx:

        - 2.intelx.io:00000000-0000-0000-0000-000000000000

    urlscan:

        - d4c85d34-e425-446e-d4ab-f5a3412acbe8

工具使用

-h参数可以直接查看工具的帮助选项:

xurlfind3r -h

帮助信息如下:

_  __ _           _ _____      

__  ___   _ _ __| |/ _(_)_ __   __| |___ / _ __

\ \/ / | | | '__| | |_| | '_ \ / _` | |_ \| '__|

 >  <| |_| | |  | |  _| | | | | (_| |___) | |

/_/\_\\__,_|_|  |_|_| |_|_| |_|\__,_|____/|_| v0.3.0

 

USAGE:

  xurlfind3r [OPTIONS]

 

INPUT:

 -d, --domain string[]              设置目标域名

 -l, --list string                    目标域名的列表文件路径

 

SCOPE:

     --include-subdomains bool       匹配子域名URL

 

SOURCES:

      --sources bool                 列举支持的源

 -u,  --use-sources string[]          要使用的源,用逗号分隔

 -e,  --exclude-sources string[]       要排除的源,用逗号分隔

      --parse-wayback-robots bool    使用wayback,解析robots.txt快照

      --parse-wayback-source bool    使用wayback,解析源代码快照

 

FILTER & MATCH:

 -f, --filter string                    正则式过滤URL

 -m, --match string                 正则式匹配URL

 

OUTPUT:

     --no-color bool               禁用颜色高亮输出

 -o, --output string                输出URL文件路径

 -O, --output-directory string      输出URL目录路径 

 -v, --verbosity string            Verbose模式,默认为info

 

CONFIGURATION:

 -c,  --configuration string   配置文件路径(默认为~/.hueristiq/xurlfind3r/config.yaml)

工具使用样例

基础使用:

xurlfind3r -d hackerone.com --include-subdomains

过滤器正则表达式:

# filter images

xurlfind3r -d hackerone.com --include-subdomains -f '`^https?://[^/]*?/.*\.(jpg|jpeg|png|gif|bmp)(\?[^\s]*)?$`'

匹配正则表达式:

# match js URLs

xurlfind3r -d hackerone.com --include-subdomains -m '^https?://[^/]*?/.*\.js(\?[^\s]*)?$'

许可证协议

本项目的开发与发布遵循MIT开源许可证协议。

项目地址

xurlfind3r:【GitHub传送门】

参考资料

https://msdn.microsoft.com/en-us/library/office/ee537574(v=office.14).aspx

https://bevigil.com/

https://github.com/

https://intelx.io/

https://urlscan.io/

https://otx.alienvault.com/

https://archive.org/web/

https://commoncrawl.org/

本文作者:Alpha_h4ck,转载请注明来自FreeBuf.COM

延伸 · 阅读

精彩推荐