chaosreader: snoop的新生命


在Solaris系統下，有一個系統內置的網絡數據分析和診斷工具snoop，可以抓取以太網中的
數據包進行分析，功能和大名鼎鼎的Tcpdump與Sniffer Pro類似。snoop早在SunOS 4.x
開始就作為SunOS系統的內置命令存在，可惜Unix世界中有優秀的Tcpdump和Ethereal存在
加上Snoop本身的功能比較簡單，所以Snoop只能在Solaris的世界中屈居一隅，而且大家對
他也所用甚少，所幸不久前偶竟然發現一個如此強大的Snoop數據分析工具:Chaosreader，
頓然發覺snoop也有了新活力。

先簡單回顧一下snoop的命令參數和用法。

snoop本身能夠運行在以太網環境下的solaris系統中，然后依靠網卡的混雜模式從網絡中讀
取流過的所有數據包，當然，這依賴于網絡必須是共享式以太網(使用Hub)，或者在Switch上
配置SPAN功能把所有流量鏡像到snoop所運行的機器。如果網絡是運行在除以上兩者之外的交
換網絡上的話，那么snoop只能夠獲取到廣播數據，以及發往主機自身的數據。
snoop本身支持以太網幀(ethernet frame)，TCP|UDP/IP協議，以及之上的一些應用層協
議，例如X,RPC,NFS。大家都知道，作為一個優秀的網絡分析工具，必須具備良好的宏觀和微
觀兩方面的分析能力，而Sniffer類的工具，則更突出在他的微觀-數據解析和分析能力方面，
這就依賴于工具所能夠理解和解析的網絡協議(應用協議)類型數量，比如作為網絡分析工具無
冕之王的Ethereal就能夠理解超過六百種不同的網絡協議。這方面恰恰是snoop的劣勢所在，
所以傳統的snoop僅僅是作為簡單的sniffer類工具來使用的，chaosreader恰恰彌補了snoop
在這方面的缺點，同時在Session分析和數據可視化重現方面大大加強了它的功能。

Chaosreader主頁:
http://users.tpg.com.au/bdgcvb/chaosreader.html

下載地址：
http://users.tpg.com.au/bdgcvb/chaosreader

在Solaris系統里，只要直接運行/usr/sbin/snoop就可以啟動一個監聽進程：
========================================================================
[tracy@ketty]# /usr/sbin/snoop

Using device /dev/pcn0 (promiscuous mode)
192.168.0.2 -> Katty TELNET C port=1366
Katty -> 192.168.0.2 TELNET R port=1366 Using device /dev/pc
192.168.0.2 -> Katty TELNET C port=1366
192.168.0.2 -> Katty TELNET C port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368
.......(省略telnet協商過程)
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368 \377\376\1login:
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368 e
Katty -> 192.168.0.2 TELNET R port=1368 e
192.168.0.2 -> Katty TELNET C port=1368 l
Katty -> 192.168.0.2 TELNET R port=1368 l
192.168.0.2 -> Katty TELNET C port=1368 l
Katty -> 192.168.0.2 TELNET R port=1368 l
192.168.0.2 -> Katty TELNET C port=1368 y
Katty -> 192.168.0.2 TELNET R port=1368 y
192.168.0.2 -> Katty TELNET C port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368 Password:
192.168.0.2 -> Katty TELNET C port=1368
192.168.0.2 -> Katty TELNET C port=1368 e
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368 l
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368 l
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368 y
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368 Last login: Tue Feb
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368 Sun Microsystems Inc
192.168.0.2 -> Katty TELNET C port=1368
192.168.0.2 -> Katty TELNET C port=1368 w
Katty -> 192.168.0.2 TELNET R port=1368 w
192.168.0.2 -> Katty TELNET C port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368
192.168.0.2 -> Katty TELNET C port=1368 e
Katty -> 192.168.0.2 TELNET R port=1368 e
192.168.0.2 -> Katty TELNET C port=1368
192.168.0.2 -> Katty TELNET C port=1368 x
Katty -> 192.168.0.2 TELNET R port=1368 x
192.168.0.2 -> Katty TELNET C port=1368 i
Katty -> 192.168.0.2 TELNET R port=1368 i
192.168.0.2 -> Katty TELNET C port=1368
192.168.0.2 -> Katty TELNET C port=1368 t
Katty -> 192.168.0.2 TELNET R port=1368 t
192.168.0.2 -> Katty TELNET C port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368 logout\r\n
192.168.0.2 -> Katty TELNET C port=1368
Katty -> 192.168.0.2 TELNET R port=1368
========================================================================

在上面這個范例中，我們用snoop監視了一個telnet會話，簡要過程如下：

Client Server
1 <----------> TCP三步握手
2 <----------> Telnet協議協商
3 <----------- 發送Login:提示
4 -----------> Username: elly
5 <----------- 發送Pass:提示
6 -----------> Password: elly
7 <----------- 認證通過，返回MOTD和PS提示符
8 -----------> 發送命令，執行w
9 <----------- 返回結果
10 -----------> 發送命令，執行exit
11 <----------> 斷開連接
========================================================================
login: elly
Password:
Last login: Tue Feb 15 18:03:14 from 192.168.0.2
Sun Microsystems Inc. SunOS 5.10 Generic January 2005
[elly@Katty]$ w
下午 6點03分 運行 49 分鐘 4 用戶, 平均負載：0.04, 0.02, 0.14
用戶名 終端號 登入時間 閑置 JCPU PCPU 執行命令
root console 下午 5點30分 34 1 /usr/dt/bin/sdt_shell
-c ? u
root pts/2 下午 5點26分 1 1 bash
root pts/5 下午 5點35分 23 bash
elly pts/6 下午 6點02分 snoop
elly pts/7 下午 6點03分 w
[elly@Katty]$ exit
logout

在實際的抓包分析過程中，就不會那么輕松了，因為會有大量你不想看到的干擾信息出現，例如
額外的網絡連接，網絡中的廣播數據包等，這時要看到自己想要的信息簡直就像大海撈針一樣，

幸好snoop提供了一系列的參數和選項來回避這些無用信息，先看一些常用的選項：

-P 不使用混雜模式，只能獲取廣播包和到本地主機的數據包
-c [maxCount] 記錄最大包數，超過則自動停止

-d [dev] 接受包的設備名(網絡接口)

-i [filename] 從文件輸入(從一個以前的記錄文件而不是網絡設備中輸入)
-p first[,last] 當從文件輸入時,只顯示從first指定到last的包

-o [filename] 保存所有數據包輸出到文件，格式為RFC 1761-compliant
-q 當記錄到文件時，使用安靜模式，不回顯數據

-N 解析IP地址到主機名(默認使用/etc/hosts作為解析列表)
-r 不解析主機名
-n 指定解析主機名所用的列表文件

-v 冗余模式，顯示詳細的數據包信息
========================================================================
192.168.0.2 -> Katty ETHER Type=0800 (IP), size = 60 bytes
192.168.0.2 -> Katty IP D=192.168.0.31 S=192.168.0.2 LEN=40,
ID=60866, TOS=0x0, TTL=128
192.168.0.2 -> Katty TCP D=22 S=1315 Ack=624914001 Seq=2987322768
Len=0 Win=65535
========================================================================

除了命令選項以外，snoop還允許通過filter expression過濾模式來對數據包進行析取，以
進行更精確的數據抓取和分析。snoop中expr的格式與Tcpdump基本兼容。


地址
host [hostname] 指定主機名，snoop將只獲取此主機(源和目標)的數據包
from 或 src 指定源地址，后面必須跟host或ipaddr指令，將只獲取以此地址為源的
數據
to 或 dst 指定目標地址，后面必須跟host或ipaddr指令，將只獲取以此地址為目
的的數據
ipaddr 指定IP地址，功能同host
atalkaddr 指定appletalk地址，適用于appletalk協議
etheraddr 指定以太網MAC地址，適用于Ethernet協議

net [net] 指定網絡地址，將抓取指定目標網絡的數據
port [port] 指定TCP|UDP端口號，將只抓取指定端口的數據，適用于TCP|UDP協議
也可以根據/etc/services文件中指定的協議名字使用字符串
gateway [hostname|IP] 指定網關地址，將只抓取發送到指定網關的數據


協議
inet 指定抓取IPV4協議
inet6 指定抓取IPV6協議
ethertype 抓取指定的Ethernet協議

ip, ip6, arp, rarp, pppoed, pppoes
udp, tcp, icmp, icmp6, ah, esp
分別指定以上類型的協議
pppoe PPPOE協議
broadcast 廣播協議
multicast 多播協議

bootp, dhcp bootp和dhcp協議
apple applenet協議
decnet decnet協議

rpc prog [ , vers [ , proc ] ] 對應類型的RPC協議數據
ldap ldap協議
slp slp協議
sctp sctp協議
ospf ospf協議


類型
nofrag 不抓取分片數據包
此外，ether,ip,udp等協議關鍵字，都可以通過指定對應標志位的方式進行更
詳細的控制，例如使用ip[0]指定某一個位的標志。

操作符
在snoop過濾表達式中同樣可以使用邏輯表達式來進行控制，對應的功能則與c,perl等
語言中的類似。
and 與
or 或 , 或
not or ! 非

例如:
ipaddr 10.1.1.1 and port 23 抓取10.0.0.1:23的數據
host a or host b 抓取主機a和b的數據
not ipaddr 192.168.0.2 不抓取192.168.0.2的數據


指定 網絡接口:/dev/pcn0 , 目標主機: Katty, 目標端口: TCP 23
這將只抓取到Katty的Telnet登錄請求，以及所執行的命令。
========================================================================
[Tracy@Katty]# snoop -d pcn0 dst host Katty and tcp port 23
Using device /dev/pcn0 (promiscuous mode)
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380 e
192.168.0.2 -> Katty TELNET C port=1380 l
192.168.0.2 -> Katty TELNET C port=1380 l
192.168.0.2 -> Katty TELNET C port=1380 y
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380 e
192.168.0.2 -> Katty TELNET C port=1380 l
192.168.0.2 -> Katty TELNET C port=1380 l
192.168.0.2 -> Katty TELNET C port=1380 y
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380 w
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380 e
192.168.0.2 -> Katty TELNET C port=1380 x
192.168.0.2 -> Katty TELNET C port=1380 i
192.168.0.2 -> Katty TELNET C port=1380 t
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
192.168.0.2 -> Katty TELNET C port=1380
========================================================================

現在可以看到，客戶端的輸入依次為
elly (Username)
elly (Password)
w (Command1)
exit (Command2)

Tips: 如果要看更詳細的數據信息，只要加上-v參數就可以了哦。


現在對Snoop應該有個基本了解了吧，不過要使用...還是非常困難的，幸好現在有了
Chaosreader。

Chaosreader是一個Snoop數據輸出的分析工具，完全Perl寫成，因此可以運行在所有支持
Perl的操作系統上。Chaosreader能夠支持對TCP/UDP/HTTP/FTP...等等一系列協議的跟
蹤和Session解析，甚至能夠解析出ftp和http傳輸的文件，跟蹤X-window的動作，對Telnet
的數據進行回放等等。有了Chaosreader，就相當于在Snoop之上加了一雙明亮的眼睛，非常
方便。
Chaosreader支持有Tcpdump、snoop和Ethereal輸出的數據包記錄文件，自動解析之后
會生成一系列文件，包含HTML格式的數據輸出文件，協議傳輸中的圖形附件，以及一些用于
進行協議回放的perl腳本。

要使用Chaosreader，有下面幾種快捷方法：

tcpdump -w outfile
snoop -o outfile
ethereal (或tethereal)保存cap數據

之后，適用chaosreader.pl outfile對文件進行分析處理，完成后即可在當前目錄下生成
一系列輸出文件，可以使用任何一個Web瀏覽器打開index.html進行查看。

如果直接執行 chaosreader -s 5; netscape index.html ，那么chaosreader將自動
運行當前系統中可用的sniffer類程序(自動搜索snoop或tcpdump)，然后生成分析文件。
-s參數指定一定時間的抓取時間，以分鐘為單位。

在每次分析中，Chaosreader可能會生成如下文件：
index.html Html index (本次抓包統計信息)
index.text Text index
index.file File index for standalone redo mode
image.html HTML report of images
getpost.html HTML report of HTTP GET/POST requests
session_0001.info TCP session #1的相關信息(如果有抓包過程中
包含多個TCP Session，則每個Session都會生
成一系列的Session文件)
session_0001.telnet.html 按時間順序存放的html格式telnet數據
session_0001.telnet.raw 按時間順序存檔的telnet session數據
session_0001.telnet.raw1 server->client的telnet數據
session_0001.telnet.raw2 client->server的telnet數據
session_0002.web.html 按請求順序存放的HTTP Session數據
session_0002.part_01.html HTTP portion of the above, a HTML file
session_0003.web.html HTML coloured 2-way
session_0003.part_01.jpeg HTTP portion of the above, a JPEG file
session_0004.web.html HTML coloured 2-way
session_0004.part_01.gif HTTP portion of the above, a GIF file
session_0005.part_01.ftp-data.gz 如果是ftp session，則傳輸數據存放
在此文件中
...
總結所有的文件類型如下：
session_* TCP Sessions
stream_* UDP Streams
icmp_* ICMP 數據包
index.html HTML Index 文件
index.text Text Index 文件
index.file File Index for standalone redo mode only
image.html HTML report of images
getpost.html HTTP GET/POST 請求記錄
*.info Session/Stream的描述信息
*.raw 按時間順序排列的C<->S二路原始數據
*.raw1 server->client的原始數據
*.raw2 client->server的原始數據
*.replay Session回放程序，perl腳本，執行將在終端上模擬任務
發生時的狀況
*.partial.* Partial capture (tcpdump/snoop were aware of drops)
*.hex.html 2-way Hex dump, rendered in coloured HTML
*.hex.text 2-way Hex dump in plain text
*.X11.replay X-Window回放腳本，必須運行在X-Window下
*.textX11.replay X11通訊的文本模擬回放程序
*.textX11.html 2-way text report, rendered in red/blue HTML
*.keydata SSH通訊中的密鑰中繼傳輸數據

好，我們現在試試看Chaosreader。

先在控制臺上開啟一個snoop，只記錄IP數據:
========================================================================
[Tracy@Katty]# snoop -d pcn0 -o out ip
Using device /dev/pcn0 (promiscuous mode)
358 ^C
========================================================================
之后，我們通過網絡分別執行了以下操作：

1. telnet
用戶 elly 由192.168.0.2 telnet登錄到Katty:23，并執行w,uname -a,exit ；
2. ssh
root 由 192.168.0.2 ssh登錄到Katty:22，并執行w,pwd ；
3. http
root在dtconsole(控制臺X窗口)上打開Mozilla訪問http://www.google.com；
4. ftp
用戶elly 由192.168.0.2通過ftp下載文件/etc/passwd；
5. X-Window
用戶elly 由192.168.0.2執行xeye -display Katty:0，運行了一個xeye到遠程的X桌面。


完成所有操作后，運行Chaosreader分析剛才snoop所記錄的網絡數據：
========================================================================
[Tracy@Katty]# chaosreader out
Chaosreader ver 0.94

Opening, out

Reading file contents,
100% (58408/58408)
Reassembling packets,
100% (358/358)

Creating files...
Num Session (host:port <=> host:port) Service
0012 192.168.0.31:32925,64.233.189.104:80 web
0005 192.168.0.2:1591,192.168.0.31:21 ftp
0004 192.168.0.31:6000,192.168.0.2:1590 X11
0009 192.168.0.2:1593,192.168.0.31:23 telnet
0001 192.168.0.2:1589,192.168.0.31:22 ssh
0008 192.168.0.2:1592,192.168.0.31:20 ftp-data
0013 10.0.0.1:138,10.255.255.255:138 netbios-dgm
0007 192.168.0.31:33242,202.96.209.6:53 domain
0003 192.168.0.31:33240,202.96.209.6:53 domain
0002 192.168.0.31:33239,202.96.209.6:53 domain
0010 192.168.0.31:33243,202.96.209.6:53 domain
0006 192.168.0.31:33241,202.96.209.6:53 domain
0011 192.168.0.31:33244,202.96.209.6:53 domain

index.html created.
========================================================================

Chaosreader分析snoop的輸出文件out，識別出剛才進行過的所有網絡連接，包含
web、ftp、X11、telnet、ssh,以及dns和netbios-dgm。其中前五種分別是我們
進行的網絡操作，而netbios是windows網絡中定期廣播產生的干擾數據，domain則
是在訪問google時web請求前產生的dns解析請求。

經過分析產生了統計報告index.html和以下文件：
getpost.html Web訪問時的get/post請求
httplog.text 文本格式的http訪問日志
image.html 空
index.html 索引頁面
index.text 文本索引頁面
session_0001.textSSH.html ssh連接日志
session_0001.textSSH.keydata ssh key
session_0001.textSSH.replay ssh連接回放腳本
session_0004.X11.replay X-Window Session回放腳本
session_0004.textX11.html
session_0004.textX11.replay
session_0005.ftp.html ftp連接日志
session_0008.part_01.ftp-data.data ftp傳輸的文件
session_0009.telnet.html telnet連接日志
session_0009.telnet.replay telnet連接回放腳本
session_0012.part_01.html
session_0012.web.html web連接詳細日志
stream_0002.domain.html DNS請求
stream_0003.domain.html
stream_0006.domain.html
stream_0007.domain.html
stream_0010.domain.html
stream_0011.domain.html


看一下記錄下的詳細日志：
ftp: session_0005.ftp.html
========================================================================
ftp: 192.168.0.2:1591 -> 192.168.0.31:21
File out, Session 5
220 Katty FTP server ready.
USER elly
331 Password required for elly.
PASS elly
230 User elly logged in.
CWD /etc
250 CWD command successful.
PORT 192,168,0,2,6,56
200 PORT command successful.
RETR passwd
150 Opening ASCII mode data connection for passwd (628 bytes).
226 Transfer complete.
QUIT
221-You have transferred 644 bytes in 1 files.
221-Total traffic for this session was 985 bytes in 1 transfers.
221-Thank you for using the FTP service on Katty.
221 Goodbye.
========================================================================
另外，在session_0008.part_01.ftp-data.data文件中記錄下了本次連接傳輸的文件副本。


telnet: session_0009.telnet.html
========================================================================
telnet: 192.168.0.2:1593 -> 192.168.0.31:23
File out, Session 9
..%..%..%..%...........%.......&..&..&..&........#..'..$.............P.
....#..'..$..#..'..$........#..'..$....ANSI..........................
login: ...eellllyy
Password: elly
Last login: Tue Feb 15 21:32:09 from 192.168.0.2
Sun Microsystems Inc. SunOS 5.10 Generic January 2005
-bash-3.00$ ww
.... 9..32.. .... 4:18, 3 ...., ..........0.08, 0.18, 0.13
...... ...... ........ .... JCPU PCPU ........
root console .... 9..24.. 8 1 /usr/dt/bin/sdt_shell -c ?
root pts/2 .... 9..31.. 1 -sh
root pts/5 .... 9..25.. 1 snoop -o out ip
elly pts/6 .... 9..32.. w
-bash-3.00$ uunnaammee --aa
SunOS Katty 5.10 Generic i86pc i386 i86pc
-bash-3.00$ eexxiitt
logout
========================================================================
注意,由于telnet的回顯協議，所以每個字符都會重復顯示一遍，如果要避免這種
情況可以在snoop設置中指定dst參數。

web:
session_0012.part_01.html 記錄下了訪問的頁面鏡像；
httplog.text 記錄下了訪問頁面的連接過程；
session_0012.web.html 記錄下了訪問頁面的詳細信息；

ssh:
由于ssh連接加密算法協商階段完成之后，通訊就完全加密了，所以只有部分數據可見。

X-Window:
本身沒有記錄太多信息，但是生成了一個session_0004.X11.replay腳本，來模擬
回放當時的操作。

另外，telnet連接也生成了一個相應的回放腳本session_0009.telnet.replay。

回放只是模擬當時的操作，并按對應的時間順序顯示出來，并不進行真實的操作，因此
可以放心測試。但是X-Window回放需要注意，因為X的回放是完全真實的操作，有可能
會影響到系統哦。另外，如果X回放無法運行，可以先在當前X桌面上執行xhost +，然
后再運行回放腳本。

總結...Chaosreader的連接重組，協議解析，數據析取，模擬回放功能都是極為強大
的，給原本雞肋的snoop注入了極大的生命力，另外還提供了對tcpdump、dsniff和
ethereal的支持，的確是網絡分析中的一個好工具。

一點Tips:
記住，幾乎任何網絡抓包工具的數據報都是可以相互轉換的(雖然在軟件自身可能不兼
容)。Ethereal當前就已經可以支持大多數抓包工具所生成的數據記錄文件，而以前我
推薦過的更加強大的Wildpackets ProCovert更是可以轉換當前幾乎所有抓包軟件生
成的數據記錄。因此我們可以用一種工具抓包，轉換過之后很靈活方便的使用最適合分
析它的軟件來進行細化的分析，例如在Windows上用Sniffer Pro，Linux上用TCPDump
SunOS上用Snoop，之后可以任意把它轉換成對方的數據類型進行分析，就方便多了吧。