前回に引き続き、BGP DDoS対策の設定を行います。
前回のRTBH(Remote Triggered Black Hole)によるDDoS対策の実装の記事はこちらです。
yokohama539.hatenablog.com
今回は、もう一つの方法である「Flowspec」方式での実装を行います。
1. BGP Flowspec 概要
FlowspecはMP-BGPにてパケットフィルタリングポリシーを広報し、このポリシー情報を受信したBGPスピーカなRouterは、動的にパケットフィルタリングを生成し対象パケットを防ぐ…という技術です。
RFC 8955で規定されています。
RTBHよりも柔軟なフィルタリングポリシーを定義できるため、より高度なDDoS対策ができます。
JunosではFirewall Filterライクに設定ができます。
RFC 8955に基づいた、送信元/宛先IPアドレスやポート番号、DSCP値などで対象パケットを定義できます。
また、MP-BGPによる広報なのでCommunityを付与させて広報でき、受信側で特定のCommunityのフィルタリングポリシーのみ自デバイスに反映させる…といった運用が可能です。
またTraffic-Rateを変更できる機能などもありますが、今回は単純に攻撃パケットを破棄してみる検証のみ行うため、割愛します。
2. BGP Flowspec 構成
構成ですが、RTBH編と一緒です。
自AS(AS 65001)は攻撃対象となるサーバーを置いて、Route-Reflector有りの構成にします。
そして、攻撃するユーザーがいる対向AS(AS 65002)を用意します。
各種IPアドレスは図の通りです。
各Routerのループバックアドレスは172.16.1.x/32とします(図中に入れるの忘れた…)

AS間のルーティングですが、自ASからデフォルトルート、対向ASからPCのNW(10.1.1.0/24)を広報するキメにします。

3. BGP Flowspec 設定
設定をしてきます。
いつも通り、物理インターフェイスとループバックインターフェイスへのIPアドレスのアサインは完了していることとします。
AS 65001のIGPはOSPFを使います。
前段となるFlowspec前(OSPFとBGP Peering)の設定まで一気にしていきます。ここもRTBH編と全く一緒です。
//R1 set routing-options router-id 172.16.1.1 set routing-options autonomous-system 65001 set protocols bgp group INT type internal set protocols bgp group INT local-address 172.16.1.1 set protocols bgp group INT neighbor 172.16.1.3 set protocols ospf area 0.0.0.0 interface lo0.0 passive set protocols ospf area 0.0.0.0 interface ge-0/0/9.0 passive set protocols ospf area 0.0.0.0 interface ge-0/0/0.0 set protocols ospf area 0.0.0.0 interface ge-0/0/3.0
//R2 set policy-options policy-statement BGP_R3_EXPORT term 0011 from protocol bgp set policy-options policy-statement BGP_R3_EXPORT term 0011 from route-type external set policy-options policy-statement BGP_R3_EXPORT term 0011 then next-hop self set policy-options policy-statement BGP_R3_EXPORT term 0011 then accept set policy-options policy-statement BGP_R4_EXPORT term 0011 from protocol static set policy-options policy-statement BGP_R4_EXPORT term 0011 from route-filter 0.0.0.0/0 exact set policy-options policy-statement BGP_R4_EXPORT term 0011 then accept set policy-options policy-statement BGP_R4_EXPORT term 9991 then reject set routing-options rib inet.0 static route 0.0.0.0/0 discard set routing-options rib inet.0 static route 0.0.0.0/0 no-install set routing-options router-id 172.16.1.2 set routing-options autonomous-system 65001 set protocols bgp group INT type internal set protocols bgp group INT local-address 172.16.1.2 set protocols bgp group INT neighbor 172.16.1.3 export BGP_R3_EXPORT set protocols bgp group EXT type external set protocols bgp group EXT neighbor 10.1.24.4 export BGP_R4_EXPORT set protocols bgp group EXT neighbor 10.1.24.4 peer-as 65002 set protocols ospf area 0.0.0.0 interface lo0.0 passive set protocols ospf area 0.0.0.0 interface ge-0/0/0.0 set protocols ospf area 0.0.0.0 interface ge-0/0/3.0
//R3 set routing-options router-id 172.16.1.3 set routing-options autonomous-system 65001 set protocols bgp group INT type internal set protocols bgp group INT local-address 172.16.1.3 set protocols bgp group INT cluster 172.16.1.3 set protocols bgp group INT neighbor 172.16.1.1 set protocols bgp group INT neighbor 172.16.1.2 set protocols ospf area 0.0.0.0 interface lo0.0 passive set protocols ospf area 0.0.0.0 interface ge-0/0/0.0 set protocols ospf area 0.0.0.0 interface ge-0/0/1.0
//R4 set policy-options policy-statement BGP_R2_EXPORT term 0011 from protocol direct set policy-options policy-statement BGP_R2_EXPORT term 0011 from route-filter 10.1.1.0/24 exact set policy-options policy-statement BGP_R2_EXPORT term 0011 then accept set policy-options policy-statement BGP_R2_EXPORT term 9991 then reject set routing-options router-id 172.16.1.4 set routing-options autonomous-system 65002 set protocols bgp group EXT type external set protocols bgp group EXT neighbor 10.1.24.2 export BGP_R2_EXPORT set protocols bgp group EXT neighbor 10.1.24.2 peer-as 65001
補足としては、R2はR4へデフォルトルートを広報しており、かつR4から広報された経路情報についてnext-hop selfを設定してR3に広報している点でしょうか。
併せてデフォルトルート広報用の0.0.0.0/0なスタティックルートを設定しています。
経路確認をします。
詳しく見たいところですが、尺の都合で必要最小限で…。
//R1
lab@R1# run show route protocol bgp
inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both
10.1.1.0/24 *[BGP/170] 01:43:58, localpref 100, from 172.16.1.3
AS path: 65002 I, validation-state: unverified
> to 10.1.12.2 via ge-0/0/0.0//R2
lab@R2# run show route 203.0.113.0/24
inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both
203.0.113.0/24 *[OSPF/10] 01:45:32, metric 2
> to 10.1.12.1 via ge-0/0/0.0
lab@R2# run show route protocol bgp
inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both
10.1.1.0/24 *[BGP/170] 01:46:42, localpref 100
AS path: 65002 I, validation-state: unverified
> to 10.1.24.4 via ge-0/0/6.0//R4
lab@R4# run show route protocol bgp
inet.0: 7 destinations, 7 routes (7 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both
0.0.0.0/0 *[BGP/170] 01:47:37, localpref 100
AS path: 65001 I, validation-state: unverified
> to 10.1.24.2 via ge-0/0/6.0R1は対向ASのPCのNW(10.1.1.0/24)の経路情報を学習しており、
R2はサーバーのNW(203.0.113.0/24 )と、対向ASのPCのNWの経路情報を学習しており、
R4はデフォルトルートを学習していることが確認できます。
サーバーとPC間で通信できそうです。
では実際に悪意あるPCから通信してみます。
サーバー(203.0.113.100)宛に攻撃と見立てたPingをします。
攻撃が来ているか確認するため、併せてサーバーでパケットDumpをします。
//PC VPC-02> ping 203.0.113.100 84 bytes from 203.0.113.100 icmp_seq=1 ttl=61 time=5.747 ms 84 bytes from 203.0.113.100 icmp_seq=2 ttl=61 time=2.722 ms 84 bytes from 203.0.113.100 icmp_seq=3 ttl=61 time=2.803 ms 84 bytes from 203.0.113.100 icmp_seq=4 ttl=61 time=3.442 ms 84 bytes from 203.0.113.100 icmp_seq=5 ttl=61 time=2.765 ms

PCにてPing疎通ができており、パケットDumpもICMPパケットが表示されています。
イメージとしてはこんな感じです。

攻撃成功してます。自AS的にはやーめーてー。
このPingを防ぐために、Flowspecの設定をしていきます。
今回はR1にてパケットフィルタリングポリシーとなるFlowspecルートを作成&広報し、R1〜R3にて動的なFirewall Filterが生成されるようにします。
構成概要としては以下の通りです。

では、Flowspecに関わる設定をしていきます。
まず、構成概要の図の①のFlowspecルートを作成します。
今回は「PCからサーバーへのPing」を防ぎたいので、送信元IPアドレス、宛先IPアドレス、Protocolを条件にします。
//R1 set routing-options flow term-order standard set routing-options flow route PC_TO_SV_ICMP match protocol icmp set routing-options flow route PC_TO_SV_ICMP match destination 203.0.113.100/32 set routing-options flow route PC_TO_SV_ICMP match source 10.1.1.66/32 set routing-options flow route PC_TO_SV_ICMP then discard
//R2 set routing-options flow term-order standard
//R3 set routing-options flow term-order standard
「set routing-options flow route …」でFirewall FilterライクなFlowspecルートを作成しています。
ちなみにLast termには暗黙のacceptがあります。
「set routing-options flow term-order standard」は今回はtermが1つだけなので、有っても無くても構いません。とりあえず入れてます。
続いて、構成概要の図の②と③、つまり作成したFlowspecルートをRoute-ReflectorなR3経由でR2へ広報します。
ここで重要なのが、FlowspecルートはMP-BGPのfamily「inet flow」の経路情報として扱われるため、familyの宣言が必要になるという点です。
さらにDefault設定で広報される「inet unicast」の経路情報ですが、「inet flow」を有効にするため必要に応じて明示的にfamilyの宣言が必要になります。
今回は、PCのNWの経路情報(10.1.1.0/24)をAS 65002(R4)からAS 65001に広報しているので、「inet unicast」も併せて設定します。
//R1 set protocols bgp group INT family inet unicast set protocols bgp group INT family inet flow
//R2 set protocols bgp group INT family inet unicast set protocols bgp group INT family inet flow
//R3 set protocols bgp group INT family inet unicast set protocols bgp group INT family inet flow
設定は以上になります。
4. BGP Flowspec 動作確認
動作確認をします。
まず、R1のBGP Peering Statusおよび、Flowspecルートを広報しているか確認します。
//R1
lab@R1# run show bgp summary
Threading mode: BGP I/O
Default eBGP mode: advertise - accept, receive - accept
Groups: 1 Peers: 1 Down peers: 0
Table Tot Paths Act Paths Suppressed History Damp State Pending
inet.0
1 1 0 0 0 0
inetflow.0
0 0 0 0 0 0
Peer AS InPkt OutPkt OutQ Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
172.16.1.3 65001 435 435 0 0 3:13:46 Establ
inet.0: 1/1/1/0
inetflow.0: 0/0/0/0
lab@R1# run show route advertising-protocol bgp 172.16.1.3
inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
Prefix Nexthop MED Lclpref AS path
203.0.113.100,10.1.1.66,proto=1/term:1
* 100 I「show bgp summary」の出力結果にて、172.16.1.3(R3)とのBGP Peering StatusがEstablished(Establ)となっており、かつ有効なfamilyがinet unicast(inet.0)とinet flow(inetflow.0)になっています。
また「show route advertising-protocol bgp 172.16.1.3」の出力結果にて、「203.0.113.100,10.1.1.66,proto=1」のFlowspecルート情報を広報しています。
正直、フォーマットよくわかりません(Web上で解説しているサイトがない)が設定した値っぽいのが表示されてるので大丈夫でしょうw
続いてR3で確認します。
R3のBGP Peering Statusおよび、R1からFlowspecルートを受信しているか、そしてR2へそのFlowspecルートを広報しているか確認します。
//R3
lab@R3# run show bgp summary
Threading mode: BGP I/O
Default eBGP mode: advertise - accept, receive - accept
Groups: 1 Peers: 2 Down peers: 0
Table Tot Paths Act Paths Suppressed History Damp State Pending
inet.0
1 1 0 0 0 0
inetflow.0
1 1 0 0 0 0
Peer AS InPkt OutPkt OutQ Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
172.16.1.1 65001 493 491 0 0 3:39:22 Establ
inet.0: 0/0/0/0
inetflow.0: 1/1/1/0
172.16.1.2 65001 492 489 0 0 3:39:18 Establ
inet.0: 1/1/1/0
inetflow.0: 0/0/0/0
lab@R3# run show route receive-protocol bgp 172.16.1.1
inet.0: 13 destinations, 13 routes (13 active, 0 holddown, 0 hidden)
inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
Prefix Nexthop MED Lclpref AS path
203.0.113.100,10.1.1.66,proto=1/term:1
* 100 I
[edit]
lab@R3# run show route advertising-protocol bgp 172.16.1.2
inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
Prefix Nexthop MED Lclpref AS path
203.0.113.100,10.1.1.66,proto=1/term:1
* 100 I「show bgp summary」の出力結果にて、172.16.1.2(R2)とのBGP Peering StatusがEstablished(Establ)となっており、かつ有効なfamilyがinet unicast(inet.0)とinet flow(inetflow.0)になっています(R1ともEstablになってます)
「show route receive-protocol bgp 172.16.1.1」の出力結果にて、R1(172.16.1.1)からFlowspecルートを受信していることが確認できます。
また「show route advertising-protocol bgp 172.16.1.2」の出力結果にて、R2(172.16.1.2)へ、そのFlowspecルートを広報していることが確認できます。
R3はRoute-Reflectorなので、iBGP Peerの経路情報を広報できれてば問題ないです。
続いて、R2で確認します。
R2のBGP Peering Statusと、R3から広報されたFlowspecルートを受信している(ルーティングテーブルにエントリーされている)か、またR2にてFirewall Filterが作成されているか確認します。
//R2
lab@R2# run show bgp summary
Threading mode: BGP I/O
Default eBGP mode: advertise - accept, receive - accept
Groups: 2 Peers: 2 Down peers: 0
Table Tot Paths Act Paths Suppressed History Damp State Pending
inet.0
1 1 0 0 0 0
inetflow.0
1 1 0 0 0 0
Peer AS InPkt OutPkt OutQ Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
10.1.24.4 65002 501 498 0 0 3:43:24 Establ
inet.0: 1/1/1/0
172.16.1.3 65001 498 497 0 0 3:42:31 Establ
inet.0: 0/0/0/0
inetflow.0: 1/1/1/0
lab@R2# run show route receive-protocol bgp 172.16.1.3
inet.0: 16 destinations, 16 routes (16 active, 0 holddown, 0 hidden)
inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
Prefix Nexthop MED Lclpref AS path
203.0.113.100,10.1.1.66,proto=1/term:1
* 100 I
lab@R2# run show route table inetflow.0
inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both
203.0.113.100,10.1.1.66,proto=1/term:1
*[BGP/170] 03:38:38, localpref 100, from 172.16.1.3
AS path: I, validation-state: unverified
Fictitious
「show bgp summary」の出力結果にて、172.16.1.3(R3)とのBGP Peering StatusがEstablished(Establ)となっており、かつ有効なfamilyがinet unicast(inet.0)とinet flow(inetflow.0)になっています(R4ともEstablになってます)
「show route receive-protocol bgp 172.16.1.3」の出力結果にて、R3(172.16.1.3)からFlowspecルートを受信していることが確認できます。
また「show route table inetflow.0」の出力結果にて、受信したFlowspecルートがルーティングテーブルにエントリーされており、有効となっています。
有効となっているFlowspecルートによりFirewall Filterとして生成されます。
なので、Firewall FilterのStatusを確認します。
Flowspecで生成されたFirewall Filter名は「__flowspec_default_inet__」となります。
//R2 lab@R2# run show firewall filter __flowspec_default_inet__ Filter: __flowspec_default_inet__ Counters: Name Bytes Packets 203.0.113.100,10.1.1.66,proto=1 0 0
出力結果より、__flowspec_default_inet__のFilterにR1で設定した通りのFirewall Filterが生成されました!!
ついでに、R4からのPCのNW(10.1.1.0/24)の経路情報がAS 65001内に広報されているか確認します。
(「set protocols bgp group INT family inet unicast」が効いているか確認します)
まあ最初の設定で広報できてたので簡単にルーティングテーブル確認だけ…。
//R2
lab@R2# run show route protocol bgp 10.1.1.0/24
inet.0: 16 destinations, 16 routes (16 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both
10.1.1.0/24 *[BGP/170] 03:58:47, localpref 100
AS path: 65002 I, validation-state: unverified
> to 10.1.24.4 via ge-0/0/6.0//R3
lab@R3# run show route protocol bgp 10.1.1.0/24
inet.0: 13 destinations, 13 routes (13 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both
10.1.1.0/24 *[BGP/170] 03:58:12, localpref 100, from 172.16.1.2
AS path: 65002 I, validation-state: unverified
> to 10.1.23.2 via ge-0/0/1.0//R1
lab@R1# run show route protocol bgp 10.1.1.0/24
inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both
10.1.1.0/24 *[BGP/170] 03:58:32, localpref 100, from 172.16.1.3
AS path: 65002 I, validation-state: unverified
> to 10.1.12.2 via ge-0/0/0.0R1〜R3ともPCのNW(10.1.1.0/24)の経路情報がルーティングテーブルにエントリーされてます。
経路情報は引き続き問題なさそうです。
ではPCからサーバーへ、もう一度悪意のPingをしてみます。
//PC VPC-02> ping 203.0.113.100 203.0.113.100 icmp_seq=1 timeout 203.0.113.100 icmp_seq=2 timeout 203.0.113.100 icmp_seq=3 timeout 203.0.113.100 icmp_seq=4 timeout 203.0.113.100 icmp_seq=5 timeout
timeoutとなり、狙い通り不通になりました!
SV上のパケットDumpも何も表示されてなく、悪意のPingが来てないことがわかります。

R2にてFirewall Filterのパケットカウントを確認します。
//R2 lab@R2# run show firewall filter __flowspec_default_inet__ Filter: __flowspec_default_inet__ Counters: Name Bytes Packets 203.0.113.100,10.1.1.66,proto=1 420 5
カウントアップされてます。
なので、構成概要の図の④の通り、R2で悪意のPingパケットを破棄できました!!防御成功!!
なお、今回は設定の通り「PCからサーバーへのPing」のみを破棄するようにしているので、ICMP以外のProtocolのパケットはサーバーに届きます。
例えば「PCからサーバーへのTCPコネクション」は通ります。
//PC VPC-02> ping 203.0.113.100 -P 6 // TCPによる通信 Connect 7@203.0.113.100 seq=1 ttl=61 time=27.478 ms SendData 7@203.0.113.100 seq=1 ttl=61 time=4.251 ms Close 7@203.0.113.100 seq=1 ttl=61 time=5.302 ms : Connect 7@203.0.113.100 seq=5 ttl=61 time=3.168 ms SendData 7@203.0.113.100 seq=5 ttl=61 time=3.161 ms Close 7@203.0.113.100 seq=5 ttl=61 time=4.211 ms
サーバー上のパケットDumpも表示され、PCとTCP通信してます。

また「R4(送信元IPアドレス: 10.1.1.254)からサーバーへのPing」も通ります。
//R4 lab@R4# run ping 203.0.113.100 source 10.1.1.254 count 5 PING 203.0.113.100 (203.0.113.100): 56 data bytes 64 bytes from 203.0.113.100: icmp_seq=0 ttl=62 time=2.849 ms 64 bytes from 203.0.113.100: icmp_seq=1 ttl=62 time=3.934 ms 64 bytes from 203.0.113.100: icmp_seq=2 ttl=62 time=4.151 ms 64 bytes from 203.0.113.100: icmp_seq=3 ttl=62 time=5.451 ms 64 bytes from 203.0.113.100: icmp_seq=4 ttl=62 time=4.001 ms
サーバー上のパケットDumpも表示され、R4とICMP通信してます。

RTBHは対象のホストに対する通信は一括して破棄するのに対し、Flowspecはフィルタールールに基づいたアクセス制御をするため、しっかりとした設計が必要になります。
考慮漏れがあると、思わぬところから攻撃を受けたり意図しない不通を招くかも…。
真剣に導入を考えてる方はDAY ONEガイドに色々な設定例が載ってるので、熟読するのをオススメします。
最後におまけで、今回のFlowspecルートなNLRIを含んだBGP UPDATEメッセージを見てみます。

RFC 8955記載の通り、AFI = 1、SAFI = 133となっておりNLRIフィールドに「FLOW_SPEC_NLRI」なる名前で、設定したフィルタールールの情報が乗っています。
という訳でFlowspecによるDDoS対策を実装してみました!!
前回から渡って、BGP DDoS対策の設定を検証してみました!
ここまでお読みくださり、ありがとうございました!!




































