横浜539のブログ

技術ブログっぽい雑記。

vJunosでBGP DDoS対策をしてみた。 〜Flowspec編〜

前回に引き続き、BGP DDoS対策の設定を行います。
前回のRTBH(Remote Triggered Black Hole)によるDDoS対策の実装の記事はこちらです。
yokohama539.hatenablog.com

今回は、もう一つの方法である「Flowspec」方式での実装を行います。

1. BGP Flowspec 概要

FlowspecはMP-BGPにてパケットフィルタリングポリシーを広報し、このポリシー情報を受信したBGPスピーカなRouterは、動的にパケットフィルタリングを生成し対象パケットを防ぐ…という技術です。
RFC 8955で規定されています。
RTBHよりも柔軟なフィルタリングポリシーを定義できるため、より高度なDDoS対策ができます。

JunosではFirewall Filterライクに設定ができます。
RFC 8955に基づいた、送信元/宛先IPアドレスやポート番号、DSCP値などで対象パケットを定義できます。
また、MP-BGPによる広報なのでCommunityを付与させて広報でき、受信側で特定のCommunityのフィルタリングポリシーのみ自デバイスに反映させる…といった運用が可能です。

またTraffic-Rateを変更できる機能などもありますが、今回は単純に攻撃パケットを破棄してみる検証のみ行うため、割愛します。

2. BGP Flowspec 構成

構成ですが、RTBH編と一緒です。
自AS(AS 65001)は攻撃対象となるサーバーを置いて、Route-Reflector有りの構成にします。
そして、攻撃するユーザーがいる対向AS(AS 65002)を用意します。
各種IPアドレスは図の通りです。
各Routerのループバックアドレスは172.16.1.x/32とします(図中に入れるの忘れた…)

AS間のルーティングですが、自ASからデフォルトルート、対向ASからPCのNW(10.1.1.0/24)を広報するキメにします。

3. BGP Flowspec 設定

設定をしてきます。
いつも通り、物理インターフェイスとループバックインターフェイスへのIPアドレスのアサインは完了していることとします。
AS 65001のIGPはOSPFを使います。
前段となるFlowspec前(OSPFとBGP Peering)の設定まで一気にしていきます。ここもRTBH編と全く一緒です。

//R1
set routing-options router-id 172.16.1.1
set routing-options autonomous-system 65001
set protocols bgp group INT type internal
set protocols bgp group INT local-address 172.16.1.1
set protocols bgp group INT neighbor 172.16.1.3
set protocols ospf area 0.0.0.0 interface lo0.0 passive
set protocols ospf area 0.0.0.0 interface ge-0/0/9.0 passive
set protocols ospf area 0.0.0.0 interface ge-0/0/0.0
set protocols ospf area 0.0.0.0 interface ge-0/0/3.0
//R2
set policy-options policy-statement BGP_R3_EXPORT term 0011 from protocol bgp
set policy-options policy-statement BGP_R3_EXPORT term 0011 from route-type external
set policy-options policy-statement BGP_R3_EXPORT term 0011 then next-hop self
set policy-options policy-statement BGP_R3_EXPORT term 0011 then accept
set policy-options policy-statement BGP_R4_EXPORT term 0011 from protocol static
set policy-options policy-statement BGP_R4_EXPORT term 0011 from route-filter 0.0.0.0/0 exact
set policy-options policy-statement BGP_R4_EXPORT term 0011 then accept
set policy-options policy-statement BGP_R4_EXPORT term 9991 then reject
set routing-options rib inet.0 static route 0.0.0.0/0 discard
set routing-options rib inet.0 static route 0.0.0.0/0 no-install
set routing-options router-id 172.16.1.2
set routing-options autonomous-system 65001
set protocols bgp group INT type internal
set protocols bgp group INT local-address 172.16.1.2
set protocols bgp group INT neighbor 172.16.1.3 export BGP_R3_EXPORT
set protocols bgp group EXT type external
set protocols bgp group EXT neighbor 10.1.24.4 export BGP_R4_EXPORT
set protocols bgp group EXT neighbor 10.1.24.4 peer-as 65002
set protocols ospf area 0.0.0.0 interface lo0.0 passive
set protocols ospf area 0.0.0.0 interface ge-0/0/0.0
set protocols ospf area 0.0.0.0 interface ge-0/0/3.0
//R3
set routing-options router-id 172.16.1.3
set routing-options autonomous-system 65001
set protocols bgp group INT type internal
set protocols bgp group INT local-address 172.16.1.3
set protocols bgp group INT cluster 172.16.1.3
set protocols bgp group INT neighbor 172.16.1.1
set protocols bgp group INT neighbor 172.16.1.2
set protocols ospf area 0.0.0.0 interface lo0.0 passive
set protocols ospf area 0.0.0.0 interface ge-0/0/0.0
set protocols ospf area 0.0.0.0 interface ge-0/0/1.0
//R4
set policy-options policy-statement BGP_R2_EXPORT term 0011 from protocol direct
set policy-options policy-statement BGP_R2_EXPORT term 0011 from route-filter 10.1.1.0/24 exact
set policy-options policy-statement BGP_R2_EXPORT term 0011 then accept
set policy-options policy-statement BGP_R2_EXPORT term 9991 then reject
set routing-options router-id 172.16.1.4
set routing-options autonomous-system 65002
set protocols bgp group EXT type external
set protocols bgp group EXT neighbor 10.1.24.2 export BGP_R2_EXPORT
set protocols bgp group EXT neighbor 10.1.24.2 peer-as 65001

補足としては、R2はR4へデフォルトルートを広報しており、かつR4から広報された経路情報についてnext-hop selfを設定してR3に広報している点でしょうか。
併せてデフォルトルート広報用の0.0.0.0/0なスタティックルートを設定しています。

経路確認をします。
詳しく見たいところですが、尺の都合で必要最小限で…。

//R1
lab@R1# run show route protocol bgp

inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

10.1.1.0/24        *[BGP/170] 01:43:58, localpref 100, from 172.16.1.3
                      AS path: 65002 I, validation-state: unverified
                    >  to 10.1.12.2 via ge-0/0/0.0
//R2
lab@R2# run show route 203.0.113.0/24

inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.0/24     *[OSPF/10] 01:45:32, metric 2
                    >  to 10.1.12.1 via ge-0/0/0.0

lab@R2# run show route protocol bgp

inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

10.1.1.0/24        *[BGP/170] 01:46:42, localpref 100
                      AS path: 65002 I, validation-state: unverified
                    >  to 10.1.24.4 via ge-0/0/6.0
//R4
lab@R4# run show route protocol bgp

inet.0: 7 destinations, 7 routes (7 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

0.0.0.0/0          *[BGP/170] 01:47:37, localpref 100
                      AS path: 65001 I, validation-state: unverified
                    >  to 10.1.24.2 via ge-0/0/6.0

R1は対向ASのPCのNW(10.1.1.0/24)の経路情報を学習しており、
R2はサーバーのNW(203.0.113.0/24 )と、対向ASのPCのNWの経路情報を学習しており、
R4はデフォルトルートを学習していることが確認できます。
サーバーとPC間で通信できそうです。

では実際に悪意あるPCから通信してみます。
サーバー(203.0.113.100)宛に攻撃と見立てたPingをします。
攻撃が来ているか確認するため、併せてサーバーでパケットDumpをします。

//PC
VPC-02> ping 203.0.113.100

84 bytes from 203.0.113.100 icmp_seq=1 ttl=61 time=5.747 ms
84 bytes from 203.0.113.100 icmp_seq=2 ttl=61 time=2.722 ms
84 bytes from 203.0.113.100 icmp_seq=3 ttl=61 time=2.803 ms
84 bytes from 203.0.113.100 icmp_seq=4 ttl=61 time=3.442 ms
84 bytes from 203.0.113.100 icmp_seq=5 ttl=61 time=2.765 ms


PCにてPing疎通ができており、パケットDumpもICMPパケットが表示されています。

イメージとしてはこんな感じです。

攻撃成功してます。自AS的にはやーめーてー。

このPingを防ぐために、Flowspecの設定をしていきます。
今回はR1にてパケットフィルタリングポリシーとなるFlowspecルートを作成&広報し、R1〜R3にて動的なFirewall Filterが生成されるようにします。
構成概要としては以下の通りです。

では、Flowspecに関わる設定をしていきます。
まず、構成概要の図の①のFlowspecルートを作成します。
今回は「PCからサーバーへのPing」を防ぎたいので、送信元IPアドレス、宛先IPアドレス、Protocolを条件にします。

//R1
set routing-options flow term-order standard
set routing-options flow route PC_TO_SV_ICMP match protocol icmp
set routing-options flow route PC_TO_SV_ICMP match destination 203.0.113.100/32
set routing-options flow route PC_TO_SV_ICMP match source 10.1.1.66/32
set routing-options flow route PC_TO_SV_ICMP then discard
//R2
set routing-options flow term-order standard
//R3
set routing-options flow term-order standard

「set routing-options flow route …」でFirewall FilterライクなFlowspecルートを作成しています。
ちなみにLast termには暗黙のacceptがあります。
「set routing-options flow term-order standard」は今回はtermが1つだけなので、有っても無くても構いません。とりあえず入れてます。

続いて、構成概要の図の②と③、つまり作成したFlowspecルートをRoute-ReflectorなR3経由でR2へ広報します。
ここで重要なのが、FlowspecルートはMP-BGPのfamily「inet flow」の経路情報として扱われるため、familyの宣言が必要になるという点です。
さらにDefault設定で広報される「inet unicast」の経路情報ですが、「inet flow」を有効にするため必要に応じて明示的にfamilyの宣言が必要になります。
今回は、PCのNWの経路情報(10.1.1.0/24)をAS 65002(R4)からAS 65001に広報しているので、「inet unicast」も併せて設定します。

//R1
set protocols bgp group INT family inet unicast
set protocols bgp group INT family inet flow
//R2
set protocols bgp group INT family inet unicast
set protocols bgp group INT family inet flow
//R3
set protocols bgp group INT family inet unicast
set protocols bgp group INT family inet flow

設定は以上になります。

4. BGP Flowspec 動作確認

動作確認をします。
まず、R1のBGP Peering Statusおよび、Flowspecルートを広報しているか確認します。

//R1
lab@R1# run show bgp summary
Threading mode: BGP I/O
Default eBGP mode: advertise - accept, receive - accept
Groups: 1 Peers: 1 Down peers: 0
Table          Tot Paths  Act Paths Suppressed    History Damp State    Pending
inet.0
                       1          1          0          0          0          0
inetflow.0
                       0          0          0          0          0          0
Peer                     AS      InPkt     OutPkt    OutQ   Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
172.16.1.3            65001        435        435       0       0     3:13:46 Establ
  inet.0: 1/1/1/0
  inetflow.0: 0/0/0/0

lab@R1# run show route advertising-protocol bgp 172.16.1.3

inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
  Prefix		  Nexthop	       MED     Lclpref    AS path
  203.0.113.100,10.1.1.66,proto=1/term:1
*                                                      100        I

「show bgp summary」の出力結果にて、172.16.1.3(R3)とのBGP Peering StatusがEstablished(Establ)となっており、かつ有効なfamilyがinet unicast(inet.0)とinet flow(inetflow.0)になっています。
また「show route advertising-protocol bgp 172.16.1.3」の出力結果にて、「203.0.113.100,10.1.1.66,proto=1」のFlowspecルート情報を広報しています。
正直、フォーマットよくわかりません(Web上で解説しているサイトがない)が設定した値っぽいのが表示されてるので大丈夫でしょうw

続いてR3で確認します。
R3のBGP Peering Statusおよび、R1からFlowspecルートを受信しているか、そしてR2へそのFlowspecルートを広報しているか確認します。

//R3
lab@R3# run show bgp summary
Threading mode: BGP I/O
Default eBGP mode: advertise - accept, receive - accept
Groups: 1 Peers: 2 Down peers: 0
Table          Tot Paths  Act Paths Suppressed    History Damp State    Pending
inet.0
                       1          1          0          0          0          0
inetflow.0
                       1          1          0          0          0          0
Peer                     AS      InPkt     OutPkt    OutQ   Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
172.16.1.1            65001        493        491       0       0     3:39:22 Establ
  inet.0: 0/0/0/0
  inetflow.0: 1/1/1/0
172.16.1.2            65001        492        489       0       0     3:39:18 Establ
  inet.0: 1/1/1/0
  inetflow.0: 0/0/0/0

lab@R3# run show route receive-protocol bgp 172.16.1.1

inet.0: 13 destinations, 13 routes (13 active, 0 holddown, 0 hidden)

inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
  Prefix		  Nexthop	       MED     Lclpref    AS path
  203.0.113.100,10.1.1.66,proto=1/term:1
*                                                      100        I

[edit]
lab@R3# run show route advertising-protocol bgp 172.16.1.2

inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
  Prefix		  Nexthop	       MED     Lclpref    AS path
  203.0.113.100,10.1.1.66,proto=1/term:1
*                                                      100        I

「show bgp summary」の出力結果にて、172.16.1.2(R2)とのBGP Peering StatusがEstablished(Establ)となっており、かつ有効なfamilyがinet unicast(inet.0)とinet flow(inetflow.0)になっています(R1ともEstablになってます)
「show route receive-protocol bgp 172.16.1.1」の出力結果にて、R1(172.16.1.1)からFlowspecルートを受信していることが確認できます。
また「show route advertising-protocol bgp 172.16.1.2」の出力結果にて、R2(172.16.1.2)へ、そのFlowspecルートを広報していることが確認できます。
R3はRoute-Reflectorなので、iBGP Peerの経路情報を広報できれてば問題ないです。

続いて、R2で確認します。
R2のBGP Peering Statusと、R3から広報されたFlowspecルートを受信している(ルーティングテーブルにエントリーされている)か、またR2にてFirewall Filterが作成されているか確認します。

//R2
lab@R2# run show bgp summary
Threading mode: BGP I/O
Default eBGP mode: advertise - accept, receive - accept
Groups: 2 Peers: 2 Down peers: 0
Table          Tot Paths  Act Paths Suppressed    History Damp State    Pending
inet.0
                       1          1          0          0          0          0
inetflow.0
                       1          1          0          0          0          0
Peer                     AS      InPkt     OutPkt    OutQ   Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
10.1.24.4             65002        501        498       0       0     3:43:24 Establ
  inet.0: 1/1/1/0
172.16.1.3            65001        498        497       0       0     3:42:31 Establ
  inet.0: 0/0/0/0
  inetflow.0: 1/1/1/0

lab@R2# run show route receive-protocol bgp 172.16.1.3

inet.0: 16 destinations, 16 routes (16 active, 0 holddown, 0 hidden)

inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
  Prefix		  Nexthop	       MED     Lclpref    AS path
  203.0.113.100,10.1.1.66,proto=1/term:1
*                                                      100        I

lab@R2# run show route table inetflow.0

inetflow.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.100,10.1.1.66,proto=1/term:1
                   *[BGP/170] 03:38:38, localpref 100, from 172.16.1.3
                      AS path: I, validation-state: unverified
                       Fictitious

「show bgp summary」の出力結果にて、172.16.1.3(R3)とのBGP Peering StatusがEstablished(Establ)となっており、かつ有効なfamilyがinet unicast(inet.0)とinet flow(inetflow.0)になっています(R4ともEstablになってます)
「show route receive-protocol bgp 172.16.1.3」の出力結果にて、R3(172.16.1.3)からFlowspecルートを受信していることが確認できます。
また「show route table inetflow.0」の出力結果にて、受信したFlowspecルートがルーティングテーブルにエントリーされており、有効となっています。
有効となっているFlowspecルートによりFirewall Filterとして生成されます。
なので、Firewall FilterのStatusを確認します。
Flowspecで生成されたFirewall Filter名は「__flowspec_default_inet__」となります。

//R2
lab@R2# run show firewall filter __flowspec_default_inet__

Filter: __flowspec_default_inet__
Counters:
Name                                                                            Bytes              Packets
203.0.113.100,10.1.1.66,proto=1                                                     0                    0

出力結果より、__flowspec_default_inet__のFilterにR1で設定した通りのFirewall Filterが生成されました!!

ついでに、R4からのPCのNW(10.1.1.0/24)の経路情報がAS 65001内に広報されているか確認します。
(「set protocols bgp group INT family inet unicast」が効いているか確認します)
まあ最初の設定で広報できてたので簡単にルーティングテーブル確認だけ…。

//R2
lab@R2# run show route protocol bgp 10.1.1.0/24

inet.0: 16 destinations, 16 routes (16 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

10.1.1.0/24        *[BGP/170] 03:58:47, localpref 100
                      AS path: 65002 I, validation-state: unverified
                    >  to 10.1.24.4 via ge-0/0/6.0
//R3
lab@R3# run show route protocol bgp 10.1.1.0/24

inet.0: 13 destinations, 13 routes (13 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

10.1.1.0/24        *[BGP/170] 03:58:12, localpref 100, from 172.16.1.2
                      AS path: 65002 I, validation-state: unverified
                    >  to 10.1.23.2 via ge-0/0/1.0
//R1
lab@R1# run show route protocol bgp 10.1.1.0/24

inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

10.1.1.0/24        *[BGP/170] 03:58:32, localpref 100, from 172.16.1.3
                      AS path: 65002 I, validation-state: unverified
                    >  to 10.1.12.2 via ge-0/0/0.0

R1〜R3ともPCのNW(10.1.1.0/24)の経路情報がルーティングテーブルにエントリーされてます。
経路情報は引き続き問題なさそうです。

ではPCからサーバーへ、もう一度悪意のPingをしてみます。

//PC
VPC-02> ping 203.0.113.100

203.0.113.100 icmp_seq=1 timeout
203.0.113.100 icmp_seq=2 timeout
203.0.113.100 icmp_seq=3 timeout
203.0.113.100 icmp_seq=4 timeout
203.0.113.100 icmp_seq=5 timeout

timeoutとなり、狙い通り不通になりました!

SV上のパケットDumpも何も表示されてなく、悪意のPingが来てないことがわかります。

R2にてFirewall Filterのパケットカウントを確認します。

//R2
lab@R2# run show firewall filter __flowspec_default_inet__

Filter: __flowspec_default_inet__
Counters:
Name                                                                            Bytes              Packets
203.0.113.100,10.1.1.66,proto=1                                                   420                    5

カウントアップされてます。
なので、構成概要の図の④の通り、R2で悪意のPingパケットを破棄できました!!防御成功!!

なお、今回は設定の通り「PCからサーバーへのPing」のみを破棄するようにしているので、ICMP以外のProtocolのパケットはサーバーに届きます。

例えば「PCからサーバーへのTCPコネクション」は通ります。

//PC
VPC-02> ping 203.0.113.100 -P 6   // TCPによる通信

Connect   7@203.0.113.100 seq=1 ttl=61 time=27.478 ms
SendData  7@203.0.113.100 seq=1 ttl=61 time=4.251 ms
Close     7@203.0.113.100 seq=1 ttl=61 time=5.302 ms
 :
Connect   7@203.0.113.100 seq=5 ttl=61 time=3.168 ms
SendData  7@203.0.113.100 seq=5 ttl=61 time=3.161 ms
Close     7@203.0.113.100 seq=5 ttl=61 time=4.211 ms

サーバー上のパケットDumpも表示され、PCとTCP通信してます。

また「R4(送信元IPアドレス: 10.1.1.254)からサーバーへのPing」も通ります。

//R4
lab@R4# run ping 203.0.113.100 source 10.1.1.254 count 5
PING 203.0.113.100 (203.0.113.100): 56 data bytes
64 bytes from 203.0.113.100: icmp_seq=0 ttl=62 time=2.849 ms
64 bytes from 203.0.113.100: icmp_seq=1 ttl=62 time=3.934 ms
64 bytes from 203.0.113.100: icmp_seq=2 ttl=62 time=4.151 ms
64 bytes from 203.0.113.100: icmp_seq=3 ttl=62 time=5.451 ms
64 bytes from 203.0.113.100: icmp_seq=4 ttl=62 time=4.001 ms

サーバー上のパケットDumpも表示され、R4とICMP通信してます。

RTBHは対象のホストに対する通信は一括して破棄するのに対し、Flowspecはフィルタールールに基づいたアクセス制御をするため、しっかりとした設計が必要になります。
考慮漏れがあると、思わぬところから攻撃を受けたり意図しない不通を招くかも…。
真剣に導入を考えてる方はDAY ONEガイドに色々な設定例が載ってるので、熟読するのをオススメします。

最後におまけで、今回のFlowspecルートなNLRIを含んだBGP UPDATEメッセージを見てみます。

RFC 8955記載の通り、AFI = 1、SAFI = 133となっておりNLRIフィールドに「FLOW_SPEC_NLRI」なる名前で、設定したフィルタールールの情報が乗っています。

という訳でFlowspecによるDDoS対策を実装してみました!!
前回から渡って、BGP DDoS対策の設定を検証してみました!

ここまでお読みくださり、ありがとうございました!!

vJunosでBGP DDoS対策をしてみた。 〜RTBH編〜

今回から昨今のセキュリティー意識の高まりを鑑みて、vJunos-routerでBGPを利用したDDoS対策を検証してみます。
BGPを利用したDDoS対策は「RTBH(Remote Triggered Black Hole)」と「Flowspec」の2種類あります。
今回は前者のRTBHを検証してみたいと思います。

1. BGP RTBH 概要

RTBHはRFC 5635とRFC 7999で定められてます…が、大まかなことしか書いてないので、細かい実装は人任せなところがありますw
ポイントとしては
・Trigger Routerにてトラフィックを遮断させたいホストルート(/32)に特殊なcommunityを付与して経路情報を広報する
・手前のBGPスピーカなRouterが上記ホストルートの経路情報を受信し、Next-HopをDiscardにセットする
・ホストルート宛のトラフィックはBlack Hole化され、ホストは攻撃を回避する
なところです。
「手前のBGPスピーカなRouter」が自ASのBorder Routerだったり、隣接する人様のASのRouterだったりします。
また、対象ホストルートをBlack Hole化する方法が色々あったりします。

今回はなるべく簡単な方法で設定してみます。
(もし、おかしな点あれば、ご指摘くださるとありがたいですw)

2. BGP RTBH 構成

構成ですが自AS(AS 65001)は攻撃対象となるサーバーを置いて、Route-Reflector有りの構成にします。
そして、攻撃するユーザーがいる対向AS(AS 65002)を用意します。
各種IPアドレスは図の通りです。
各Routerのループバックアドレスは172.16.1.x/32とします(図中に入れるの忘れた…)

AS間のルーティングですが、自ASからデフォルトルート、対向ASからPCのNW(10.1.1.0/24)を広報するキメにします。

3. BGP RTBH 設定

設定をしてきます。
いつも通り、物理インターフェイスとループバックインターフェイスへのIPアドレスのアサインは完了していることとします。
AS 65001のIGPはOSPFを使います。
前段となるRTBH前(OSPFとBGP Peering)の設定まで一気にしていきます。

//R1
set routing-options router-id 172.16.1.1
set routing-options autonomous-system 65001
set protocols bgp group INT type internal
set protocols bgp group INT local-address 172.16.1.1
set protocols bgp group INT neighbor 172.16.1.3
set protocols ospf area 0.0.0.0 interface lo0.0 passive
set protocols ospf area 0.0.0.0 interface ge-0/0/9.0 passive
set protocols ospf area 0.0.0.0 interface ge-0/0/0.0
set protocols ospf area 0.0.0.0 interface ge-0/0/3.0
//R2
set policy-options policy-statement BGP_R3_EXPORT term 0011 from protocol bgp
set policy-options policy-statement BGP_R3_EXPORT term 0011 from route-type external
set policy-options policy-statement BGP_R3_EXPORT term 0011 then next-hop self
set policy-options policy-statement BGP_R3_EXPORT term 0011 then accept
set policy-options policy-statement BGP_R4_EXPORT term 0011 from protocol static
set policy-options policy-statement BGP_R4_EXPORT term 0011 from route-filter 0.0.0.0/0 exact
set policy-options policy-statement BGP_R4_EXPORT term 0011 then accept
set policy-options policy-statement BGP_R4_EXPORT term 9991 then reject
set routing-options rib inet.0 static route 0.0.0.0/0 discard
set routing-options rib inet.0 static route 0.0.0.0/0 no-install
set routing-options router-id 172.16.1.2
set routing-options autonomous-system 65001
set protocols bgp group INT type internal
set protocols bgp group INT local-address 172.16.1.2
set protocols bgp group INT neighbor 172.16.1.3 export BGP_R3_EXPORT
set protocols bgp group EXT type external
set protocols bgp group EXT neighbor 10.1.24.4 export BGP_R4_EXPORT
set protocols bgp group EXT neighbor 10.1.24.4 peer-as 65002
set protocols ospf area 0.0.0.0 interface lo0.0 passive
set protocols ospf area 0.0.0.0 interface ge-0/0/0.0
set protocols ospf area 0.0.0.0 interface ge-0/0/3.0
//R3
set routing-options router-id 172.16.1.3
set routing-options autonomous-system 65001
set protocols bgp group INT type internal
set protocols bgp group INT local-address 172.16.1.3
set protocols bgp group INT cluster 172.16.1.3
set protocols bgp group INT neighbor 172.16.1.1
set protocols bgp group INT neighbor 172.16.1.2
set protocols ospf area 0.0.0.0 interface lo0.0 passive
set protocols ospf area 0.0.0.0 interface ge-0/0/0.0
set protocols ospf area 0.0.0.0 interface ge-0/0/1.0
//R4
set policy-options policy-statement BGP_R2_EXPORT term 0011 from protocol direct
set policy-options policy-statement BGP_R2_EXPORT term 0011 from route-filter 10.1.1.0/24 exact
set policy-options policy-statement BGP_R2_EXPORT term 0011 then accept
set policy-options policy-statement BGP_R2_EXPORT term 9991 then reject
set routing-options router-id 172.16.1.4
set routing-options autonomous-system 65002
set protocols bgp group EXT type external
set protocols bgp group EXT neighbor 10.1.24.2 export BGP_R2_EXPORT
set protocols bgp group EXT neighbor 10.1.24.2 peer-as 65001

補足としては、R2はR4へデフォルトルートを広報しており、かつR4から広報された経路情報についてnext-hop selfを設定してR3に広報している点でしょうか。
併せてデフォルトルート広報用の0.0.0.0/0なスタティックルートを設定しています。

経路確認をします。
詳しく見たいところですが、尺の都合で必要最小限で…。

//R1
lab@R1# run show route protocol bgp

inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

10.1.1.0/24        *[BGP/170] 01:43:58, localpref 100, from 172.16.1.3
                      AS path: 65002 I, validation-state: unverified
                    >  to 10.1.12.2 via ge-0/0/0.0
//R2
lab@R2# run show route 203.0.113.0/24

inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.0/24     *[OSPF/10] 01:45:32, metric 2
                    >  to 10.1.12.1 via ge-0/0/0.0

lab@R2# run show route protocol bgp

inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

10.1.1.0/24        *[BGP/170] 01:46:42, localpref 100
                      AS path: 65002 I, validation-state: unverified
                    >  to 10.1.24.4 via ge-0/0/6.0
//R4
lab@R4# run show route protocol bgp

inet.0: 7 destinations, 7 routes (7 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

0.0.0.0/0          *[BGP/170] 01:47:37, localpref 100
                      AS path: 65001 I, validation-state: unverified
                    >  to 10.1.24.2 via ge-0/0/6.0

R1は対向ASのPCのNW(10.1.1.0/24)の経路情報を学習しており、
R2はサーバーのNW(203.0.113.0/24 )と、対向ASのPCのNWの経路情報を学習しており、
R4はデフォルトルートを学習していることが確認できます。
サーバーとPC間で通信できそうです。

では実際に悪意あるPCから通信してみます。
サーバー(203.0.113.100)宛に攻撃と見立てたPingをします。
攻撃が来ているか確認するため、併せてサーバーでパケットDumpをします。

//PC
VPC-02> ping 203.0.113.100

84 bytes from 203.0.113.100 icmp_seq=1 ttl=61 time=5.747 ms
84 bytes from 203.0.113.100 icmp_seq=2 ttl=61 time=2.722 ms
84 bytes from 203.0.113.100 icmp_seq=3 ttl=61 time=2.803 ms
84 bytes from 203.0.113.100 icmp_seq=4 ttl=61 time=3.442 ms
84 bytes from 203.0.113.100 icmp_seq=5 ttl=61 time=2.765 ms


PCにてPing疎通ができており、パケットDumpもICMPパケットが表示されています。

イメージとしてはこんな感じです。

攻撃成功してます。自AS的にはやーめーてー。

では、RTBHの設定をしていきます。
RTBHは、概要に書いてあることを踏襲しつつ、以下の様なキメで設定していきたいと思います。

まず、R2に①の設定をします。
特定のcommunity値によってnext-hop discardとするpolicy-statementを作成します。
特定のcommunity値は「65001:666」とします。

//R2
set policy-options community RTBH members 65001:666
set policy-options policy-statement RTBH-IMPORT term 0011 from community RTBH
set policy-options policy-statement RTBH-IMPORT term 0011 then next-hop discard
set policy-options policy-statement RTBH-IMPORT term 9991 then accept
set protocols bgp group INT import RTBH-IMPORT

ちなみにRFC 7999にてWell-known community "BLACKHOLE"(65535:666)として決まってます。が、今回はわかりやすく自ASNとしてます。

続いて、R1に②の設定をします。
攻撃を受けているサーバーのホストルート(203.0.113.100/32)にcommunity値 65001:666を付与してBGPで広報します。
なので、広報用のスタティックルートも作成します。
またポイントとしては、このRTBH用のホストルートは自AS内のみの広報に留めておくため、Well-known communityである"NO_EXPORT"を併せて付与します。
Junosの場合は、community値の代わりに「no-export」と入力することで、NO_EXPORT属性が付与されます。

//R1
set routing-options static route 203.0.113.100/32 discard
set policy-options community NO-EXPORT members no-export
set policy-options community RTBH members 65001:666
set policy-options policy-statement RTBH-EXPORT term 0011 from protocol static
set policy-options policy-statement RTBH-EXPORT term 0011 from route-filter 203.0.113.100/32 exact
set policy-options policy-statement RTBH-EXPORT term 0011 then community add RTBH
set policy-options policy-statement RTBH-EXPORT term 0011 then community add NO-EXPORT
set policy-options policy-statement RTBH-EXPORT term 0011 then accept
set protocols bgp group INT export RTBH-EXPORT

設定は以上となります。

4. BGP RTBH 動作確認

確認をします。
まずR3にて、R1からホストルートな経路情報を受信しているか確認します。

//R3
lab@R3# run show route receive-protocol bgp 172.16.1.1 extensive

inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)
* 203.0.113.100/32 (1 entry, 1 announced)
     Accepted
     Nexthop: 172.16.1.1
     Localpref: 100
     AS path: I
     Communities: 65001:666 no-export

ホストルート 203.0.113.100/32を受信しており、かつCommunitiesが「65001:666 no-export」となっています。
R1は設定通りに広報してますね。

続いてR2にて、R3からホストルートな経路情報を受信しているか確認します。

//R2
lab@R2# run show route receive-protocol bgp 172.16.1.3 extensive

inet.0: 15 destinations, 15 routes (15 active, 0 holddown, 0 hidden)
* 203.0.113.100/32 (1 entry, 1 announced)
     Accepted
     Nexthop: 172.16.1.1
     Localpref: 100
     AS path: I  (Originator)
     Cluster list:  172.16.1.3
     Originator ID: 172.16.1.1
     Communities: 65001:666 no-export

同様にホストルート 203.0.113.100/32を受信しており、かつCommunitiesが「65001:666 no-export」となっています。
先ほどの図の③まで問題なさそうです。

続いてR2でルーティングテーブルを見て、図の④の確認をします。
サーバーのホストルートのNext-HopがDiscardとなっているか確認します。

lab@R2# run show route 203.0.113.100/32

inet.0: 15 destinations, 15 routes (15 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.100/32   *[BGP/170] 01:00:43, localpref 100, from 172.16.1.3
                      AS path: I, validation-state: unverified
                       Discard

Next-HopがDiscardとなっています!ちゃんと破棄してくれそうですね!

併せて、NO_EXPORT属性が効いているか(R4へサーバーのホストルートを広報していないか)確認します。
(最初の投入configでR4へは0.0.0.0/0のみ広報する(その他の経路情報はrejectする)ようにしてるので、一旦、無効化してます)

lab@R2# deactivate policy-options policy-statement BGP_R4_EXPORT term 9991

[edit]
lab@R2# commit
commit complete

[edit]
lab@R2# run show route advertising-protocol bgp 10.1.24.4

inet.0: 15 destinations, 15 routes (15 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
* 0.0.0.0/0               Self                                    I

[edit]
lab@R2# rollback 1
load complete

[edit]
lab@R2# commit
commit complete

[edit]
lab@R2# run show route advertising-protocol bgp 10.1.24.4

inet.0: 15 destinations, 15 routes (15 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
* 0.0.0.0/0               Self                                    I

(デフォルトルート以外のの経路情報はrejectする設定を無効化した上で)R4への広報している経路はデフォルトルートのみなので、NO_EXPORT属性が効いてそうです。
(念のため、再度、その他の経路情報はrejectするようにした上で広報状況を確認してます。同様にデフォルトルートのみ広報してます)

自ASの準備はできたので、最後にPCから再度、攻撃と見立てたPingをしてみます。

VPC-02> ping 203.0.113.100

203.0.113.100 icmp_seq=1 timeout
203.0.113.100 icmp_seq=2 timeout
203.0.113.100 icmp_seq=3 timeout
203.0.113.100 icmp_seq=4 timeout
203.0.113.100 icmp_seq=5 timeout

Pingがtimeoutしてます!R2で破棄されてそうですね!!

SVのパケットDumpも見てみます。

パケットが一切表示されないので、来てないこととなります!
みごと防御成功!!

ちなみに、ブラックホール化しているホストルートを削除したい場合は、R1のスタティックルートを無効化する設定するのみで、ホストルートは広報されなくなります。

//R1
[edit]
lab@R1# deactivate routing-options static route 203.0.113.100/32

[edit]
lab@R1# commit
commit complete


R2でルーティングテーブルを確認します。

//R2
lab@R2# run show route 203.0.113./24

inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.0/24     *[OSPF/10] 02:13:29, metric 2
                    >  to 10.1.12.1 via ge-0/0/0.0

203.0.113.100/32のホストルートが存在しないため、Black Holeルートは削除されています。
…当然、攻撃を再度受けることになるので、削除するタイミングは慎重に見極めましょう。


という訳でRTBHを実装してみました!!
次回はもっと柔軟性の高いDDoS対策となるFlowspecについて検証したいと思います!!!

ここまでお読みくださり、ありがとうございました!!

JNCIE Plaque Kitが届きました。

7月にJNCIE-SPに合格し、約3ヶ月後にPlaque Kitが届きました。

梱包材を解くと、中から紙の箱が出てきました。

梱包材に納品書が貼付されており、内容物が書いてあります。

色々入ってますね。

いざ開封!!

一番上にメッセージカードが添えてありました。

その下に手帳型のノートとペンがありました。


白を基調としたノートとペンですね。珍しいかも??

そしてピンバッジが4種類入っています。
Associate、Specialist、Professional、Expertをモチーフとしたピンバッジです。


Expertも良いですが、個人的にはオレンジのProfessionalも好きです。

さらにステッカーが2種入っています。

一番下にCrystal Awardが入った箱がありました。

開けます!!…おおー、神々しい。

自立できる様、底の面積が広くなってます。
かなり重いです。1kgくらいあるかな??

19年前に取った際の&10 Years記念のCCIEの盾2つと比べてみます。

だいぶコンパクト!でも一番重いですw

という訳でJNCIE Plaque Kitの紹介でした!!
まだまだ精進します!!!

vJunosでEVPN-MPLS L3VPNをしてみた。 ~その2~

前回(その1)に引き続き、vJunos-routerを使ってEVPN-MPLSによるL3VPNの検証をしたいと思います。
前回の記事はこちらです。だいぶ間が空いてしまいました…。
yokohama539.hatenablog.com
前回はEVPNでL2VPN(同一ネットワークでの通信)まで確認しました。
今回は話のメインとなる、L3VPN(異なるネットワーク間の通信)を実現する設定をしていきます。

1. EVPN-MPLS L3VPN 構成

再掲となりますが、トポロジーは以下のとおりです。

今回の範囲として、擬似InternetとなるAS 65002があり、このASはR4とeBGP Peeringをしてデフォルトルートを広報します。
広報されたデフォルトルートによってPC1~3から疑似Internet上のHostであるPC10と通信できることをゴールとします。

2. EVPN-MPLS L3VPN 設定

では、L3VPNを行うための設定をしていきます。
R1、R2、R3はほぼ一緒の設定です。

//R1
set interfaces irb unit 1 family inet address 192.168.12.254/24
set routing-instances EVPN-MPLS routing-interface irb.1
set routing-instances EVPN-MPLS_L3 instance-type vrf
set routing-instances EVPN-MPLS_L3 protocols evpn ip-prefix-routes advertise direct-nexthop
set routing-instances EVPN-MPLS_L3 interface irb.1
set routing-instances EVPN-MPLS_L3 route-distinguisher 172.16.1.1:1002
set routing-instances EVPN-MPLS_L3 vrf-target target:65001:1002
set routing-instances EVPN-MPLS_L3 vrf-table-label
//R2
set interfaces irb unit 1 family inet address 192.168.12.254/24
set routing-instances EVPN-MPLS routing-interface irb.1
set routing-instances EVPN-MPLS_L3 instance-type vrf
set routing-instances EVPN-MPLS_L3 protocols evpn ip-prefix-routes advertise direct-nexthop
set routing-instances EVPN-MPLS_L3 interface irb.1
set routing-instances EVPN-MPLS_L3 route-distinguisher 172.16.1.2:1002
set routing-instances EVPN-MPLS_L3 vrf-target target:65001:1002
set routing-instances EVPN-MPLS_L3 vrf-table-label
//R3
set interfaces irb unit 1 family inet address 192.168.12.254/24
set routing-instances EVPN-MPLS routing-interface irb.1
set routing-instances EVPN-MPLS_L3 instance-type vrf
set routing-instances EVPN-MPLS_L3 protocols evpn ip-prefix-routes advertise direct-nexthop
set routing-instances EVPN-MPLS_L3 interface irb.1
set routing-instances EVPN-MPLS_L3 route-distinguisher 172.16.1.3:1002
set routing-instances EVPN-MPLS_L3 vrf-target target:65001:1002
set routing-instances EVPN-MPLS_L3 vrf-table-label

イメージとしては、L3VPN用のIRBインターフェイスとInstanceを作り、前回作成したL2VPNのInstanceにもIRBを関連付ける…と言ったところでしょうか。
もちろん、IRBのIPアドレスはPCで定義したデフォルトゲートウェイと同一となります。

Customer Site収容兼ASBRとなるR4は設定が多くなります。

//R4
set interfaces irb unit 1 family inet address 192.168.12.254/24
set routing-instances EVPN-MPLS routing-interface irb.1
set routing-instances EVPN-MPLS_L3 instance-type vrf
set routing-instances EVPN-MPLS_L3 protocols evpn ip-prefix-routes advertise direct-nexthop
set routing-instances EVPN-MPLS_L3 route-distinguisher 172.16.1.4:1002
set routing-instances EVPN-MPLS_L3 vrf-target target:65001:1002
set routing-instances EVPN-MPLS_L3 interface irb.1
set routing-instances EVPN-MPLS_L3 vrf-table-label
set interfaces ge-0/0/9 unit 0 family inet address 10.1.48.4/24
set policy-options policy-statement BGP_R8_EXPORT term 0011 from protocol direct
set policy-options policy-statement BGP_R8_EXPORT term 0011 from protocol evpn
set policy-options policy-statement BGP_R8_EXPORT term 0011 then accept
set policy-options policy-statement BGP_R8_EXPORT term 9991 then reject
set routing-instances EVPN-MPLS_L3 interface ge-0/0/9.0
set routing-instances EVPN-MPLS_L3 protocols bgp group EXTERNAL type external
set routing-instances EVPN-MPLS_L3 protocols bgp group EXTERNAL neighbor 10.1.48.8 export BGP_R8_EXPORT
set routing-instances EVPN-MPLS_L3 protocols bgp group EXTERNAL neighbor 10.1.48.8 peer-as 65002

前半はR1〜R3と同様にL3VPN用のInstance設定を行っています。
後半は擬似InternetなAS 65002とeBGP Peeringをする設定を行っています。
ポイントとしては、eBGP Peeringするインターフェイス(ge-0/0/9)はL3VPN用のInstanceに所属させるところでしょうか。

最後に擬似Internetとなる、R8の設定をします。

//R8
set routing-options rib inet.0 static route 0.0.0.0/0 reject
set policy-options policy-statement BGP_R4_EXPORT term 0011 from protocol static
set policy-options policy-statement BGP_R4_EXPORT term 0011 from route-filter 0.0.0.0/0 exact
set policy-options policy-statement BGP_R4_EXPORT term 0011 then accept
set policy-options policy-statement BGP_R4_EXPORT term 9991 then reject
set routing-options autonomous-system 65002
set protocols bgp group EXTERNAL type external
set protocols bgp group EXTERNAL neighbor 10.1.48.4 export BGP_R4_EXPORT
set protocols bgp group EXTERNAL neighbor 10.1.48.4 peer-as 65001

デフォルトルートを広報する設定にしてます。

設定は以上になります。

3. EVPN-MPLS L3VPN 確認

では確認をしていきます。

まず、R4にてR8からデフォルトルートの経路情報を受信しているか確認します。

//R4
lab@R4# run show bgp summary group EXTERNAL
Threading mode: BGP I/O
Default eBGP mode: advertise - accept, receive - accept
Groups: 2 Peers: 2 Down peers: 0
Table          Tot Paths  Act Paths Suppressed    History Damp State    Pending
inet.0
                       0          0          0          0          0          0
bgp.evpn.0
                      19         19          0          0          0          0
Peer                     AS      InPkt     OutPkt    OutQ   Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
10.1.48.8             65002        278        278       0       0     2:03:21 Establ
  EVPN-MPLS_L3.inet.0: 1/1/1/0

[edit]
lab@R4# run show route receive-protocol bgp 10.1.48.8

inet.0: 16 destinations, 16 routes (16 active, 0 holddown, 0 hidden)

inet.3: 3 destinations, 3 routes (3 active, 0 holddown, 0 hidden)

EVPN-MPLS_L3.inet.0: 6 destinations, 9 routes (6 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
* 0.0.0.0/0               10.1.48.8                               65002 I

mpls.0: 17 destinations, 17 routes (17 active, 0 holddown, 0 hidden)

bgp.evpn.0: 27 destinations, 27 routes (27 active, 0 holddown, 0 hidden)

EVPN-MPLS_L3.evpn.0: 6 destinations, 6 routes (6 active, 0 holddown, 0 hidden)

EVPN-MPLS.evpn.0: 21 destinations, 21 routes (21 active, 0 holddown, 0 hidden)

10.1.48.8(R8)とPeeringできており、かつデフォルトルートな経路情報を受信しています。

続いて、R4からRR(R7)へ広報している経路情報を確認します。

//R4
lab@R4# run show route advertising-protocol bgp 172.16.1.7 table bgp.evpn.0 | no-more

bgp.evpn.0: 27 destinations, 27 routes (27 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
  2:172.16.1.4:65001::12::00:50:79:66:68:0b/304 MAC/IP
*                         Self                         100        I
  2:172.16.1.4:65001::12::2c:6b:f5:80:c3:f0/304 MAC/IP
*                         Self                         100        I
  2:172.16.1.4:65001::12::00:50:79:66:68:0b::192.168.12.3/304 MAC/IP
*                         Self                         100        I
  2:172.16.1.4:65001::12::2c:6b:f5:80:c3:f0::192.168.12.254/304 MAC/IP
*                         Self                         100        I
  3:172.16.1.4:65001::12::172.16.1.4/248 IM
*                         Self                         100        I
  5:172.16.1.4:1002::0::0.0.0.0::0/248
*                         Self                         100        65002 I
  5:172.16.1.4:1002::0::10.1.48.0::24/248
*                         Self                         100        I
  5:172.16.1.4:1002::0::192.168.12.0::24/248
*                         Self                         100        I

下3つのエントリーでRoute Type 5を広報していることが確認できます。
Route Type 5はIP Prefix情報を広報するTypeとなります。
要はネットワークアドレスとサブネットマスク長の構成からなるL3経路情報です。
「5:172.16.1.4:1002::0::0.0.0.0::0/248」にてR8からのデフォルトルート経路情報をEVPNシグナリングなMP-BGPで広報しています。

RRを経て、R1へこの経路情報が受信されているか確認します。

//R1
lab@R1# run show route receive-protocol bgp 172.16.1.7 table bgp.evpn.0 match-prefix "5:*"

bgp.evpn.0: 29 destinations, 29 routes (29 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
  5:172.16.1.2:1002::0::192.168.12.0::24/248
*                         172.16.1.2                   100        I
  5:172.16.1.3:1002::0::192.168.12.0::24/248
*                         172.16.1.3                   100        I
  5:172.16.1.4:1002::0::0.0.0.0::0/248
*                         172.16.1.4                   100        65002 I
  5:172.16.1.4:1002::0::10.1.48.0::24/248
*                         172.16.1.4                   100        I
  5:172.16.1.4:1002::0::192.168.12.0::24/248
*                         172.16.1.4                   100        I

「5:172.16.1.4:1002::0::0.0.0.0::0/248」の経路情報を受信されています。

続いて受信したこのデフォルトルートな経路情報がルーティングテーブルに反映されているか確認します。

//R1
lab@R1# run show route table EVPN-MPLS_L3.inet.0 | no-more

EVPN-MPLS_L3.inet.0: 5 destinations, 8 routes (5 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

0.0.0.0/0          *[EVPN/170] 02:42:13
                    >  to 10.1.15.5 via ge-0/0/0.0, label-switched-path R1-to-R4
10.1.48.0/24       *[EVPN/170] 02:42:13
                    >  to 10.1.15.5 via ge-0/0/0.0, label-switched-path R1-to-R4
192.168.12.0/24    *[Direct/0] 02:43:57
                    >  via irb.1
                    [EVPN/170] 02:43:57
                    >  to 10.1.15.5 via ge-0/0/0.0, label-switched-path R1-to-R2
                    [EVPN/170] 02:41:45
                    >  to 10.1.15.5 via ge-0/0/0.0, label-switched-path R1-to-R3
                    [EVPN/170] 02:41:59
                    >  to 10.1.15.5 via ge-0/0/0.0, label-switched-path R1-to-R4
192.168.12.1/32    *[EVPN/7] 00:55:48
                    >  via irb.1
192.168.12.254/32  *[Local/0] 02:43:57
                       Local via irb.1

0.0.0.0/0のデフォルトルートがエントリーされています!
label-switched-pathもR4へ転送される「R1-to-R4」が使われる様で、経路も問題なさそうです。
PC1からPC10宛のトラフィックについては問題なく届きそうです。

念のため、PC10からPC1宛のトラフィックについて擬似Internet(R8)からAS65001(R4)へ転送されるか、R8にて経路情報を確認します。

//R8
lab@R8# run show route protocol bgp

inet.0: 7 destinations, 8 routes (7 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

10.1.48.0/24        [BGP/170] 00:01:02, localpref 100
                      AS path: 65001 I, validation-state: unverified
                    >  to 10.1.48.4 via ge-0/0/0.0
192.168.12.0/24    *[BGP/170] 00:01:02, localpref 100
                      AS path: 65001 I, validation-state: unverified
                    >  to 10.1.48.4 via ge-0/0/0.0
192.168.12.3/32    *[BGP/170] 01:26:12, localpref 100
                      AS path: 65001 I, validation-state: unverified
                    >  to 10.1.48.4 via ge-0/0/0.0

192.168.12.0/24の経路情報を受け取っているので、問題なく転送されそうです。

では実際にPC1(192.168.12.1)からPC10(203.0.113.150)へPingをしてみます。

//PC1
VPC1> ping 203.0.113.150

84 bytes from 203.0.113.150 icmp_seq=1 ttl=62 time=5.252 ms
84 bytes from 203.0.113.150 icmp_seq=2 ttl=62 time=4.243 ms
84 bytes from 203.0.113.150 icmp_seq=3 ttl=62 time=4.226 ms

疎通できました!!

同様にPC2(192.168.12.2)からPC10へも疎通できるか、R3の経路情報とともに確認します。

//R3
lab@R3# run show route receive-protocol bgp 172.16.1.7 table bgp.evpn.0 match-prefix "5:*" | no-more

bgp.evpn.0: 27 destinations, 27 routes (27 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
  5:172.16.1.1:1002::0::192.168.12.0::24/248
*                         172.16.1.1                   100        I
  5:172.16.1.2:1002::0::192.168.12.0::24/248
*                         172.16.1.2                   100        I
  5:172.16.1.4:1002::0::0.0.0.0::0/248
*                         172.16.1.4                   100        65002 I
  5:172.16.1.4:1002::0::10.1.48.0::24/248
*                         172.16.1.4                   100        I
  5:172.16.1.4:1002::0::192.168.12.0::24/248
*                         172.16.1.4                   100        I

lab@R3# run show route table EVPN-MPLS_L3.inet.0

EVPN-MPLS_L3.inet.0: 5 destinations, 8 routes (5 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

0.0.0.0/0          *[EVPN/170] 03:32:21
                    >  to 10.1.35.6 via ge-0/0/0.0, label-switched-path R3-to-R4
10.1.48.0/24       *[EVPN/170] 03:32:21
                    >  to 10.1.35.6 via ge-0/0/0.0, label-switched-path R3-to-R4
192.168.12.0/24    *[Direct/0] 03:32:08
                    >  via irb.1
                    [EVPN/170] 03:32:21
                    >  to 10.1.35.6 via ge-0/0/0.0, label-switched-path R3-to-R4
                    [EVPN/170] 03:32:35
                    >  to 10.1.35.6 via ge-0/0/0.0, label-switched-path R3-to-R1
                    [EVPN/170] 03:32:28
                    >  to 10.1.35.6 via ge-0/0/0.0, label-switched-path R3-to-R2
192.168.12.2/32    *[EVPN/7] 03:27:54
                    >  via irb.1
192.168.12.254/32  *[Local/0] 03:32:08
                       Local via irb.1
//PC2
VPC2> ping 203.0.113.150

84 bytes from 203.0.113.150 icmp_seq=1 ttl=62 time=4.242 ms
84 bytes from 203.0.113.150 icmp_seq=2 ttl=62 time=2.946 ms
84 bytes from 203.0.113.150 icmp_seq=3 ttl=62 time=2.689 ms

R3にて、R1と同様にデフォルトルートな経路情報がエントリーされており、PC2からPC10へPingが飛びました!

ついでに、PC3(192.168.12.3)からもPC10へPingをしてみます。

//PC3
VPC3> ping 203.0.113.150

84 bytes from 203.0.113.150 icmp_seq=1 ttl=62 time=2.066 ms
84 bytes from 203.0.113.150 icmp_seq=2 ttl=62 time=1.296 ms
84 bytes from 203.0.113.150 icmp_seq=3 ttl=62 time=2.043 ms

PC3からPC10へPingが飛びました!

ゴールである、PC1~3からPC10への通信が無事できました!

PC1〜3からPC10宛のトラフィックにおけるMPLS PathはR4向けのPathを使うでしょう。なので今回パケットキャプチャーは省略します。
気になる方は実際にLabを組んで試してくださいw

という訳でEVPN-MPLSでのL3VPN通信の検証は以上になります!!
ここまでお読み頂き、ありがとうございました!!!!

4. 参考文献

Juniper Documentation - EVPN User Guide - EVPN-MPLS - Configuring Integrated Bridging and Routing セクション
www.juniper.net

JNCIE-SP (2回目) 受験記

2026年7月某日に、2回目のJNCIE-SP(JPR-962)の資格試験を受けました。
その受験記になります。
※公開されている情報のみ記載してます。

1回目はこちらです。2つに分けてます。
yokohama539.hatenablog.com
yokohama539.hatenablog.com

1. 2回目への対策と試験予約

1回目はFailとなったため、2回目を受験するにあたって以下の対策を行いました。

①出題範囲の反復練習
出題される技術の基本的な設定方法を今一度確認し、極力Documentを見ずともコマンドが打てるようにトレーニングしました。

②showコマンドによる確認の強化
detailやextensiveオプションで詳細情報を表示し、意味を理解するようにしました。
また、エントリ数の多いルーティングテーブルに対し、見たい経路情報を正規表現によるフィルターでピンポイントで表示するオプションを使うトレーニングをしました。
例を挙げるとshow route table inet.0にて、「match-prefix */32$」を付けてIPv4 ホストルートのみ表示させ、各デバイスのlo0.0の経路情報を学習してるかの確認時間の短縮化を図る…と言ったトレーニングなどです。

lab@PE-01# run show route table inet.0 match-prefix */32$ protocol isis

inet.0: 10 destinations, 10 routes (10 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.2/32      *[IS-IS/15] 00:07:06, metric 10
                    >  to 10.1.12.1 via ge-0/0/0.0
172.16.1.3/32      *[IS-IS/15] 00:06:57, metric 20
                    >  to 10.1.12.1 via ge-0/0/0.0
172.16.1.4/32      *[IS-IS/15] 00:06:57, metric 20
                    >  to 10.1.12.1 via ge-0/0/0.0


③出題される技術についてDocumentでの調査強化
①でDocumentを見ずとも設定するトレーニングをしてますが、それでも試験ではどんな条件の設問が出るのか、わかりません。
なので、出題される技術について、どのDocumentファイルを参照すれば良いか、どんなオプションが存在するのか可能な限り調査しました。

④help aproposの活用
Junosには「help apropos」という、コマンド検索機能があります。この機能を使って、出題される技術のコマンドを素早く調べられるようにトレーニングしました。
例を挙げると、Telemetryは「grpc」というキーワードで覚えておいて、細かなコマンドはhelp aproposでアドリブで調べる…といった流れです。

lab@PE-01# help apropos grpc
set system login class <class-name> allow-grpc-rpc-regexps
    Regular expressions of gRPC rpcs to be allowed
set system login class <class-name> deny-grpc-rpc-regexps
    Regular expressions of gRPC rpcs to be denied
set system services extension-service request-response grpc
    Grpc server configuration
set system services extension-service request-response grpc ssl hot-reloading
    Enable certificate reload without terminating existing gRPC sessions
:
:
lab@PE-01# help apropos grpc | grep extension-service
set system services extension-service request-response grpc
set system services extension-service request-response grpc ssl hot-reloading
set system services extension-service request-response grpc routing-instance <routing-instance>
set system services extension-service request-response grpc grpc-keep-alive <grpc-keep-alive>
set system services extension-service traceoptions flag grpc
set system services extension-service traceoptions flag libgrpc-debug
set system services extension-service traceoptions flag libgrpc-errors
set system services extension-service traceoptions flag libgrpc-info

また、③との併せ技で、全く知らない条件での設定が出題されても、 help aproposでコマンドをある程度調べて、コマンド文字列でDocumentを検索して必要なオプションを割り出す…という方法が可能になります。

⑤コピペ活用の強化
1回目でもコピペは使ってましたが、それでも時間が足りなかったためコピペをもっと多く使うようトレーニングしました。
Firewall Filterやpolicy-statementの設定は全てコピペにて設定するくらいトレーニングしました。
直打ちの方が設定してる感あるんですけどね!

そして、2回目の試験日ですが、「5月以降で、なる早でAPACゾーンで予約できれば」と考えてましたが、あいにく8月までFullとなっており予約ができない状況でした。
なので、ちょいちょい予約状況を確認してキャンセルが出ればAPAC or EMEAゾーンで予約してしまおう、という方針で受験を考えてました。
…それでもなかなか空きが出ずヤキモキした日々が続きました。
で、ある日、7月某日にEMEAゾーンで空きが出たため、えいやっと予約を取りましたw とりあえず早めに受けたかったですw

試験日まで、上記の対策を習熟しつつ1回目の試験問題の復習と、想定される類似問題でトレーニングなど行いました。

2. 試験前々日〜前日

試験前日は出社する予定だったので、前々日から1回目の受験時と同様に、部屋の整理と家具の目隠しを行いました。
試験前日は、職場から帰宅後にPCの動作確認を行いました(Juniper Portalサイトへアクセスできるか、マイクとWebカメラは機能するかなど)
ネット接続はできる限り確実にすべく、もちろん今回も有線接続です。
LANケーブルにお守りをモリモリつけて願掛けました!(とても重要な行為だと思っている)

復習もそこそこにして、明日に備えて寝ます!おやすみなさい!!

3-1. 試験当日 チェックイン前まで

試験当日になりました。
今回はEMEA(CEST)のAM 9:00スタートなので、日本時間ではPM 4:00スタートになります。
(案内メールでは「CET AM 9:00」スタートと書いてありましたが、実際は夏時間なCESTでした。まあ7月なので予想できてましたが)
14:30くらいまでは会社のPCを立ち上げてメールチェックなどしつつ、試験で必要な物を用意します。

部屋も準備OK!

14:45頃にRemote Lab用のアクセスプロファイルが添付されたメールがプロクターより送られてきました。
また、(前回同様)このメールには事前ブリーフィング(Zoom)のミーティングIDが記載されており、試験開始30分前くらいに参加するよう指示があります。
15:20くらいまで勉強ノート(OneNote)を読み返したり、PCの設定確認をしてました。
そして試験開始30分前(15:30)になり、Safe Exam Browserを立ち上げてRemote Lab環境にアクセスし、届いたメール記載のミーティングIDへ参加します。

3-2. 試験当日 チェックイン〜ブリーフィング

ミーティング参加後、少し待ってからブレイクアウトルームに誘導されます。
そしてプロクターの顔が映り「Hi, YOKOHAMA! How are you?」と挨拶されました(もちろん本名で呼ばれてますが、Blog上ではYOKOHAMAとします)
なお、プロクターは前回とは違う方です(前回はAPACゾーンでの受験で今回はEMEAゾーンの受験なので、違うプロクターになったようです)
まず「How many times you taken exam?(試験は何回目だ?)」と聞かれ「2nd try」と答えました。
その後「All right. So, I explain the lab exam(よしわかった、Lab試験について説明するぞ)」と言い、ブリーフィングが始まりました。
とは言っても、試験時間や諸注意などすでにわかっていることなので、そこまで気をつけることはありませんでした。
試験の諸注意をしながら、前回と同様に身分証明書(パスポート)のチェックやルームスキャンも行われました。
一通り説明が終わり、「Any question?」と聞かれましたが「No」と返してブリーフィングは終了しました。

そして、プロクターへRemote Lab環境の操作権限を与え、遠隔操作にて用意されているLab問題、トポロジーの画、ターミナルソフトのSecureCRTが置いてあるRemote DesktopなWindows画面を出してくれます。
当然、この時間はお祈りポイントでした。知ってる技術たくさん出題されろ…!
そしてプロクターより「Let's get started exam. Lunch is after ◯ hours(じゃあ試験を開始しよう。ランチは◯時間後だ)」と言われ、操作可能になりました。
※時間配分は公の記載がないので、秘密です…。

6時間のLab試験が始まりました。

3-3. 試験当日 Lab試験(前半)

まずトポロジーを見ます。第一印象は「ふむふむなるほど…。今回もまあ理解できる構成やね…」と言ったところでした。
そして前回よりもしっかり設問を一通り最後まで読みます。
今回も英語力皆無な自分でも大体は理解できる内容でした。
10分くらいトポロジーと問題文を眺めて、どのRouterにどんな設定を入れるか見当をつけた後、SecureCRTを立ち上げて設定を入れていきます。
設問の詳細はもちろん書けませんが、ココとココの内容が問われます。

前回よりも迷いなく設定を入れていきます。
とは言っても当然詰まるところはあるので、用意されたDocumentを読んで設定を入れていきます。しっかり設定確認もします。
曖昧な設問に対しては稚拙な中学英語でプロクターに質問もしました。
意図しない動作となった場面もありましたが、なんとか題意が満たされるような設定を入れていきます。

そして、ランチの15分前になったらプロクターではないアシスタント役の方?から
「Hi YOKOHAMA, there are 15 minutes until lunch(ランチの時間まで15分前です)」とアナウンスがありました。
今回は時間のアナウンスをしてくれるようです。この辺はプロクターによって采配が違うのかな?
この15分でキリのいいところまで進めて、ランチの時間となりました。

今回は、(前回のような)試験進行上のトラブルもなかったです。
前半の進捗は、前回よりかなり早く設問数的に6〜7割を終えてました。この時点でホワイトボードはほぼ使わなかったです。
まあ問題は後半(Edge Servicesの範囲)なのですが…。

3-4. 試験当日 昼休憩

ランチ時は一旦、プロクターにてRemote Lab環境をログアウトされました。
そして試験をしている部屋から出て、ランチを食べます(日本時間では夕方以降なのでランチではなく夕食ですが)
内容は今回も前回同様おにぎり2個+チョコ+キレートレモンにしました。
10分程度でご飯を済ませ、残りの時間で作戦を立てます。
とは言っても、今回は主に設定内容ではなく、この後の時間配分をどうするか考えました。

あっという間に試験再開の時間になり、部屋へ戻ります。

3-5. 試験当日 Lab試験(後半)

席に戻るとプロクターから「OK, let's back exam. End in ◯ hours. I'll announcement when nearly end time, too
(よし、じゃ再開しよう。試験はあと◯時間だ。終了時間近くなったら、またアナウンスするね)」と周知があり、遠隔操作でRemote Lab環境へ再ログインしてくれました。
後半の開始です。

後半もガシガシ設定していきます。
特に後半は時間との戦いなので、設定→showコマンド確認→疎通確認のサイクルをなるべく早く行うようにしました。
前回より落ち着いて試験に集中できていたのか、前回と比べて細かな指定や条件を理解できてるように感じました。
「ああ、前回はここが原因で得点できてなかったかもな…」と思う箇所もいくつかありました。
複雑な条件がある設問は、ホワイトボードを使って頭の整理をしました。
うまく動作しない箇所は、なんとか意図通りの挙動となるよう色々設定をして題意を満たすように心がけました。

そして、試験終了45分前に「Hi YOKOHAMA, 45 minutes until the end」とアナウンスがありました。
この時点では、途中2問ほど飛ばして最後の2、3問の設定をしていました。
残り時間40分を切ろうかと言うところで、一通り全ての設問を終えました。

途中飛ばした2問をどうするか、少し考えます。
「うーん…この2問の設定をすることによって、今疎通できてる箇所が万一、不通になったら減点になるな…どうするか」と、しばらく考えました。
悩んだ末、この2問は手付かずにしておき、残りの時間で見直しを行いました。
見直しをしてて、1問だけ誤っていた設定があったので修正しました。あぶねー…。
見直しが終わった時点で残り5分を切っていたので共通設定や疎通を再々確認し、タイムアップとなりました。

プロクターから「Exam is over(試験は終了だ)」とアナウンスがあり、遠隔操作でRemote Lab環境からログアウトされました。
最後に「See you!」と挨拶し、ミーティングは終了となりました。

3-6. 試験当日 Lab試験後

試験後はお約束のトポロジーと問題をメモしました。今回はA4コピー用紙2枚ほどメモしました。
そして業務PCを立ち上げて、上司にLab試験終了の報告とメールチェックをして業務終了。
既に買ってあるお弁当を食べながら、試験を振り返ります。
頭に浮かぶのは2問飛ばしたことばかりでした。果たしてあの選択が吉と出るか凶と出るか…。

4. 試験結果

試験結果は「試験日から5営業日以内に通知」との決まりなので、(土日も考慮して)早くて3〜4日後かなあと想定してました。
で、試験からあまり経ってない時間に「いつでも結果見られるようにCertMetricsのページをブックマークしておくかな」
とふと思い、CertMetricsにアクセスしてみると

……………………………………え?これ合格?もう出てるの?マジ?
某所で酒を飲んだ帰りだったので酔いが一気に醒め、ログアウト→ログインなどして五度見くらいしました。
Download欄からファイルをダウンロードして中身をみると

わーーPASSだーーやったーああああ

それにしても結果早いな!!ビックリしたっぜ!!!

すぐに上司とお世話になった同僚にPassした旨の報告をしました。

そして翌日、メールにて正式なPass通知がありました。


今回の試験は運良く2回目で合格することができました!!!!!
本当に運が良かった…。もう今年の運すべて使い切ったね。

という訳でJNCIE-SP 受験記は以上になります!
ここまでお読みいただき、ありがとうございました!!!!
去年から続けてた試験勉強からようやく解放されて嬉しいです!!!!! (本音)

…試験のテクニックTipsや参考にしたサイト集など、別の記事でやりたいですね〜。

vJunosでInter-AS Option CのL3VPNをしてみた。

今回は、vJunos-routerを使ってInter-AS Option CによるL3VPNの検証をしたいと思います。
「Inter-AS Option C」とは、ASを跨いでVPNを実現するソリューションの一つです。
(Option 「C」なので、AやBもあります)
複数の異なるSP(Service Provider)を経由してL2VPNやL3VPNを行うようなイメージです。

IOSでの設定例は数あれど、Junosの設定例はほぼ無いので、書き記します。
公式ドキュメントの設定例はRR(Route Reflector)がなく微妙な構成なので、RR有りな現実的なトポロジーで構築します。
例によって用語の詳しい説明は行いません。わからない用語は各自でググってください。
今回行うOption Cは、C-Plane(経路情報の広告)とD-Plane(実際のトラフィック)のパケットフローやLabel構造がとてもややこしいです。
特にD-Planeについては3重ものLabelが付与され転送処理が行われます。
概要を知りたい方は、ChrisさんのBlog記事の前半部分を一読するのをオススメします。
また、D-PlaneのLabel構造については同じくChrisさんのBlogの絵がわかりやすいです。

では、いつもの通り構成より詳しく書いていきます。

1. Inter-AS Option C L3VPN 構成

トポロジーは以下のとおりです。

前述した通り、異なるSPを経由するので、2つSP網を用意しそれぞれCEをつなげています。
今回はSP Aを自AS、SP Bを相手方の対向ASとして見立てます。
Routing Protocolとしては、SP網のUnderlayにてIS-ISを使用し、PEとCE間ではOSPFを使います。AS内とAS間で当然BGPも使います。
Label配布ProtocolはRSVPを使用します。
そしてOption Cの特徴として、ASBR間ではBGP-LU(Labeled-Unicast)によるPeeringを行い、かつRR間でPeeringを行いVPNv4 Prefixを交換します。
ゴールとしては、VPN-01のSite-AとSite-BのVPC間(vPC-01とvPC-02間)でL3VPNによる通信ができることです。

追記: 構成図の解像度が低いので、Xに高解像度の構成図をアップしました。

2. Inter-AS Option C L3VPN 設定

それでは設定していきます。
今回は尺の都合でSP A側の設定のみ記載しています。
IP Addressの設定は完了していることとします。
まず、SP網内でUnderlayとなるIS-ISを設定し、AS内のLoopback Addressをお互い広報します。
例としてP-01のみconfigを記載します。

//P-01
set interfaces ge-0/0/0 unit 0 family iso
set interfaces ge-0/0/1 unit 0 family iso
set interfaces ge-0/0/2 unit 0 family iso
set interfaces lo0 unit 0 family iso address 49.0001.0000.0000.0002.00
set protocols isis interface ge-0/0/0.0 level 2 disable
set protocols isis interface ge-0/0/1.0 level 2 disable
set protocols isis interface ge-0/0/2.0 level 2 disable
set protocols isis interface lo0.0 passive

他の機器はIS-ISを有効にするインターフェイスやLo0.0のNSAP Addressが異なる程度なので、ほぼコピペとなります。
参考に、今回は下記のパラメーターにて設定してます。

機器名 Lo0.0 NSAP Address IS-ISを有効にするインターフェイス
PE-01 49.0001.0000.0000.0001.00 ge-0/0/0.0, lo0.0
P-01 49.0001.0000.0000.0002.00 ge-0/0/0.0, ge-0/0/1.0, ge-0/0/2.0, lo0.0
ASBR-01 49.0001.0000.0000.0003.00 ge-0/0/0.0, lo0.0
RR-01 49.0001.0000.0000.0004.00 ge-0/0/0.0, lo0.0


続いてMPLSとRSVPを設定します。
Labeled-Unicatをするので、RRもMPLSを動作させます。
RSVPについては、PE-01、ASBR-01、RR-01は他の2つのデバイス宛のPathを定義します。

//PE-01
set protocols mpls label-switched-path TO_ASBR-01 to 172.16.1.3
set protocols mpls label-switched-path TO_RR-01 to 172.16.1.4
set protocols mpls interface ge-0/0/0.0
set protocols mpls interface lo0.0
set protocols rsvp interface ge-0/0/0.0
//P-01
set interfaces ge-0/0/0 unit 0 family mpls
set interfaces ge-0/0/1 unit 0 family mpls
set interfaces ge-0/0/2 unit 0 family mpls
set protocols mpls interface ge-0/0/0.0
set protocols mpls interface ge-0/0/1.0
set protocols mpls interface lo0.0
set protocols mpls interface ge-0/0/2.0
set protocols rsvp interface ge-0/0/0.0
set protocols rsvp interface ge-0/0/1.0
set protocols rsvp interface ge-0/0/2.0
//ASBR-01
set interfaces ge-0/0/0 unit 0 family mpls
set protocols mpls label-switched-path TO_PE-01 to 172.16.1.1
set protocols mpls label-switched-path TO_RR-01 to 172.16.1.4
set protocols mpls interface ge-0/0/0.0
set protocols mpls interface lo0.0
set protocols rsvp interface ge-0/0/0.0
//RR-01
set interfaces ge-0/0/0 unit 0 family mpls
set protocols mpls label-switched-path TO_ASBR-01 to 172.16.1.3
set protocols mpls label-switched-path TO_PE-01 to 172.16.1.1
set protocols mpls interface ge-0/0/0.0
set protocols rsvp interface ge-0/0/0.0


続いて、InternalなBGP部分を設定します。
今回はL3VPNでの通信だけなので、family inet-vpn (VPNv4)のみを有効にします。
RRについては「cluster」を設定します。
cluster設定されているBGP groupでのPeerは全てRoute Reflector Clientになります。
なお、P-01に設定は必要ありません。
また、一部の設定については後ほど追加します。

//PE-01
set routing-options autonomous-system 65001
set protocols bgp group INT type internal
set protocols bgp group INT local-address 172.16.1.1
set protocols bgp group INT family inet-vpn unicast
set protocols bgp group INT neighbor 172.16.1.4
//ASBR-01
set routing-options autonomous-system 65001
set protocols bgp group INT type internal
set protocols bgp group INT local-address 172.16.1.3
set protocols bgp group INT neighbor 172.16.1.4
//RR-01
set routing-options autonomous-system 65001
set protocols bgp group INT type internal
set protocols bgp group INT local-address 172.16.1.4
set protocols bgp group INT family inet-vpn unicast
set protocols bgp group INT cluster 172.16.1.4
set protocols bgp group INT neighbor 172.16.1.1
set protocols bgp group INT neighbor 172.16.1.3


続いて、L3VPNの設定をします。
前述の通り、PEとCE間はOSPFにて経路広報を行います。
今回はSP毎にRT(Route Target)を変えてるので、vrf-importとvrf-exportを個別に設定します。
SP Aは「target:65001:1」を付与してVPNv4 Prefixを送信し、SP Bは「target:65002:1」を付与してVPNv4 Prefixを送信するテイとします。
なので、SP AのPE-01において受信時は「target:65002:1」のRTを持つVPNv4 Prefixを受け入れる設定をします。
(SP BのPE-02は「target:65001:1」のRTを持つVPNv4 Prefixを受け入れる設定となります)
あと、BGPで受信したVPNv4 PrefixをVRFのOSPFドメインに広報する際はexportの設定が必要になります。意外と忘れがちな設定です。

//PE-01
set policy-options community AS65001_VPN01 members target:65001:1
set policy-options community AS65002_VPN01 members target:65002:1
set policy-options policy-statement VRF_BGP_to_OSPF term 0011 from protocol bgp
set policy-options policy-statement VRF_BGP_to_OSPF term 0011 then accept
set policy-options policy-statement VPN01_VRF_EXPORT term 0011 from protocol ospf
set policy-options policy-statement VPN01_VRF_EXPORT term 0011 then community set AS65001_VPN01
set policy-options policy-statement VPN01_VRF_EXPORT term 0011 then accept
set policy-options policy-statement VPN01_VRF_EXPORT term 9991 then reject
set policy-options policy-statement VPN01_VRF_IMPORT term 0011 from community AS65002_VPN01
set policy-options policy-statement VPN01_VRF_IMPORT term 0011 then accept
set policy-options policy-statement VPN01_VRF_IMPORT term 9991 then reject
set routing-instances VPN_01 instance-type vrf
set routing-instances VPN_01 protocols ospf area 0.0.0.0 interface ge-0/0/6.0
set routing-instances VPN_01 protocols ospf export VRF_BGP_to_OSPF
set routing-instances VPN_01 interface ge-0/0/6.0
set routing-instances VPN_01 route-distinguisher 172.16.1.1:65001
set routing-instances VPN_01 vrf-import VPN01_VRF_IMPORT
set routing-instances VPN_01 vrf-export VPN01_VRF_EXPORT
//CE-01
set protocols ospf area 0.0.0.0 interface ge-0/0/6.0 passive
set protocols ospf area 0.0.0.0 interface ge-0/0/0.0


最後に、Inter-AS Option Cに関わる設定を追加します。
具体的には以下3点の設定をします。

1. ASBR-01にて、External BGP-LU Peeringの設定
2. RR-01にて、External BGP Peeringの設定
3. PE-01、ASBR-01、RR-01にて、Internal BGP(AS65001内)におけるBGP-LUの設定

まず、1. ですが、ASBR間でeBGP-LUでPeeringをします。
その際、自ASのRRおよびPEのLoopback Address((BGP) Protocol Next-hopとなり得るIP Address)を広報します。
広報されてきた対向のRRのLoopback Addressの学習によって2. のPeeringが可能となります。
次に、2. について、RR間にてPEから学習したVPNv4アドレスを広報します。よってfamilyはinet-vpnを定義します。
また、RRで対向PEのProtocol Next-hopの解決はinet.3で解決する必要があります。
RRに「family inet labeled-unicast」といった設定をするのですが、この設定だとinet.0のみでのlookupとなりRR間での通信は実現できるものの、対向PE宛のMPLS Pathを自ASのPEへ広報できない状態となります。なので、inet.3にてlookupを行う必要があります。
方法はいくつかあるのですが、今回は一番簡単なinet.3へstatic routeを設定してゴリ押しでNext-hop解決させます。
さらに、PEへ対向のVPNv4 Prefixを広報する際、Defaultでは通常のIPv4 Unicast(SAFI=1)ルートと同様にProtocol Next-hopを自身のLoopbackに書き換えます。
そうなった場合、実トラフィックはRRを経由する形となり効率的ではありません。そのため、multihop設定にて"no-nexthop-change"というオプションを追加することにより、Protocol Next-hopを自身のLoopbackに書き換えず対向のPEのままで広報します。
最後に、3. については、AS内でLabeled-Unicastを広報できるように「set protocols bgp group INT 〜」配下に追加します。
PE、ASBR、RRによって微妙にコマンドが異なります。

なお、全てBGPに関わる設定なのでP-01については設定は必要ありません。

//PE-01
set protocols bgp group INT family inet labeled-unicast resolve-vpn
//ASBR-01
set interfaces ge-0/0/2 unit 0 family mpls
set protocols mpls interface ge-0/0/2.0
set policy-options policy-statement BGP_ASBR_EXPORT term 0011 from route-filter 172.16.1.4/32 exact
set policy-options policy-statement BGP_ASBR_EXPORT term 0011 from route-filter 172.16.1.1/32 exact
set policy-options policy-statement BGP_ASBR_EXPORT term 0011 then accept
set policy-options policy-statement BGP_ASBR_EXPORT term 9991 then reject
set protocols bgp group INT family inet labeled-unicast rib inet.3
set protocols bgp group ASBR type external
set protocols bgp group ASBR family inet labeled-unicast rib inet.3
set protocols bgp group ASBR neighbor 10.1.35.1 export BGP_ASBR_EXPORT
set protocols bgp group ASBR neighbor 10.1.35.1 peer-as 65002
//RR-01
set routing-options rib inet.3 static route 0.0.0.0/0 receive
set protocols bgp group INT family inet labeled-unicast
set protocols bgp group RR_PEER type external
set protocols bgp group RR_PEER multihop ttl 10
set protocols bgp group RR_PEER multihop no-nexthop-change
set protocols bgp group RR_PEER local-address 172.16.1.4
set protocols bgp group RR_PEER family inet-vpn unicast
set protocols bgp group RR_PEER neighbor 172.16.1.8 peer-as 65002

設定は以上となります。

3. Inter-AS Option C L3VPN 確認

それでは設定の確認をします。
まずはサクッとIS-ISとMPLS(RSVP)を確認します。

//PE-01
lab@PE-01# run show route table inet.0 protocol isis 172.16.1/24

inet.0: 14 destinations, 14 routes (14 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.2/32      *[IS-IS/15] 01:30:02, metric 10
                    >  to 10.1.12.1 via ge-0/0/0.0
172.16.1.3/32      *[IS-IS/15] 01:29:34, metric 20
                    >  to 10.1.12.1 via ge-0/0/0.0
172.16.1.4/32      *[IS-IS/15] 01:29:37, metric 20
                    >  to 10.1.12.1 via ge-0/0/0.0
lab@PE-01# run show route table inet.3 protocol rsvp

inet.3: 4 destinations, 4 routes (4 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.3/32      *[RSVP/7/1] 01:32:17, metric 20
                    >  to 10.1.12.1 via ge-0/0/0.0, label-switched-path TO_ASBR-01
172.16.1.4/32      *[RSVP/7/1] 01:32:17, metric 20
                    >  to 10.1.12.1 via ge-0/0/0.0, label-switched-path TO_RR-01
//P-01
lab@P-01# run show route table inet.0 protocol isis 172.16.1/24

inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.1/32      *[IS-IS/15] 01:30:37, metric 10
                    >  to 10.1.12.0 via ge-0/0/0.0
172.16.1.3/32      *[IS-IS/15] 01:30:09, metric 10
                    >  to 10.1.23.1 via ge-0/0/1.0
172.16.1.4/32      *[IS-IS/15] 01:30:12, metric 10
                    >  to 10.1.24.1 via ge-0/0/2.0
//ASBR-01
lab@ASBR-01# run show route table inet.0 protocol isis 172.16.1/24

inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.1/32      *[IS-IS/15] 01:30:32, metric 20
                    >  to 10.1.23.0 via ge-0/0/0.0
172.16.1.2/32      *[IS-IS/15] 01:30:41, metric 10
                    >  to 10.1.23.0 via ge-0/0/0.0
172.16.1.4/32      *[IS-IS/15] 01:30:32, metric 20
                    >  to 10.1.23.0 via ge-0/0/0.0
lab@ASBR-01# run show route table inet.3 protocol rsvp

inet.3: 4 destinations, 4 routes (4 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.1/32      *[RSVP/7/1] 01:32:32, metric 20
                    >  to 10.1.23.0 via ge-0/0/0.0, label-switched-path TO_PE-01
172.16.1.4/32      *[RSVP/7/1] 01:32:32, metric 20
                    >  to 10.1.23.0 via ge-0/0/0.0, label-switched-path TO_RR-01
//RR-01
lab@RR-01# run show route table inet.0 protocol isis 172.16.1/24

inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.1/32      *[IS-IS/15] 01:31:04, metric 20
                    >  to 10.1.24.0 via ge-0/0/0.0
172.16.1.2/32      *[IS-IS/15] 01:31:13, metric 10
                    >  to 10.1.24.0 via ge-0/0/0.0
172.16.1.3/32      *[IS-IS/15] 01:31:10, metric 20
                    >  to 10.1.24.0 via ge-0/0/0.0
lab@RR-01# run show route table inet.3 protocol rsvp

inet.3: 3 destinations, 3 routes (3 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.1/32      *[RSVP/7/1] 01:32:28, metric 20
                    >  to 10.1.24.0 via ge-0/0/0.0, label-switched-path TO_PE-01
172.16.1.3/32      *[RSVP/7/1] 01:32:28, metric 20
                    >  to 10.1.24.0 via ge-0/0/0.0, label-switched-path TO_ASBR-01

各機器にて、互いのLoopback Addressを学習し、かつRSVP PathがActive Routeになっています。

続いて、CE-PE間のOSPFのネイバー状況を確認します。
ついでにCEネットワークの経路情報(203.0.113.0/29)を受信できているか確認します。

//PE-01
lab@PE-01# run show ospf neighbor instance VPN_01
Address          Interface              State           ID               Pri  Dead
192.168.1.1      ge-0/0/6.0             Full            192.168.1.1      128    34
lab@PE-01# run show route table VPN_01.inet.0 protocol ospf

VPN_01.inet.0: 5 destinations, 5 routes (5 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.0/29     *[OSPF/10] 01:38:40, metric 2
                    >  to 192.168.1.1 via ge-0/0/6.0
224.0.0.5/32       *[OSPF/10] 01:43:39, metric 1
                       MultiRecv
//CE-01
lab@CE-01# run show ospf neighbor
Address          Interface              State           ID               Pri  Dead
192.168.1.0      ge-0/0/0.0             Full            192.168.1.0      128    33

問題なくネイバー確立され、CEネットワークの経路情報を学習できてます。

続いて、RR-01にてCEネットワークのVPNv4 Prefixを受信できているか確認します。

//RR-01
lab@RR-01# run show route receive-protocol bgp 172.16.1.1 table bgp.l3vpn.0

bgp.l3vpn.0: 2 destinations, 2 routes (2 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
  172.16.1.1:65001:203.0.113.0/29
*                         172.16.1.1           2       100        I

[edit]
lab@RR-01# run show route table bgp.l3vpn.0 match-prefix "*203.0.113.0*"

bgp.l3vpn.0: 2 destinations, 2 routes (2 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.1:65001:203.0.113.0/29
                   *[BGP/170] 01:03:56, MED 2, localpref 100, from 172.16.1.1
                      AS path: I, validation-state: unverified
                    >  to 10.1.24.0 via ge-0/0/0.0, label-switched-path TO_PE-01

VPNv4 Prefix(172.16.1.1:65001:203.0.113.0/29)を受信して、ルーティングテーブルに反映されています。

続いて、RR-01がRR-02にVPNv4 Prefixを送信してるか確認…をする前に、そもそもRR間でネイバーが張れてるか確認します。
丁寧に見ていきたいので、まずASBR-01で、RR-02とPE-02のLo0.0の経路情報を受信できているか確認します。

//ASBR-01
lab@ASBR-01# run show bgp summary group ASBR
Threading mode: BGP I/O
Default eBGP mode: advertise - accept, receive - accept
Groups: 2 Peers: 2 Down peers: 0
Table          Tot Paths  Act Paths Suppressed    History Damp State    Pending
inet.3
                       2          2          0          0          0          0
Peer                     AS      InPkt     OutPkt    OutQ   Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
10.1.35.1             65002         65         63       0       0       27:26 Establ
  inet.3: 2/2/2/0

[edit]
lab@ASBR-01# run show route receive-protocol bgp 10.1.35.1

inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)

inet.3: 4 destinations, 4 routes (4 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
* 172.16.1.7/32           10.1.35.1            20                 65002 I
* 172.16.1.8/32           10.1.35.1            20                 65002 I

iso.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)

mpls.0: 10 destinations, 10 routes (10 active, 0 holddown, 0 hidden)

ASBR-02(10.1.35.1)間にて、StateがEstablishedでネイバー確立しており、かつRR-02とPE-02のLo0.0の経路情報(172.16.1.8/32と172.16.1.7/32)を受信しています。
なおASBR-01において、RR-02とPE-02の経路情報はinet.3にエントリーさせる必要があります。

続いて、RR-01にてASBR-01よりRR-02とPE-02の経路情報を受信しているか確認します。

//RR-01
lab@RR-01# run show route receive-protocol bgp 172.16.1.3

inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
* 172.16.1.7/32           172.16.1.3           20      100        65002 I
* 172.16.1.8/32           172.16.1.3           20      100        65002 I

inet.3: 3 destinations, 3 routes (3 active, 0 holddown, 0 hidden)

iso.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)

mpls.0: 6 destinations, 6 routes (6 active, 0 holddown, 0 hidden)

bgp.l3vpn.0: 2 destinations, 2 routes (2 active, 0 holddown, 0 hidden)

ASBR-01(172.16.1.3)よりRR-02とPE-02の経路情報を受信しています。
なおRR-01においては(ASBR-01と違って)RR-02の経路情報はinet.0にエントリーさせる必要があります。この辺の細かな違いが難しい…。
ちなみに、Labeled-Unicastの場合はNext-hopが自動で書き替わります(ASBR-01にてNext-hop Selfの設定はいりません)

RR-01にてRR-02の経路情報がエントリーされているので、RR間でPeeringできそうです。
(逆もしかりでASBR-01よりASBR-02へRR-01とPE-01のLo0.0の経路情報を送信している必要があります。ASBR-01から送信できてるかの確認は今回は省略します)

では、RR-01にてRR-02とのネイバー状態を確認します。

//RR-01
lab@RR-01# run show bgp summary group RR_PEER
Threading mode: BGP I/O
Default eBGP mode: advertise - accept, receive - accept
Groups: 2 Peers: 3 Down peers: 0
Table          Tot Paths  Act Paths Suppressed    History Damp State    Pending
inet.0
                       2          2          0          0          0          0
bgp.l3vpn.0
                       2          2          0          0          0          0
Peer                     AS      InPkt     OutPkt    OutQ   Flaps Last Up/Dwn State|#Active/Received/Accepted/Damped...
172.16.1.8            65002        202        201       0       0     1:30:03 Establ
  bgp.l3vpn.0: 1/1/1/0

StateがEstablishedとなっており、RR間でネイバーが張れています!

続いて経路の送受信状況を確認します。

//RR-01
lab@RR-01# run show route advertising-protocol bgp 172.16.1.8

bgp.l3vpn.0: 2 destinations, 2 routes (2 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
  172.16.1.1:65001:203.0.113.0/29
*                         172.16.1.1                              I

[edit]
lab@RR-01# run show route receive-protocol bgp 172.16.1.8

inet.0: 12 destinations, 12 routes (12 active, 0 holddown, 0 hidden)

inet.3: 3 destinations, 3 routes (3 active, 0 holddown, 0 hidden)

iso.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)

mpls.0: 6 destinations, 6 routes (6 active, 0 holddown, 0 hidden)

bgp.l3vpn.0: 2 destinations, 2 routes (2 active, 0 holddown, 0 hidden)
  Prefix                  Nexthop              MED     Lclpref    AS path
  172.16.1.7:1:203.0.113.8/29
*                         172.16.1.7                              65002 I

自ASのCEネットワークのVPNv4 Prefix(172.16.1.1:65001:203.0.113.0/29)を送信しています。
また、対向のCEネットワークのVPNv4 Prefix(172.16.1.7:1:203.0.113.8/29)を受信しています。
L3VPN通信のための経路情報を送り合っているので、問題なさそうです。

RR-01にて受信した対向のCEネットワークのVPNv4 PrefixがPE-01でも受信しているか確認します。

//PE-01
lab@PE-01# run show route table bgp.l3vpn.0

bgp.l3vpn.0: 1 destinations, 1 routes (1 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

172.16.1.7:1:203.0.113.8/29
                   *[BGP/170] 00:12:49, localpref 100, from 172.16.1.4
                      AS path: 65002 I, validation-state: unverified
                    >  to 10.1.12.1 via ge-0/0/0.0, label-switched-path TO_ASBR-01

[edit]
lab@PE-01# run show route table VPN_01.inet.0 203.0.113.08/29

VPN_01.inet.0: 5 destinations, 5 routes (5 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.8/29     *[BGP/170] 00:13:23, localpref 100, from 172.16.1.4
                      AS path: 65002 I, validation-state: unverified
                    >  to 10.1.12.1 via ge-0/0/0.0, label-switched-path TO_ASBR-01

VPNv4 PrefixをRR-01から受信していますね。
また、VRFのルーティングテーブルである「VPN_01.inet.0」に対向のCEネットワーク(203.0.113.8/29)がエントリーされています。
正しく経路情報を学習しています!!

最後にCE-01において、OSPFにて対向のCEネットワークを学習しているか確認します。

//CE-01
lab@CE-01# run show route protocol ospf 203.0.113.8/29

inet.0: 6 destinations, 6 routes (6 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.8/29     *[OSPF/150] 00:19:34, metric 0, tag 3489725929
                    >  to 192.168.1.0 via ge-0/0/0.0

CE-01にて対向CEネットワークの経路情報を学習できています!
PE-01についても対向CEネットワーク宛はASBR-01へLabel Switchingされる様になっているので、少なくとも自ASにて対向のCEネットワーク宛のパケットはお相手のASに転送されそうです!!
(ルーティングテーブルの詳細確認はこの後行います)

では、PingにてvPC間で通信できるか確認します。

//VPC-01
VPC-01> ping 203.0.113.9

84 bytes from 203.0.113.9 icmp_seq=1 ttl=56 time=5.601 ms
84 bytes from 203.0.113.9 icmp_seq=2 ttl=56 time=5.144 ms
84 bytes from 203.0.113.9 icmp_seq=3 ttl=56 time=5.285 ms
84 bytes from 203.0.113.9 icmp_seq=4 ttl=56 time=5.214 ms
84 bytes from 203.0.113.9 icmp_seq=5 ttl=56 time=6.441 ms

対向のVPC(vPC-02)へPing疎通できました!!やったー!

という訳で一旦、ゴールであるL3VPNによるVPC間の疎通は無事できました。
とは言え、せっかくなのでパケットが各機器に届いた際、どんな処理を行なってるか詳しく見ていきましょう。

4. Inter-AS Option C L3VPN 詳細確認

ここから各機器の詳細な経路情報と実際のパケットを見ていきます。
最初に書いた、ChrisさんのBlogの絵と比較しながら読むとわかりやすいと思います。

まず、vPC-01(203.0.113.1)からvPC-02(203.0.113.9)宛のICMP Echo Request(以下、Echo Req)を送信します。
Echo Reqが届いたCE-01は、OSPFにて学習した経路情報に沿ってPE-01(192.168.1.0)へ転送します。

//CE-01
lab@CE-01# run show route protocol ospf 203.0.113.8/29

inet.0: 6 destinations, 6 routes (6 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.8/29     *[OSPF/150] 00:19:34, metric 0, tag 3489725929
                    >  to 192.168.1.0 via ge-0/0/0.0

CE-01〜PE-01間のパケットキャプチャーを見ます。

EthernetヘッダーがあってIPヘッダーが付いてる、まあ普通のパケット構造ですね。

続いて、PE-01の詳細な経路情報を見ます。
VRFなインターフェイスにて受信しているので、作成したRouting-Instanceのテーブル(VPN_01.inet.0)にて確認します。

//PE-01
lab@PE-01# run show route 203.0.113.8/29 table VPN_01.inet.0 extensive

VPN_01.inet.0: 5 destinations, 5 routes (5 active, 0 holddown, 0 hidden)
203.0.113.8/29 (1 entry, 1 announced)
<snip>
                Next hop: 10.1.12.1 via ge-0/0/0.0, selected
                Label-switched-path TO_ASBR-01
                Label operation: Push 299776, Push 299808, Push 299856(top)
<snip>

出力結果より、Label-switched-pathの項目より「TO_ASBR-01」のPathを使ってパケット転送する様になっています。
また、Label operationの項目より「Push 299776, Push 299808, Push 299856」と3重でLabelが付くようになっています。
そして、Next hopの項目より「10.1.12.1」へ、つまりP-01に転送しています。

実際にPE-01〜P-01間のパケットキャプチャーを見て、確認します。

EthernetヘッダーとIPヘッダーの間に、経路情報の通り、上から299856、299808、299776のLabelが挿入されてますね。

続いて、P-01の詳細な経路情報を見ます。
TopなLabel 299856をlookupして処理するため、Labelを指定して確認します。

//P-01
lab@P-01# run show route label 299856

mpls.0: 18 destinations, 18 routes (18 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

299856             *[RSVP/7/1] 00:27:39, metric 1
                    >  to 10.1.23.1 via ge-0/0/1.0, label-switched-path TO_ASBR-01
299856(S=0)        *[RSVP/7/1] 00:27:39, metric 1
                    >  to 10.1.23.1 via ge-0/0/1.0, label-switched-path TO_ASBR-01

[edit]
lab@P-01# run show route label 299856 extensive

mpls.0: 18 destinations, 18 routes (18 active, 0 holddown, 0 hidden)
<snip>
299856(S=0) (1 entry, 1 announced)
<snip>
                Next hop: 10.1.23.1 via ge-0/0/1.0, selected
                Label-switched-path TO_ASBR-01
                Label operation: Pop
<snip>

299856について、「299856」と「299856(S=0) 」がありますが、パケットにLabelが3つスタックされているため、「299856(S=0)」のエントリーをlookupします。
出力結果より、Top LebelがPop(削除)され、 10.1.23.1(ASBR-01)へ転送される様になっています。
なので、3重となっているLabelが1つ削除され、2重になってASBR-01へ転送されることとなります。

実際にP-01〜 ASBR-01間のパケットキャプチャーを見て、確認します。

経路情報の通り、299856のLabelが削除され、299808、299776のLabelが残ってますね。

続いて、ASBR-01の詳細な経路情報を見ます。
TopなLabel 299808をlookupして処理するため、Labelを指定して確認します。

//ASBR-01
lab@ASBR-01# run show route label 299808 extensive

mpls.0: 10 destinations, 10 routes (10 active, 0 holddown, 0 hidden)
299808 (1 entry, 1 announced)
<snip>
                Next hop: 10.1.35.1 via ge-0/0/2.0, selected
                Label operation: Swap 299776
<snip>

出力結果より、Top Lebelが299776にSwap(付け替え)され、 10.1.35.1(ASBR-02)へ転送される様になっています。
なのでAS間にてLabel Switchingによってパケット転送されることとなります。

実際にASBR-01〜ASBR-02間のパケットキャプチャーを見て、確認します。

経路情報の通り、299808が299776に替わり、かつ(元々あった)299776のLabelが残ってますね。

少なくとも自ASについては、正しくOption Cとしてのパケット転送が動作してそうです。
せっかくなので、対向ASのASBR-02に届いた後のパケットの処理も見ていきましょう。
対向ASも自ASと同じく、RSVP PathによるLabel switchingを行なっています。

ASBR-02の詳細な経路情報を見ます。
TopなLabel 299776をlookupして処理するため、Labelを指定して確認します。

//ASBR-02
lab@ASBR-02# run show route label 299776 extensive

mpls.0: 10 destinations, 10 routes (10 active, 0 holddown, 0 hidden)
299776 (1 entry, 1 announced)
<snip>
                Next hop: 10.1.56.1 via ge-0/0/0.0, selected
                Label-switched-path TO_PE-02
                Label operation: Swap 299808
<snip>

出力結果より、Label-switched-pathの項目より「TO_PE-02」のPathを使ってパケット転送する様になっています。
また、Label operationの項目より、299776が299808にSwapする様になっています。
そして、Next hopの項目より10.1.56.1(P-02)に転送しています。

実際にASBR-02〜P-02間のパケットキャプチャーを見て、確認します。

経路情報の通り、299776が299808に替わり、かつ(元々あった)299776のLabelが残ってますね。

続いて、P-02の詳細な経路情報を見ます。
TopなLabel 299808をlookupして処理するため、Labelを指定して確認します。

//P-02
lab@P-02# run show route label 299808

mpls.0: 18 destinations, 18 routes (18 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

299808             *[RSVP/7/1] 01:02:19, metric 1
                    >  to 10.1.67.1 via ge-0/0/0.0, label-switched-path TO_PE-02
299808(S=0)        *[RSVP/7/1] 01:02:19, metric 1
                    >  to 10.1.67.1 via ge-0/0/0.0, label-switched-path TO_PE-02

[edit]
lab@P-02# run show route label 299808 extensive

mpls.0: 18 destinations, 18 routes (18 active, 0 holddown, 0 hidden)
299808(S=0) (1 entry, 1 announced)
<snip>
                Next hop: 10.1.67.1 via ge-0/0/0.0, selected
                Label-switched-path TO_PE-02
                Label operation: Pop
<snip>

299808について、「299808」と「299808(S=0) 」がありますが、パケットにLabelが2つスタックされているため、「299808(S=0)」のエントリーをlookupします。
出力結果より、Top LebelがPopされ、 10.1.67.1(PE-02)へ転送される様になっています。
なので、2重となっているLabelが1つ削除され、1つのみとなってPE-02へ転送されることとなります。

実際にP-02〜 PE-02間のパケットキャプチャーを見て、確認します。

経路情報の通り、299808のLabelが削除され、299776のLabelのみ残ってますね。

続いてPE-02の詳細な経路情報を見ます。
Label 299776をlookupして処理するため、Labelを指定して確認します。

//PE-02
lab@PE-02# run show route label 299776 extensive

mpls.0: 7 destinations, 7 routes (7 active, 0 holddown, 0 hidden)
299776 (1 entry, 1 announced)
<snip>
                Next hop: 192.168.11.1 via ge-0/0/6.0, selected
                Label operation: Pop
<snip>

出力結果より、LabelがPopされ192.168.11.1(CE-02)へ転送される様になっています。
最後のLabelがPopされるため、Ethernetヘッダーの上にIPヘッダーが付いた普通のパケット構造になります。

PE-02〜CE-02間のパケットキャプチャーを見ます。

経路情報の通り、Labelが無くなっていますね。

最後に、おまけでCE-02のルーティングテーブルも見ます。

//CE-02
lab@CE-02# run show route 203.0.113/24

inet.0: 6 destinations, 6 routes (6 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

203.0.113.0/29     *[OSPF/150] 07:47:29, metric 0, tag 3489725930
                    >  to 192.168.11.0 via ge-0/0/0.0
203.0.113.8/29     *[Direct/0] 07:47:34
                    >  via ge-0/0/6.0
203.0.113.14/32    *[Local/0] 07:47:34
                       Local via ge-0/0/6.0

(当たり前ですが)直接接続な203.0.113.8/29のネットワークが存在してます。
Echo Reqパケットはge-0/0/6から送出され、vPC-02に届いてることでしょう。
また、CE-02から見た対向のCEネットワーク情報(203.0.113.0/29)をOSPFで学習しています。
Echo Replayパケットは、このルーティングテーブルに沿ってパケット転送されてることでしょう。
無事、複数のASを跨いでL3VPNな通信ができていることが証明できました。

という訳でInter-AS Option Cの構築が無事できました!
今回は以上になります!!
ここまでお読みいただき、ありがとうございました!!!!!

… 尺の都合で対向AS側(PE-02、P-02、ASBR-02、RR-02)の機器の設定例は載せてませんが、要望多ければ載せます。
ぜひ参考にしたい!という方はご連絡をw

5. 参考資料

書籍 O'Reilly 「MPLS in the SDN Era: Interoperable Scenarios to Make Networks Scale to New Services」
Juniper Documentation - Layer 3 VPNs User Guide for Routing Devices - Interprovider VPNswww.juniper.net
NETWORK FUNTIME - INTERPROVIDER OPTION C, ON JUNIPER JUNOS ROUTERS – PART 1www.networkfuntimes.com

JNCIE-SP (1回目) 受験記 試験当日~

2026年3月某日にJNCIE-SP(JPR-962)の資格試験を受けました。
せっかくなので、受験記を残します。
今回は後半になります。前半のBlogはこちらです。
yokohama539.hatenablog.com

1. 試験当日 チェックイン前まで

ついに試験当日となりました。試験開始時刻はIST(インド標準時) 9:00なので、日本時間 12:30から開始になります。
何回か事前案内メールが来てOutlookにスケジュール登録できるので、間違えはしないでしょう。
(私はGoogleカレンダーにエクスポートしました)

朝はいつも通りテレワーク出勤しメールチェックした後、勉強したOneNoteを読み返してました。
11:00少し前にRemote Lab用のアクセスプロファイルが添付されたメールがプロクターより送られてきました。
また、このメールには事前ブリーフィング(Zoom)のミーティングIDが記載されており、試験開始30分前くらいに参加するよう指示があります。

事前ブリーフィングの直前まで若干緊張しながら最後のOneNote確認をします。
机の上に(キーボードとマウスと)ミネラルウォーターとホワイトボード用具一式と身分証明書のパスポートを準備します。

試験開始30分前になったので、Safe Exam Browserを立ち上げてRemote Lab環境にアクセスし、届いたメール記載のミーティングIDへ参加します。

2. 試験当日 チェックイン~事前ブリーフィング

ミーティングに参加すると既にプロクターがいました。
「Hi, YOKOHAMA!」と元気に呼ばれます(もちろん本名で呼ばれてますが、Blog上ではYOKOHAMAとします)
さっそくチェックイン開始です。公開されている情報のとおり、身分証明書の確認と「ルームスキャン」という部屋のチェックが行われます。
プロクターよりWebカメラを使ってパスポートと併せて、机の上と部屋を映すよう促されます。なのでWebカメラを持って一通り映しました。
しっかり本棚など目隠ししていたので予想よりスムーズにOKが出ました。
その後、自分が受験するトラックの確認があり「Service Provider」と答えました。
トラックの確認後にプロクターから
「OK. SP track is very difficulty, are you preparing until today?
(よし、いいな。Service Providerトラックはとても難しい、ちゃんと今日まで準備してきたか?)」
とのお言葉が。おお…煽ってくれるやん。とりあえず「Yes.I'll do best.」と無難な回答をしました。
その後、昼休憩の時間と終了時間のアナウンスがありました(時間配分は公開されてない様なので具体的な時刻は内緒)

話はその程度で「End the briefing. Let's start exam!(ブリーフィングは以上だ。試験を始めるぞ!)」と言い、試験の準備が行われます。
2007年に受けたCCIE R&S Lab試験では、ブリーフィング時に試験の注意事項の説明がありましたが、この試験ではブリーフィング時に説明はないようです。
プロクターの遠隔操作にてRemote Lab環境に用意されているLab問題、トポロジーの画、ターミナルソフトのSecureCRTが置いてあるRemote DesktopなWindows画面を出してくれます。
この時は「19年ぶりのLab試験…!頼む、理解している技術わんさか出てくれ!!」とお祈りタイムでした。

そしてプロクターより「Let's get started! Let me know any questions. Good luck! GANBATTE!
(試験開始だ!何か質問あれば聞いてくれ。グッドラック!がんばって!)」と言われ、操作可能になります。GANBATTEは本当に言われましたw
なお、試験中は常時WebカメラとマイクはONにしたままとなります。

6時間のLab試験が始まりました。

3. 試験当日 Lab試験 (前半)

まずザッとトポロジーを見ます。
第一印象としては「な、なるほど…そんなに理解に苦しむ構成じゃないかも」でした。
2007年に受けたCCIE R&S Lab試験はキテレツな謎トポロジーだったので少し安心しました。
また、思ってたよりも親切だなあというのが最初の感想です。最初はね。

続いてLab問題を見ます。
第一印象としては「……こういうテイストの設問ですかあ。これはなかなか厄介ですなあ」でした。
各設問自体は英語力が皆無な私でもだいたい理解できました。
設問全体の流れを把握してSecureCRTよりLabデバイスへアクセスして設定を始めます。これはしんどい試験になりそうだ…!
作戦としては「IPリーチャビリティに直結する設問以外はメモっておいて後に回そう作戦」で行きました。

設問の詳細はもちろん書けませんが、ココとココの内容が問われます。
とても色々な形で知識を問われます。設計、構築、運用面でのノウハウが必要だなあと感じました。
設問とトポロジーの画を見ながら設定投入をしていきます。
微妙にわからない箇所は用意されたDocumentを見ながら設定していきます。

そして中盤に差し掛かろうとした矢先に、(試験範囲のトラブルシューティングとは別で)進行上で、あるトラブルに見舞われました。
このトラブルでしばらく試験が中断されました(トラブル内容は試験内容に関係ないですが、念のため秘密です)
中断された時間は計測され、「Lost time is will be additional time.(中断時間分はアディショナルタイムとして補完する)」との説明がありました。
大変ありがてえ…!

前半の進捗は、想定よりやや遅かったです。
まあ土台なIGP/BGPだし中断時間あったし、焦らず進めようという気持ちでやってました。
幸い、ここまででリーチャビリティに問題はなさそう(=題意は満たせている認識)でした。

そうこうしてる内に前半終了の時刻になり、プロクターより
「Hi,YOKOHAMA. It's lunchtime! Come back in 1 hour!(昼休憩だ。1時間後に戻るように)」と言われました。
うおお…あっという間だったな…時間配分やべえかも…と思いつつ休憩に入ります。
前半はホワイトボードは、ほぼ使わなかったです。

4, 試験当日 昼休憩

休憩は試験の部屋から一旦出ます。いつ呼ばれてもいいように隣の部屋のドア越しで食べました。
お昼は短縮されることも加味してササッと食べれるように、おにぎり2個+チョコ+キレートレモンにしました。
結局、休憩はきっちり1時間で、10分程度で食べ終わったので残りの50分は午後の作戦を立ててました。
(始まったらRouter Xの〇〇を確認して、出力次第でRouter Yに××の設定入れて挙動を確かめるか…的な感じ)

思ったよりあっという間に50分経ち、席に戻ります。

5. 試験当日 Lab試験 (後半)

部屋に戻るとプロクターは既にPC前に待機しており「OK,keep exam(よし、再開だ)」と言われ試験が再開されます。

後半も様々な設問を解いていきます。
「ファー…こんなんアリですかー…」と言いたくなるような、意表を突く設問もありました。
とある設問でホワイトボードを使って頭の整理をしたりもしました。
全く意図がわからない設問も数問ありました。ぐぬぬ悔しい…。

最後の最後でトンデモない設問がありました。
幸い知っている技術だったので意地でもこれは完了させたく、しばらく奮闘しました。
想定外な動作もありましたが色々設定を入れ、何とか題意に沿った挙動となりました。
この設問にかなり時間を使ったため、残り時間で見直しや後回しにした問題全ての着手は難しくなりました。ぐぬぬとても悔しい…。

見直しをし、残りわずかな時間で後回しの設問を解いてる時にタイムアップ!うーん、不完全燃焼!

操作をやめ、プロクターが遠隔操作で開始時に広げたウィンドウを閉じます。
その後プロクターより「End the exam. Will notify you of the results at a later date.
(試験はこれで終了だ。結果は後日通知する)」との連絡がありました。

そして最後に「Bye-Bye!」と挨拶をしてミーティングは終了しました。

6. 試験当日 Lab試験後

まずLab試験後お約束の(?)トポロジーと問題をメモしました。今回はA4コピー用紙3枚ほどメモしました。
そして業務PCを立ち上げて、上司にLab試験終了の報告とメールチェックをして業務終了。
ファミレスで晩御飯を食べつつ問題と回答内容を振り返ります。

所感としては「回答できてない箇所もあったけど、回答した設問のリーチャビリティは完璧だったから、上振れればTotal xx%いけるか…?」でした。
特に、あのトンデモ設問は合っててほしい気持ちでした。

7. 試験結果

正式な結果はまだ来てません。来たら追記します。
振り返りも追記します。

7-EX. 試験結果 (2026/3/28 追記)

結果が来ました。
結果通知はCertMetricsのUpdateをもって行われます。

気になる合否は…………………………fail!ぐへー。

まあ未回答の設問があった時点で悟ってましたが、いざ結果を突き付けられると凹む…。

Downloadから「Lab Exam Results Card」というスコアシートがダウンロードできます。


気になるスコアですが、予想よりも若干低い…。
題意を満たしているつもりだったけど、NGな箇所がありそう。
単にリーチャビリティが取れればOK、という訳ではないのはわかってたけど厳しい…。
JNCP Lab試験の手痛い洗礼を受けましたねえ。

ただ、そこまで酷いスコアではなく、トンデモ設問は正解していたようなので、そこはホッとしましたw
どこを補強すれば良いかわかったので、もう少しスコアは伸ばせるはず…。

試験の所感としては
・Service Providerトラックの特性上、「Pingが飛べばOK」でもないので確認が大変
・「設定」だけをトレーニングしてもダメ
・試験範囲の技術について、どのDocumentのどの辺に書いてあるか把握しておく必要がある
・2007年のCCIE R&S Lab試験に比べ、かなり難しい(難しいというより自分と相性が悪い)
あたりでしょうか。あとは体力と精神力…w

という訳でJNCIE-SP 受験記は以上になります。
今後、受けられる方の参考になれば幸いです。

ここまでお読みいただき、ありがとうございました!!!


…だいたい試験の流れ&問題の雰囲気はわかったので次回はいつ受けよう?? そもそも受けられるのだろうかw