View on GitHub

The Emergence of Symbols

Learning Progress (Figure 8)

This is a video of the entire learning process, showing the reward, sender and receiver policy, permissibility regions and symbols (columns) for both agents (top/bottom row). The separate steps are also listed in the table below with links to the PDFs.

  Expected Reward Sender Policy Receiver Policy Perm. Regions Symbols
0 (A) iteration-0000000-(002) iteration-0000000-(004) iteration-0000000-(005) iteration-0000000-(011) iteration-0000000-(012)
  PDF PDF PDF PDF PDF
0 (B) iteration-0000000-(007) iteration-0000000-(009) iteration-0000000-(010) iteration-0000000-(013) iteration-0000000-(014)
  PDF PDF PDF PDF PDF
1 (A) iteration-0000001-(002) iteration-0000001-(004) iteration-0000001-(005) iteration-0000001-(011) iteration-0000001-(012)
  PDF PDF PDF PDF PDF
1 (B) iteration-0000001-(007) iteration-0000001-(009) iteration-0000001-(010) iteration-0000001-(013) iteration-0000001-(014)
  PDF PDF PDF PDF PDF
2 (A) iteration-0000002-(002) iteration-0000002-(004) iteration-0000002-(005) iteration-0000002-(011) iteration-0000002-(012)
  PDF PDF PDF PDF PDF
2 (B) iteration-0000002-(007) iteration-0000002-(009) iteration-0000002-(010) iteration-0000002-(013) iteration-0000002-(014)
  PDF PDF PDF PDF PDF
3 (A) iteration-0000003-(002) iteration-0000003-(004) iteration-0000003-(005) iteration-0000003-(011) iteration-0000003-(012)
  PDF PDF PDF PDF PDF
3 (B) iteration-0000003-(007) iteration-0000003-(009) iteration-0000003-(010) iteration-0000003-(013) iteration-0000003-(014)
  PDF PDF PDF PDF PDF
4 (A) iteration-0000004-(002) iteration-0000004-(004) iteration-0000004-(005) iteration-0000004-(011) iteration-0000004-(012)
  PDF PDF PDF PDF PDF
4 (B) iteration-0000004-(007) iteration-0000004-(009) iteration-0000004-(010) iteration-0000004-(013) iteration-0000004-(014)
  PDF PDF PDF PDF PDF
5 (A) iteration-0000005-(002) iteration-0000005-(004) iteration-0000005-(005) iteration-0000005-(011) iteration-0000005-(012)
  PDF PDF PDF PDF PDF
5 (B) iteration-0000005-(007) iteration-0000005-(009) iteration-0000005-(010) iteration-0000005-(013) iteration-0000005-(014)
  PDF PDF PDF PDF PDF
6 (A) iteration-0000006-(002) iteration-0000006-(004) iteration-0000006-(005) iteration-0000006-(011) iteration-0000006-(012)
  PDF PDF PDF PDF PDF
6 (B) iteration-0000006-(007) iteration-0000006-(009) iteration-0000006-(010) iteration-0000006-(013) iteration-0000006-(014)
  PDF PDF PDF PDF PDF
7 (A) iteration-0000007-(002) iteration-0000007-(004) iteration-0000007-(005) iteration-0000007-(011) iteration-0000007-(012)
  PDF PDF PDF PDF PDF
7 (B) iteration-0000007-(007) iteration-0000007-(009) iteration-0000007-(010) iteration-0000007-(013) iteration-0000007-(014)
  PDF PDF PDF PDF PDF
8 (A) iteration-0000008-(002) iteration-0000008-(004) iteration-0000008-(005) iteration-0000008-(011) iteration-0000008-(012)
  PDF PDF PDF PDF PDF
8 (B) iteration-0000008-(007) iteration-0000008-(009) iteration-0000008-(010) iteration-0000008-(013) iteration-0000008-(014)
  PDF PDF PDF PDF PDF
9 (A) iteration-0000009-(002) iteration-0000009-(004) iteration-0000009-(005) iteration-0000009-(011) iteration-0000009-(012)
  PDF PDF PDF PDF PDF
9 (B) iteration-0000009-(007) iteration-0000009-(009) iteration-0000009-(010) iteration-0000009-(013) iteration-0000009-(014)
  PDF PDF PDF PDF PDF
10 (A) iteration-0000010-(002) iteration-0000010-(004) iteration-0000010-(005) iteration-0000010-(011) iteration-0000010-(012)
  PDF PDF PDF PDF PDF
10 (B) iteration-0000010-(007) iteration-0000010-(009) iteration-0000010-(010) iteration-0000010-(013) iteration-0000010-(014)
  PDF PDF PDF PDF PDF
11 (A) iteration-0000011-(002) iteration-0000011-(004) iteration-0000011-(005) iteration-0000011-(011) iteration-0000011-(012)
  PDF PDF PDF PDF PDF
11 (B) iteration-0000011-(007) iteration-0000011-(009) iteration-0000011-(010) iteration-0000011-(013) iteration-0000011-(014)
  PDF PDF PDF PDF PDF
12 (A) iteration-0000012-(002) iteration-0000012-(004) iteration-0000012-(005) iteration-0000012-(011) iteration-0000012-(012)
  PDF PDF PDF PDF PDF
12 (B) iteration-0000012-(007) iteration-0000012-(009) iteration-0000012-(010) iteration-0000012-(013) iteration-0000012-(014)
  PDF PDF PDF PDF PDF
13 (A) iteration-0000013-(002) iteration-0000013-(004) iteration-0000013-(005) iteration-0000013-(011) iteration-0000013-(012)
  PDF PDF PDF PDF PDF
13 (B) iteration-0000013-(007) iteration-0000013-(009) iteration-0000013-(010) iteration-0000013-(013) iteration-0000013-(014)
  PDF PDF PDF PDF PDF
14 (A) iteration-0000014-(002) iteration-0000014-(004) iteration-0000014-(005) iteration-0000014-(011) iteration-0000014-(012)
  PDF PDF PDF PDF PDF
14 (B) iteration-0000014-(007) iteration-0000014-(009) iteration-0000014-(010) iteration-0000014-(013) iteration-0000014-(014)
  PDF PDF PDF PDF PDF
15 (A) iteration-0000015-(002) iteration-0000015-(004) iteration-0000015-(005) iteration-0000015-(011) iteration-0000015-(012)
  PDF PDF PDF PDF PDF
15 (B) iteration-0000015-(007) iteration-0000015-(009) iteration-0000015-(010) iteration-0000015-(013) iteration-0000015-(014)
  PDF PDF PDF PDF PDF
16 (A) iteration-0000016-(002) iteration-0000016-(004) iteration-0000016-(005) iteration-0000016-(011) iteration-0000016-(012)
  PDF PDF PDF PDF PDF
16 (B) iteration-0000016-(007) iteration-0000016-(009) iteration-0000016-(010) iteration-0000016-(013) iteration-0000016-(014)
  PDF PDF PDF PDF PDF
17 (A) iteration-0000017-(002) iteration-0000017-(004) iteration-0000017-(005) iteration-0000017-(011) iteration-0000017-(012)
  PDF PDF PDF PDF PDF
17 (B) iteration-0000017-(007) iteration-0000017-(009) iteration-0000017-(010) iteration-0000017-(013) iteration-0000017-(014)
  PDF PDF PDF PDF PDF
18 (A) iteration-0000018-(002) iteration-0000018-(004) iteration-0000018-(005) iteration-0000018-(011) iteration-0000018-(012)
  PDF PDF PDF PDF PDF
18 (B) iteration-0000018-(007) iteration-0000018-(009) iteration-0000018-(010) iteration-0000018-(013) iteration-0000018-(014)
  PDF PDF PDF PDF PDF
19 (A) iteration-0000019-(002) iteration-0000019-(004) iteration-0000019-(005) iteration-0000019-(011) iteration-0000019-(012)
  PDF PDF PDF PDF PDF
19 (B) iteration-0000019-(007) iteration-0000019-(009) iteration-0000019-(010) iteration-0000019-(013) iteration-0000019-(014)
  PDF PDF PDF PDF PDF
20 (A) iteration-0000020-(002) iteration-0000020-(004) iteration-0000020-(005) iteration-0000020-(011) iteration-0000020-(012)
  PDF PDF PDF PDF PDF
20 (B) iteration-0000020-(007) iteration-0000020-(009) iteration-0000020-(010) iteration-0000020-(013) iteration-0000020-(014)
  PDF PDF PDF PDF PDF
21 (A) iteration-0000021-(002) iteration-0000021-(004) iteration-0000021-(005) iteration-0000021-(011) iteration-0000021-(012)
  PDF PDF PDF PDF PDF
21 (B) iteration-0000021-(007) iteration-0000021-(009) iteration-0000021-(010) iteration-0000021-(013) iteration-0000021-(014)
  PDF PDF PDF PDF PDF
22 (A) iteration-0000022-(002) iteration-0000022-(004) iteration-0000022-(005) iteration-0000022-(011) iteration-0000022-(012)
  PDF PDF PDF PDF PDF
22 (B) iteration-0000022-(007) iteration-0000022-(009) iteration-0000022-(010) iteration-0000022-(013) iteration-0000022-(014)
  PDF PDF PDF PDF PDF
23 (A) iteration-0000023-(002) iteration-0000023-(004) iteration-0000023-(005) iteration-0000023-(011) iteration-0000023-(012)
  PDF PDF PDF PDF PDF
23 (B) iteration-0000023-(007) iteration-0000023-(009) iteration-0000023-(010) iteration-0000023-(013) iteration-0000023-(014)
  PDF PDF PDF PDF PDF
24 (A) iteration-0000024-(002) iteration-0000024-(004) iteration-0000024-(005) iteration-0000024-(011) iteration-0000024-(012)
  PDF PDF PDF PDF PDF
24 (B) iteration-0000024-(007) iteration-0000024-(009) iteration-0000024-(010) iteration-0000024-(013) iteration-0000024-(014)
  PDF PDF PDF PDF PDF
25 (A) iteration-0000025-(002) iteration-0000025-(004) iteration-0000025-(005) iteration-0000025-(011) iteration-0000025-(012)
  PDF PDF PDF PDF PDF
25 (B) iteration-0000025-(007) iteration-0000025-(009) iteration-0000025-(010) iteration-0000025-(013) iteration-0000025-(014)
  PDF PDF PDF PDF PDF
26 (A) iteration-0000026-(002) iteration-0000026-(004) iteration-0000026-(005) iteration-0000026-(011) iteration-0000026-(012)
  PDF PDF PDF PDF PDF
26 (B) iteration-0000026-(007) iteration-0000026-(009) iteration-0000026-(010) iteration-0000026-(013) iteration-0000026-(014)
  PDF PDF PDF PDF PDF
27 (A) iteration-0000027-(002) iteration-0000027-(004) iteration-0000027-(005) iteration-0000027-(011) iteration-0000027-(012)
  PDF PDF PDF PDF PDF
27 (B) iteration-0000027-(007) iteration-0000027-(009) iteration-0000027-(010) iteration-0000027-(013) iteration-0000027-(014)
  PDF PDF PDF PDF PDF
28 (A) iteration-0000028-(002) iteration-0000028-(004) iteration-0000028-(005) iteration-0000028-(011) iteration-0000028-(012)
  PDF PDF PDF PDF PDF
28 (B) iteration-0000028-(007) iteration-0000028-(009) iteration-0000028-(010) iteration-0000028-(013) iteration-0000028-(014)
  PDF PDF PDF PDF PDF
29 (A) iteration-0000029-(002) iteration-0000029-(004) iteration-0000029-(005) iteration-0000029-(011) iteration-0000029-(012)
  PDF PDF PDF PDF PDF
29 (B) iteration-0000029-(007) iteration-0000029-(009) iteration-0000029-(010) iteration-0000029-(013) iteration-0000029-(014)
  PDF PDF PDF PDF PDF
30 (A) iteration-0000030-(002) iteration-0000030-(004) iteration-0000030-(005) iteration-0000030-(011) iteration-0000030-(012)
  PDF PDF PDF PDF PDF
30 (B) iteration-0000030-(007) iteration-0000030-(009) iteration-0000030-(010) iteration-0000030-(013) iteration-0000030-(014)
  PDF PDF PDF PDF PDF
31 (A) iteration-0000031-(002) iteration-0000031-(004) iteration-0000031-(005) iteration-0000031-(011) iteration-0000031-(012)
  PDF PDF PDF PDF PDF
31 (B) iteration-0000031-(007) iteration-0000031-(009) iteration-0000031-(010) iteration-0000031-(013) iteration-0000031-(014)
  PDF PDF PDF PDF PDF
32 (A) iteration-0000032-(002) iteration-0000032-(004) iteration-0000032-(005) iteration-0000032-(011) iteration-0000032-(012)
  PDF PDF PDF PDF PDF
32 (B) iteration-0000032-(007) iteration-0000032-(009) iteration-0000032-(010) iteration-0000032-(013) iteration-0000032-(014)
  PDF PDF PDF PDF PDF
33 (A) iteration-0000033-(002) iteration-0000033-(004) iteration-0000033-(005) iteration-0000033-(011) iteration-0000033-(012)
  PDF PDF PDF PDF PDF
33 (B) iteration-0000033-(007) iteration-0000033-(009) iteration-0000033-(010) iteration-0000033-(013) iteration-0000033-(014)
  PDF PDF PDF PDF PDF
34 (A) iteration-0000034-(002) iteration-0000034-(004) iteration-0000034-(005) iteration-0000034-(011) iteration-0000034-(012)
  PDF PDF PDF PDF PDF
34 (B) iteration-0000034-(007) iteration-0000034-(009) iteration-0000034-(010) iteration-0000034-(013) iteration-0000034-(014)
  PDF PDF PDF PDF PDF
35 (A) iteration-0000035-(002) iteration-0000035-(004) iteration-0000035-(005) iteration-0000035-(011) iteration-0000035-(012)
  PDF PDF PDF PDF PDF
35 (B) iteration-0000035-(007) iteration-0000035-(009) iteration-0000035-(010) iteration-0000035-(013) iteration-0000035-(014)
  PDF PDF PDF PDF PDF
36 (A) iteration-0000036-(002) iteration-0000036-(004) iteration-0000036-(005) iteration-0000036-(011) iteration-0000036-(012)
  PDF PDF PDF PDF PDF
36 (B) iteration-0000036-(007) iteration-0000036-(009) iteration-0000036-(010) iteration-0000036-(013) iteration-0000036-(014)
  PDF PDF PDF PDF PDF
37 (A) iteration-0000037-(002) iteration-0000037-(004) iteration-0000037-(005) iteration-0000037-(011) iteration-0000037-(012)
  PDF PDF PDF PDF PDF
37 (B) iteration-0000037-(007) iteration-0000037-(009) iteration-0000037-(010) iteration-0000037-(013) iteration-0000037-(014)
  PDF PDF PDF PDF PDF
38 (A) iteration-0000038-(002) iteration-0000038-(004) iteration-0000038-(005) iteration-0000038-(011) iteration-0000038-(012)
  PDF PDF PDF PDF PDF
38 (B) iteration-0000038-(007) iteration-0000038-(009) iteration-0000038-(010) iteration-0000038-(013) iteration-0000038-(014)
  PDF PDF PDF PDF PDF
39 (A) iteration-0000039-(002) iteration-0000039-(004) iteration-0000039-(005) iteration-0000039-(011) iteration-0000039-(012)
  PDF PDF PDF PDF PDF
39 (B) iteration-0000039-(007) iteration-0000039-(009) iteration-0000039-(010) iteration-0000039-(013) iteration-0000039-(014)
  PDF PDF PDF PDF PDF
40 (A) iteration-0000040-(002) iteration-0000040-(004) iteration-0000040-(005) iteration-0000040-(011) iteration-0000040-(012)
  PDF PDF PDF PDF PDF
40 (B) iteration-0000040-(007) iteration-0000040-(009) iteration-0000040-(010) iteration-0000040-(013) iteration-0000040-(014)
  PDF PDF PDF PDF PDF
41 (A) iteration-0000041-(002) iteration-0000041-(004) iteration-0000041-(005) iteration-0000041-(011) iteration-0000041-(012)
  PDF PDF PDF PDF PDF
41 (B) iteration-0000041-(007) iteration-0000041-(009) iteration-0000041-(010) iteration-0000041-(013) iteration-0000041-(014)
  PDF PDF PDF PDF PDF
42 (A) iteration-0000042-(002) iteration-0000042-(004) iteration-0000042-(005) iteration-0000042-(011) iteration-0000042-(012)
  PDF PDF PDF PDF PDF
42 (B) iteration-0000042-(007) iteration-0000042-(009) iteration-0000042-(010) iteration-0000042-(013) iteration-0000042-(014)
  PDF PDF PDF PDF PDF
43 (A) iteration-0000043-(002) iteration-0000043-(004) iteration-0000043-(005) iteration-0000043-(011) iteration-0000043-(012)
  PDF PDF PDF PDF PDF
43 (B) iteration-0000043-(007) iteration-0000043-(009) iteration-0000043-(010) iteration-0000043-(013) iteration-0000043-(014)
  PDF PDF PDF PDF PDF
44 (A) iteration-0000044-(002) iteration-0000044-(004) iteration-0000044-(005) iteration-0000044-(011) iteration-0000044-(012)
  PDF PDF PDF PDF PDF
44 (B) iteration-0000044-(007) iteration-0000044-(009) iteration-0000044-(010) iteration-0000044-(013) iteration-0000044-(014)
  PDF PDF PDF PDF PDF
45 (A) iteration-0000045-(002) iteration-0000045-(004) iteration-0000045-(005) iteration-0000045-(011) iteration-0000045-(012)
  PDF PDF PDF PDF PDF
45 (B) iteration-0000045-(007) iteration-0000045-(009) iteration-0000045-(010) iteration-0000045-(013) iteration-0000045-(014)
  PDF PDF PDF PDF PDF
46 (A) iteration-0000046-(002) iteration-0000046-(004) iteration-0000046-(005) iteration-0000046-(011) iteration-0000046-(012)
  PDF PDF PDF PDF PDF
46 (B) iteration-0000046-(007) iteration-0000046-(009) iteration-0000046-(010) iteration-0000046-(013) iteration-0000046-(014)
  PDF PDF PDF PDF PDF
47 (A) iteration-0000047-(002) iteration-0000047-(004) iteration-0000047-(005) iteration-0000047-(011) iteration-0000047-(012)
  PDF PDF PDF PDF PDF
47 (B) iteration-0000047-(007) iteration-0000047-(009) iteration-0000047-(010) iteration-0000047-(013) iteration-0000047-(014)
  PDF PDF PDF PDF PDF
48 (A) iteration-0000048-(002) iteration-0000048-(004) iteration-0000048-(005) iteration-0000048-(011) iteration-0000048-(012)
  PDF PDF PDF PDF PDF
48 (B) iteration-0000048-(007) iteration-0000048-(009) iteration-0000048-(010) iteration-0000048-(013) iteration-0000048-(014)
  PDF PDF PDF PDF PDF
49 (A) iteration-0000049-(002) iteration-0000049-(004) iteration-0000049-(005) iteration-0000049-(011) iteration-0000049-(012)
  PDF PDF PDF PDF PDF
49 (B) iteration-0000049-(007) iteration-0000049-(009) iteration-0000049-(010) iteration-0000049-(013) iteration-0000049-(014)
  PDF PDF PDF PDF PDF