शहर के नेता चिंतित हो रहे हैं कि हेस्टर अपने जंगली व्यवहार के कारण पर्ल के लिए एक अयोग्य अभिभावक है, और वे पर्ल को उससे दूर ले जाना चाहते हैं।
डिमेम्सडेल को ऐसे ही गहन अपराधों का सामना करना पड़ता है, जिससे हेस्टर अपने पापों का भार अकेला कर लेता है और वह बीमार और अस्वस्थ दिखने लगते हैं।
हेस्टर के व्यभिचार का पाप उस वक्त प्यूरिटन आइडियल्स और बोस्टन के कानूनों के चेहरे में उड़ता है, जिसके परिणामस्वरूप उसकी छाती पर लाल "ए" पहनने की उसकी ज़िंदगी की लंबी सजा होती है।