Supporting Open Source weblog: Category artikels

Virus en spam filtering mail server

Gert Dewit — Fri, 28 Dec 2007 17:55:00 +0100

Zoals voorzien installeer ik vandaag op onze nieuwe CentOS server een betrouwbare virus- en spamfiltering mail server.

Overzicht

Naar de buitenwereld toe zijn er 2 poorten beschikbaar: de standaard SMTP poort 25 waar de inkomende mail afgeleverd wordt en de standaard IMAPS poort 993 waar de mail wordt opgehaald door de gebruikers. De postfix instantie die de berichten van de buitenwereld ontvangt zorgt ervoor dat de server niet als open relay kan gebruikt worden en voert enkele rudimentaire checks uit om ongewenste mail al aan de bron weg te filteren. Daarna geeft deze de mail door aan amavis. Amavis zorgt vervolgens voor de virus- en spamfiltering door gebruik te maken van spamassassin en ClamAV. Als de mail aanvaardbaar is wordt deze via de interne Postfix instantie die op poort 10025 luistert afgeleverd in de mailbox van de gebruiker.

Basis installatie

Onze nieuwe mail server gebruikt zoals gezegd postfix als MTA. Standaard wordt op CentOS echter sendmail als MTA geïnstalleerd. De gemakelijkste manier om van MTA te switchen op een RedHat gebaseerd systeem is door de system-switch-mail en de postfix packages te installeren. Door het system-switch-mail script uit te voeren en voor postfix te kiezen worden alle mail gerelateerde opdrachten via postfix uitgevoerd. De vorige keer dat ik een gelijkaardige server opgezet heb had ik de packages die niet bij de distributie zaten zelf gecompileerd en gepackaged tot installeerbare RPMs. Ondertussen is dat niet meer nodig dankzij het goede werk van de rpmforge jongens. Om de rpmforge packages te gebruiken in yum (of apt) installeer je de rpmforge-release package die bij je distributie past. Na de manuele installatie van deze package kan je de andere packages met yum installeren net zoals de packages die door je distributie aangeboden worden. Met deze yum opdracht installeren we alles wat nodig is voor onze mail server:

# yum install amavisd-new clamav clamd razor-agents

Alle bijbehorende dependencies worden ook aangeboden om te installeren. Er is echter 1 package die ik wil gebruiken die noch op de distributie repositories, noch op de rpmforge repository beschikbaar is. De pyzor package installeer ik manueel nadat ik hem gedownload heb van de fedora repository. Nu alle benodigde packages geïnstalleerd zijn zorg ik via

# yum update

ervoor dat de laatste versies van alle packages gebruikt worden. Op de rpmforge repository zijn namelijk oa updates van spamassassin aanwezig die nieuwe zijn dan deze van CentOS. Gezien de snelheid waarmee de spammers hun technieken evolueren is het zaak om ook de tools om de spammers te bestrijden zo recent mogelijk te houden.

Dovecot configuratie

Net na de installatie wou dovecot niet opstarten. In /var/log/maillog verscheen de boodschap:

dovecot: imap-login: imap-login: error while loading shared libraries: libsepol.so.1: failed to map segment from shared object: Cannot allocate memory

Een google search leerde mij dat de standaard config van dovecot niet werkt op een x86_64 architectuur. De fix was simpelweg om in /etc/dovecot.conf deze lijn toe te voegen:

login_process_size = 64

Aangezien we niet van plan zijn om een ander protocol te gebruiken dan imaps beperken we de protocols dan ook door dit aan te geven in /etc/dovecot.conf:

protocols = imaps

Omdat we mailboxen in het Maildir formaat gebruiken kunnen we dat best ook zo aangeven:

mail_location = maildir:~/Maildir

ClamAV configuratie

De clamd standaard configuratie zoals ze gepackaged is door de mensen van rpmforge is bijna onmiddellijk bruikbaar. Het enige dat ik extra configureer omdat de communicatie van amavis naar clamd via een socket file verloopt is het pad naar deze socket file in /etc/clamd.conf:

LocalSocket /var/run/clamav/clamd.socket

Aangezien de “AllowSupplementaryGroups yes” configuratie reeds gebeurd is hoeven we daar niets extras voor te doen buiten de clamav gebruiker aan de amavis groep toe te voegen:

usermod -G amavis clamav

Pyzor configuratie

Om pyzor te kunnen gebruiken als anti spam maatregel moeten we dit correct configureren voor de amavis gebruiker aangezien deze spamassassin en dus ook pyzor zal uitvoeren. De configuratie beperkt zich tot:

# su - amavis
$ pyzor discover

Als alles goed verlopen is bestaat er nu in de home directory van de amavis gebruiker een subdirectory .pyzor met een servers bestand erin. Of deze servers ook bereikbaar zijn kan getest worden met:

$ pyzor ping
82.94.255.100:24441     (200, 'OK')

Razor configuratie

We maken een default razor configuratie aan met:

# su - amavis
$ razor-admin -create
$ razor-admin -register

Vervolgens verlagen we de debug boodschappen door in /var/amavis/.razor/razor-agent.conf de debuglevel parameter te wijzigen in:

debuglevel = 0

Amavis configuratie

De amavis configuratie van de rpmforge package is op enkele kleine aanpassingen na perfect voor onze mail server. Tijdens de eerste weken willen we echter wat voorzichtig zijn met het klasseren van spam en willen we de spam scores goed kunnen monitoren. Daarom zorgen we ervoor dat elke boodschap een spam score header meekrijgt:

$sa_tag_level_deflt  = undef

Aangezien wij ClamAV gebruiken als virusscanner vervangen we de @av_scanners en @av_scanners_backup secties door:

@av_scanners = (
['ClamAV-clamd',
  \&ask_daemon, ["CONTSCAN {}\n", "/var/run/clamav/clamd.socket"],
  qr/\bOK$/, qr/\bFOUND$/,
  qr/^.*?: (?!Infected Archive)(.*) FOUND$/ ],
);

@av_scanners_backup = (
  ['ClamAV-clamscan', 'clamscan',
    "--stdout --no-summary -r --tempdir=$TEMPBASE {}",
    [0], qr/:.*\sFOUND$/, qr/^.*?: (?!Infected Archive)(.*) FOUND$/ ],
);

De bestandsnaam van de socket file zoals we die in /etc/clamd.conf meegegeven hebben moet dezelfde zijn als deze die hier geconfigureerd is. Als clamd voor een onbekende reden down is of niet antwoordt, wordt de command line scanner clamscan gebruikt.

Postfix configuratie

Nu alle backend mail filtering geconfigureerd is moeten we de postfix queues configureren zoals in het overzicht beschreven is. Dit doen we door in /etc/postfix/main.cf een content filter te definiëren:

content_filter = smtp-amavis:[127.0.0.1]:10024

Voor de uiteindelijke afevering van de berichten hebben we nog een extra postfix instantie nodig die we in /etc/postfix/master.cf configureren:

### anti spam and anti virus
smtp-amavis unix -      -       n       -       2       smtp
  -o smtp_data_done_timeout=1200
  -o disable_dns_lookups=yes
127.0.0.1:10025 inet n  -       n       -       -       smtpd
  -o content_filter=
  -o local_recipient_maps=
  -o relay_recipient_maps=
  -o smtpd_restriction_classes=
  -o smtpd_client_restrictions=
  -o smtpd_helo_restrictions=
  -o smtpd_sender_restrictions=
  -o smtpd_recipient_restrictions=permit_mynetworks,reject
  -o mynetworks=127.0.0.0/8

De tweede postfix instantie die op poort 10025 luistert doet dit enkel voor localhost en aanvaardt enkel mail vanuit de zeer restrictieve mynetworks 127.0.0.1/8. De content_filter wordt leeg doorgegeven om ervoor te zorgen dat de berichten niet weer aan amavis doorgegeven worden. Het enige wat nu nog rest is de postfix instantie op poort 25 ook op de externe netwerk interface te laten luiteren want standaard is postfix op CentOS zo geconfigureerd om enkel connecties van loaclhost te aanvaarden. Als er slecht 1 externe interface aanwezig is of indien de smtpd op alle externe interfaces moet luiteren volstaat het om de actieve inet_interfaces lijn uit te commentariëren in /etc/postfix/main.cf:

#inet_interfaces = localhost

De volgende lijnen in /etc/postfix/main.cf zorgen ervoor dat de mail server niet als open relay kan gebruikt worden:

myhostname = mail.sos.be
myorigin = $mydomain
mydestination = $myhostname, $mydomain, localhost.$mydomain, localhost
mynetworks = 127.0.0.0/8

De laatste postfix configuratie parameter die we gewijzigd hebben tov het standaard CentOS configuratie bestand zorgt ervoor dat de mail in Maildir formaat afgeleverd wordt:

home_mailbox = Maildir/

Operational security, impact on developing secure applications

Paul Verreth — Sat, 15 Dec 2007 18:24:00 +0100

Presentatie op OWASP door Patrick Debois

Download pdf

Lost use cases of operations

Paul Verreth — Sat, 15 Dec 2007 18:09:00 +0100

Javapolis 2007

Presenatie “Lost use cases of operations” door Patrick Debois

Startup script for Radiant with Mongrel

Paul Verreth — Mon, 26 Mar 2007 07:54:00 +0200

Mongrel is IMHO the preferred (web)server for Ruby on Rails applications hence for Radiant.

Here you can find a startup script for Fedora linux, but of course also usable for Ubuntu, ...

#!/bin/bash
#
#    /etc/rc.d/init.d/radiant_cms
#
# Start mongrel & radiant
#
# chkconfig: - 65 35
# description: Mongrel & radiant
# processname: mongrel
# Source function library.
. /etc/init.d/functions

MONGREL=/usr/bin/mongrel_rails
RAILSDIR=/var/www/radiant
CONFFILE=mongrel_config

test -x $MONGREL || exit 0

RETVAL=0
prog="Mongrel for radiant" 

start() {
        echo -n $"Starting $prog: " 
    cd $RAILSDIR
    $MONGREL start -C $CONFFILE
    RETVAL=$?
    echo
}

stop() {
    echo -n $"Stopping $prog: " 
    cd $RAILSDIR
    $MONGREL stop
    RETVAL=$?
    echo
}

#
#    See how we were called.
#
case "$1" in
  start)
    start
    ;;
  stop)
    stop
    ;;
  restart)
    stop
    start
    RETVAL=$?
    ;;
  *)
    echo $"Usage: $0 {start|stop|restart}" 
    exit 1
esac

exit $RETVAL

mongrel_config

--- 
:cwd: /var/www/radiant
:includes: 
- mongrel
:debug: false
:log_file: log/mongrel.log
:config_script: 
:pid_file: log/mongrel.pid
:timeout: 0
:num_processors: 1024
:docroot: public
:config_file: 
:user: apache
:host: 0.0.0.0
:group: apache
:mime_map: 
:environment: production
:prefix: 
:port: 4000
:daemon: true

This file should be fairly self explaining:

/var/www/radiant is the radiant base directory.
host: 0.0.0.0 listens on every address, for safety better to use 127.0.0.1, and in combination with reverse proxying
port: 4000 for instance for reverse proxying, 80 for direct web serving.

mongrel with apache as a reverse proxy will be explained in a different article to come.

chkconfig

On fedora you can use chkconfig to activate the startup script. Please also read the chkconfig man page.

To be manageable by chkconfig, the script needs a special section, an example follows:

#!/bin/bash
#
#    /etc/rc.d/init.d/radiant_cms
#
# Start mongrel & radiant
#
# chkconfig: - 65 35
# description: Mongrel & radiant
# processname: mongrel

Active? And in wich runlevels?

chkconfig --list radiant_cms
service radiant_cms supports chkconfig, but is not referenced in any runlevel (run 'chkconfig --add radiant_cms')

So it is added, but not yet activated:

chkconfig --add radiant_cms
chkconfig --list radiant_cms
radiant_cms        0:off   1:off   2:off   3:off   4:off   5:off   6:off

And, to activate:

chkconfig radiant_cms on

chkconfig --list 
radiant_cms        0:off   1:off   2:on    3:on    4:on    5:on    6:off

Let There Be Light: Promoting OpenOffice.org with Sun

Paul Verreth — Wed, 14 Feb 2007 17:13:00 +0100

The OpenDocument Format (ODF) just keeps on getting stronger. It is now an official ISO standard; there are numerous applications that support it, with varying degrees of fidelity, including Google’s online word processor and spreadsheet; there’s an official Microsoft-funded plug-in for Microsoft Office that allows it to open and save ODF files, and a program that converts between ODF and the Chinese UOF XML office format; and the ODF community has largely sorted out issues of accessibility that threatened to de-rail its adoption by Massachusetts.

At the same time, Microsoft is clearly beginning to feel the pressure. Its attempts to ram its own XML format through as an ISO standard, and the unseemly haste with which its 6000 pages of documentation were approved as an ECMA standard, are an indication that it is playing catch-up in this sector, even if it remains the dominant player.

Read the rest of this Linux Journal article

Conceptual model of the mysql information_schema

Paul Verreth — Mon, 05 Feb 2007 16:00:00 +0100

In MySQL (>= 5.0) there exists a metadata database, INFORMATION_SCHEMA, in wich is stored information about all other databases, their tables, columntypes, accessprivileges, etc.

In addition to the show commands, the select ... from information_schema.... offers the possibility of nearly unlimited output variations in querying the metadata.

INFORMATION_SCHEMA is a special kind of database, there is no database directory of that name, and some tables are in fact views, and it is also read-only. But you can connect to it with the use statement.

Roland Bouman created an interesting diagram of the INFORMATION_SCHEMA database;

Installing typo with the installer

Paul Verreth — Fri, 02 Feb 2007 22:05:00 +0100

(De nederlandse versie van dit artikel)

The most recent version (4.0.3) of typo has a gem based installer included. Installing the typo weblog server is now fairly easy to do.

To start and to stop:

typo start /path/to/typo

typo stop /path/to/typo

secure apt: authenticatie van packages

Paul Verreth — Tue, 30 Jan 2007 12:23:00 +0100

Authenticatiefout

Soms komt er de mededeling:

Warning: The following packages cannot be authenticated!

 ... ... ...

Install these packages without verification [y/N] ?

Dit komt omdat recente packages kunnen getest worden op een geldige signature.

Je kan de melding negeren, en gewoon verder gaan. Of je kan het verifiëren uitschakelen door een extra optie mee te geven met apt-get.

apt-get --allow-unauthenticated install ...

Ook is het mogelijk een extra lijn toe te voegen in /etc/apt/apt.conf:

APT::Get:AllowUnauthenticated 1;

Signature Checking

Maar nog beter, om corrupte packages te vermijden, is deze te verifiëren tegen een public key.

gnupg moet reeds geïnstalleerd zijn
ziyi_key_JJJJ.asc downloaden van de debian webstek onder releases
volgende commando’s uitvoeren:

cat ziyi_key_JJJJ.asc | gpg --import

gpg --list-keys

apt-key list

gpg -a --export [keycode] | apt-key add -

apt-key list

Voor ubuntu

Voor ubuntu kunnen de keyfiles gedownload worden, ook voor de meeste third-party repositories.

Om zo’n key in te brengen in de APT trusted keys database:

wget http://dl.ivtvdriver.org/ubuntu/80DF6D58.gpg -O- | sudo apt-key add -

Zie ook de manpage van wget maar -O- wil zeggen: schrijven naar STDOUT.

Synaptic: Je kan de keyfile ook gewoon downloaden en dan inbrengen met synaptic -> settings -> repositories -> Authentication tab.

Ubuntu: Als een proxy nodig is voor het downloaden van packages

Paul Verreth — Tue, 30 Jan 2007 12:17:00 +0100

Voor het installeren of upgraden van packages achter een proxy zijn volgende aanpassingen nodig.

In de grafische synaptic package manager kan een proxy ingesteld worden. Maar deze instelling gebeurt enkel in $HOME/.synaptic/synaptic.conf, en dus niet systeemwijd.

Dat moet gebeuren in /etc/apt/apt.conf, voor debian. Ubuntu gebruikt een iets ander systeem en daar moet het ingesteld worden in /etc/apt/apt.conf.d/01ubuntu.

En wel met volgende code:

Acquire::http::Proxy "http://PROXYSERVER:POORT";

Ubuntu en win32codecs

Paul Verreth — Tue, 30 Jan 2007 11:47:00 +0100

Voor het bekijken van videoformaten zonder Open Source alternatief, zoals Quicktime – MOV , WMV, DivX – AVI, is het nodig om de zogenaamde “win32codecs” of “w32codecs” te installeren.

De webstek hiervoor is http://www4.mplayerhq.hu maar het is makkelijker om packages te downloaden bij medibuntu

Daarvoor moet de sources.list aangepast worden, en een key-file gedownload. Dit kan ingegeven worden in synaptic -> settings -> repositories, in de Third Party en Authentication tabs.

Maar makkelijker nog is sources.list als volgt editeren:

deb http://medibuntu.sos-sts.com/repo/ edgy free
deb http://medibuntu.sos-sts.com/repo/ edgy non-free

Daarna nog de auth-key-file downloaden en activeren met apt-key:

apt-key add medibuntu-key.gpg

Of, in een enkele beweging:

wget -q http://medibuntu.sos-sts.com/repo/medibuntu-key.gpg -O- | sudo apt-key add -

Voor meer info zie ook